英偉達(dá)今日正式發(fā)布了Dynamo,號(hào)稱是“AI工廠的操作系統(tǒng)”。Dynamo是一個(gè)分布式推理服務(wù)庫(kù),主要解決用戶需求token與生產(chǎn)token之間的矛盾問(wèn)題,提供了一個(gè)開源解決方案。

黃仁勛展示了一張關(guān)于推理的圖表,其中X軸表示用戶每秒的Token數(shù),Y軸表示工廠每秒的Token數(shù)。在Dynamo、Grace Blackwell NVLink72超級(jí)芯片的支持下,Blackwell相比Hopper可實(shí)現(xiàn)25倍的性能提升,在推理模型中,Blackwell的性能更是Hopper的40倍。

黃仁勛還幽默地提到,有了這些最新技術(shù),搭建AI工廠的廠商會(huì)發(fā)現(xiàn)買得越多,省得越多。

