近期來自谷歌TPU的競爭受到外界關(guān)注。摩根士丹利近日將谷歌2027年TPU產(chǎn)量預(yù)測從原先的約300萬塊上調(diào)至500萬塊??迫R特·克雷斯回應(yīng)了行業(yè)競爭。她表示,英偉達(dá)產(chǎn)品的獨(dú)特之處是能用于任何工作的負(fù)載、用于任何類型。多年來,人們一直在討論能否做一些類似英偉達(dá)CUDA的事情,但看起來不太成功。當(dāng)GPU迭代時(shí),CUDA能向前和向后兼容,客戶購買硬件后,英偉達(dá)還會改進(jìn)軟件,使整體性能變得更強(qiáng)。如果說Blackwell相比上一代架構(gòu)性能提升了10~15倍,其中可能就有2倍是來自軟件優(yōu)化,這是一個很大的提升。
就英偉達(dá)交付產(chǎn)品主要是用于替換數(shù)據(jù)中心中的舊GPU,抑或作為現(xiàn)有計(jì)算設(shè)施的增量,科萊特·克雷斯表示,大部分以往已安裝的計(jì)算基礎(chǔ)設(shè)施仍在運(yùn)行,一些前代架構(gòu)的芯片仍被使用。他們看到的情況是,先進(jìn)的新模型希望遷移到最新一代硬件上。他們將模型遷移到新的芯片架構(gòu)上,同時(shí)保留現(xiàn)有的基礎(chǔ)設(shè)施。因此,到目前為止,能看到在美國乃至全球的大部分部署都是新建計(jì)算設(shè)施。
科萊特·克雷斯也回應(yīng)了客戶購買英偉達(dá)產(chǎn)品后運(yùn)行推理工作負(fù)載的投資回報(bào)情況。她表示,推理模型正在進(jìn)入市場,會看到越來越多基于Blackwell架構(gòu)的模型。當(dāng)更多token被生成、用戶越來越多且用戶可能為token付費(fèi),利潤空間正在被創(chuàng)造出來,這反過來又推動了更多的計(jì)算資源投入。
英偉達(dá)10月底成為史上首個市值突破5萬億美元的公司,但股價(jià)近期有所回調(diào),有投資者質(zhì)疑美國科技公司之間的循環(huán)交易并認(rèn)為真正的算力需求量不高。12月2日,英偉達(dá)漲0.86%,市值4.4萬億美元。