2024年,HPC-AI市場迎來了顯著增長。SC24的參會人數(shù)創(chuàng)下新高,勞倫斯利弗莫爾國家實(shí)驗(yàn)室的El Capitan在Top500榜單上名列前茅,AI市場蓬勃發(fā)展,超大規(guī)模公司在2023年的投資額翻倍。
盡管如此,HPC-AI行業(yè)似乎處于一個轉(zhuǎn)折點(diǎn)。不斷擴(kuò)大的AI市場引發(fā)了人們的討論,有人擔(dān)心它會削弱HPC的影響力,也有人等待AI泡沫破裂。同時,政治變化可能改變HPC-AI市場的現(xiàn)狀。
Intersect360 Research正在制定新的研究計(jì)劃,并參考了HPC-AI領(lǐng)導(dǎo)組織的意見。我們進(jìn)行了調(diào)整,預(yù)計(jì)超大規(guī)模AI將連續(xù)第二年實(shí)現(xiàn)三位數(shù)增長,未來幾年也將保持高增長率。我們還提高了混合和本地HPC-AI市場的前景,但與超大規(guī)模的增長相比,這種增長較為溫和。
AI已成為數(shù)據(jù)中心基礎(chǔ)設(shè)施討論的核心。供應(yīng)商們競相進(jìn)入這個看似無限增長的市場。超大規(guī)模AI市場主要面向消費(fèi)者,通過創(chuàng)建云數(shù)據(jù)中心市場實(shí)現(xiàn)了最初的增長。Meta宣布將在AI基礎(chǔ)設(shè)施上增加投資,每位用戶約10美元的支出表明了其對AI的重視。
除了經(jīng)濟(jì)因素外,AI數(shù)據(jù)中心面臨的最大限制是功耗。公司正在尋找創(chuàng)新解決方案來滿足電力需求。微軟甚至與Crane清潔能源中心合作,重啟賓夕法尼亞州三里島核電站1號機(jī)組。
超大規(guī)模AI的發(fā)展令人驚訝,但它并不是大多數(shù)數(shù)據(jù)中心討論的重點(diǎn)。企業(yè)AI有望徹底改變企業(yè)計(jì)算。目前,大部分重點(diǎn)放在成本優(yōu)化上,如精簡運(yùn)營或裁員。然而,這條路的收益遞減,需要找到新的途徑來增加收入。
對于人工智能構(gòu)建硬件、模型和服務(wù)的企業(yè)來說,希望看到大規(guī)模的企業(yè)遷移。如果AI走上網(wǎng)絡(luò)的道路,即使盈利能力沒有飆升,穩(wěn)健的人工智能投資也將被視為經(jīng)營成本的一部分。
云計(jì)算在HPC-AI市場的滲透率將達(dá)到臨界點(diǎn),約占HPC總預(yù)算的四分之一。主要限制因素是成本,租用比購買更便宜。數(shù)據(jù)引力和主權(quán)問題推動更多組織傾向于本地部署。然而,如果云成為唯一選擇,HPC-AI技術(shù)的內(nèi)部部署市場可能會衰落。
超大規(guī)模公司的發(fā)展已經(jīng)超出預(yù)期,全球數(shù)據(jù)中心市場集中于少數(shù)買家。這種市場集中度水平并不穩(wěn)定。美國、中國、歐盟等國家和地區(qū)都在推動獨(dú)立的HPC-AI主權(quán)倡議。
特朗普政府加速了國家獨(dú)立進(jìn)程,促進(jìn)美國偉大的意圖。星際之門項(xiàng)目計(jì)劃在未來四年投入5000億美元,在美國建設(shè)新的人工智能基礎(chǔ)設(shè)施。特朗普承諾簡化建設(shè)和發(fā)電過程,通過緊急聲明提供幫助。
公共部門支出面臨不確定性。新成立的政府效率部由埃隆·馬斯克領(lǐng)導(dǎo),專門負(fù)責(zé)削減政府支出。一些超級計(jì)算機(jī)構(gòu)可能會受到密切關(guān)注,甚至被裁員。
歐盟和中國也在努力實(shí)現(xiàn)HPC-AI技術(shù)獨(dú)立。Nvidia控制著關(guān)鍵技術(shù)GPU,完全主導(dǎo)了AI市場。英特爾和AMD也在努力追趕,但Nvidia在軟件生態(tài)系統(tǒng)方面領(lǐng)先。
競爭態(tài)勢不斷變化,老派HPC人士開始尋找各種方式將AI與HPC整合在一起。雖然AI為HPC帶來了許多好處,但也帶來了危機(jī)。微軟等超大規(guī)模公司正在以驚人的速度建設(shè)AI基礎(chǔ)設(shè)施,這使得傳統(tǒng)超級計(jì)算機(jī)的地位不再穩(wěn)固。
精度討論顯示,F(xiàn)P64對未來的HPC-AI應(yīng)用最為重要。如果處理器供應(yīng)商受AI驅(qū)動,可能會減少對FP64的關(guān)注?;瘜W(xué)、物理和天氣模擬等領(lǐng)域?qū)⒚媾R挑戰(zhàn)。
傳統(tǒng)HPC和AI應(yīng)用程序之間的CPU和GPU平衡也不同。HPC應(yīng)用程序通常在每個節(jié)點(diǎn)超過兩個GPU的情況下表現(xiàn)不佳,而AI則更適合高密度GPU配置。巴塞羅那超級計(jì)算中心選擇將其節(jié)點(diǎn)分為不同的分區(qū),有些配備較多GPU,有些較少。
高性能存儲也受到影響,許多公司正以驚人的速度增長,因?yàn)樗鼈兊慕鉀Q方案適用于AI。最終,如果推動企業(yè)計(jì)算的解決方案發(fā)生變化,HPC也可能隨之改變。
HPC曾經(jīng)歷過從矢量處理器到標(biāo)量處理器、從Unix到Linux以及從RISC到x86的轉(zhuǎn)變。集群通過Beowulf項(xiàng)目推廣,最終勝出。低精度GPU可能會成為當(dāng)今的模擬,HPC工程師的任務(wù)是利用現(xiàn)有技術(shù)。
某些領(lǐng)域的HPC將面臨更大的威脅或機(jī)遇。如果AI能夠準(zhǔn)確預(yù)測結(jié)果,它可能會在某些領(lǐng)域取代確定性計(jì)算。HPC是一個長期市場,因?yàn)槲覀冞€沒有到達(dá)科學(xué)的盡頭。量子計(jì)算等新技術(shù)也為HPC帶來了新的希望。
2025年將成為決定HPC-AI發(fā)展方向的關(guān)鍵年份,影響未來十年的發(fā)展。全球HPC-AI用戶可以通過加入HALO來引導(dǎo)對話。我們需要回答一些重大問題。