為了最大化效率，系統(tǒng)需要將工作負(fù)載分配給多個GPU，進(jìn)行各種并行處理，如張量并行、管道并行、數(shù)據(jù)并行和專家并行。這樣的分配是為了確保工作能盡快完成，因為在一個工廠中，吞吐量直接關(guān)系到收入、服務(wù)質(zhì)量和可服務(wù)的客戶數(shù)量。如今，我們身處一個數(shù)據(jù)中心吞吐量利用率至關(guān)重要的時代。

過去，雖然吞吐量被認(rèn)為重要，但并非決定性的因素。然而，現(xiàn)在，從啟動時間、運行時間、利用率、吞吐量到空閑時間等每一個參數(shù)都被精確測量，因為數(shù)據(jù)中心已成為真正的“工廠”。在這個工廠中，運作效率直接關(guān)聯(lián)到公司的財務(wù)表現(xiàn)。

鑒于這種復(fù)雜性，我們深知大多數(shù)公司在部署人工智能時面臨的挑戰(zhàn)。因此，我們開發(fā)了一個集成化的人工智能容器解決方案，將人工智能封裝在易于部署和管理的盒子中。這個盒子包含了龐大的軟件集合，如CUDA、CUDACNN和TensorRT，以及Triton推理服務(wù)。它支持云原生環(huán)境，允許在Kubernetes（基于容器技術(shù)的分布式架構(gòu)解決方案）環(huán)境中自動擴(kuò)展，并提供管理服務(wù)，方便用戶監(jiān)控人工智能服務(wù)的運行狀態(tài)。

更令人振奮的是，這個人工智能容器提供通用的、標(biāo)準(zhǔn)的API接口，使得用戶可以直接與“盒子”進(jìn)行交互。用戶只需下載Nim，并在支持CUDA的計算機(jī)上運行，即可輕松部署和管理人工智能服務(wù)。如今，CUDA已無處不在，它支持各大云服務(wù)提供商，幾乎所有計算機(jī)制造商都提供CUDA支持，甚至在數(shù)億臺PC中也能找到它的身影。

當(dāng)你下載Nim時，即刻擁有一個人工智能助手，它能如與ChatGPT對話般流暢交流。現(xiàn)在，所有的軟件都已精簡并整合在一個容器中，原先繁瑣的400個依賴項全部集中優(yōu)化。我們對Nim進(jìn)行了嚴(yán)格的測試，每個預(yù)訓(xùn)練模型都在我們的云端基礎(chǔ)設(shè)施上得到了全面測試，包括Pascal、Ampere乃至最新的Hopper等不同版本的GPU。這些版本種類繁多，幾乎覆蓋了所有需求。

Nim的發(fā)明無疑是一項壯舉，它是我最引以為傲的成就之一。如今，我們有能力構(gòu)建大語言模型和各種預(yù)訓(xùn)練模型，這些模型涵蓋了語言、視覺、圖像等多個領(lǐng)域，還有針對特定行業(yè)如醫(yī)療保健和數(shù)字生物學(xué)的定制版本。

想要了解更多或試用這些版本，只需訪問ai.nvidia.com。今天，我們在Hugging Face上發(fā)布了完全優(yōu)化的Llama 3 Nim，你可以立即體驗，甚至免費帶走它。無論你選擇哪個云平臺，都能輕松運行它。當(dāng)然，你也可以將這個容器下載到你的數(shù)據(jù)中心，自行托管，并為你的客戶提供服務(wù)。

我前面提到，我們擁有覆蓋不同領(lǐng)域的Nim版本，包括物理學(xué)、語義檢索、視覺語言等，支持多種語言。這些微服務(wù)可以輕松集成到大型應(yīng)用中，其中最具潛力的應(yīng)用之一是客戶服務(wù)代理。它幾乎是每個行業(yè)的標(biāo)配，代表了價值數(shù)萬億美元的全球客戶服務(wù)市場。

值得一提的是，護(hù)士們作為客戶服務(wù)的核心，在零售、快餐、金融服務(wù)、保險等行業(yè)中發(fā)揮著重要作用。如今，借助語言模型和人工智能技術(shù)，數(shù)千萬的客戶服務(wù)人員得到了顯著的增強(qiáng)。這些增強(qiáng)工具的核心，正是你所看到的Nim。

有些被稱為推理智能體（Reasoning Agents），它們被賦予任務(wù)后，能夠明確目標(biāo)并制定計劃。有的擅長檢索信息，有的精于搜索，還有的可能會使用如Coop這樣的工具，或者需要學(xué)習(xí)在SAP上運行的特定語言如ABAP，甚至執(zhí)行SQL查詢。這些所謂的專家現(xiàn)在被組成一個高效協(xié)作的團(tuán)隊。

應(yīng)用層也因此發(fā)生了變革：過去，應(yīng)用程序是由指令編寫的，而現(xiàn)在，它們則是通過組裝人工智能團(tuán)隊來構(gòu)建。雖然編寫程序需要專業(yè)技能，但幾乎每個人都知道如何分解問題并組建團(tuán)隊。因此，我堅信，未來的每家公司都會擁有一個龐大的Nim集合。你可以根據(jù)需要選擇專家，將它們連接成一個團(tuán)隊。

更神奇的是，你甚至不需要弄清楚如何去連接它們。只需給代理分配一個任務(wù)，Nim會智能地決定如何分解任務(wù)并分配給最適合的專家。它們就像應(yīng)用程序或團(tuán)隊的中央領(lǐng)導(dǎo)者，能夠協(xié)調(diào)團(tuán)隊成員的工作，最終將結(jié)果呈現(xiàn)給你。

整個過程就像人類團(tuán)隊協(xié)作一樣高效、靈活。這不僅僅是未來的趨勢，而是即將在我們身邊成為現(xiàn)實。這就是未來應(yīng)用程序?qū)⒁尸F(xiàn)的全新面貌。

PC將成為數(shù)字人主要載體