英偉達(dá)今日正式推出了Alpamayo 2 Super，這是一款擁有320億參數(shù)、基于推理能力的視覺-語言-動作模型。該模型進(jìn)一步豐富了英偉達(dá)Alpamayo系列開源人工智能模型、仿真框架與物理人工智能數(shù)據(jù)集，助力企業(yè)研發(fā)安全的L4自動駕駛出租車。

伴隨該模型發(fā)布，英偉達(dá)還推出多款全新工具、模型與智能體技能，打通從真實(shí)場景數(shù)據(jù)采集、閉環(huán)訓(xùn)練到車載部署的全流程。這些工具包括NVIDIA AlpaGym、NVIDIA OmniDreams以及全新的NVIDIA Omniverse NuRec模型。

Alpamayo 2 Super可免去企業(yè)從零搭建自動駕駛核心基礎(chǔ)設(shè)施的環(huán)節(jié)，大幅加速自動駕駛車輛研發(fā)進(jìn)程。該模型具備類人的感知、推理與行動能力，并且具有可解釋性，能夠滿足安全驗(yàn)證與合規(guī)監(jiān)管的相關(guān)要求。

為適配道路實(shí)車部署的模型訓(xùn)練需求，AlpaGym提供閉環(huán)強(qiáng)化學(xué)習(xí)平臺。而英偉達(dá)OmniDreams作為可生成逼真場景的世界模型，能夠大規(guī)模仿真各類罕見、長尾駕駛場景。此外，英偉達(dá)為旗下所有自動駕駛開發(fā)工具配套了物理人工智能智能體能力，例如依托Omniverse NuRec打造的神經(jīng)重建能力，可基于真實(shí)車隊(duì)行駛場景開展仿真，并批量生成合成訓(xùn)練數(shù)據(jù)。

英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，Alpamayo標(biāo)志著汽車開始具備自主推理能力，不再只是單純行駛。唯有英偉達(dá)能同步提供開源模型、仿真工具、真實(shí)場景數(shù)據(jù)與智能體能力，助力全球自動駕駛出租車生態(tài)打造四級自動駕駛能力，讓車輛識別極端場景、解釋決策邏輯、建立安全信任，并順利規(guī)?；渴鹬翑?shù)百萬輛汽車。

Alpamayo 2 Super將模型參數(shù)規(guī)模從100億提升至320億，不僅在長尾場景下的邏輯推理、三維空間感知與軌跡預(yù)測能力全面增強(qiáng)，還支持多類任務(wù)，包括邏輯推理、自動標(biāo)注、場景理解、模型評估以及大模型知識蒸餾至輕量化模型。該模型升級后，具備全車環(huán)視感知和元動作輸出能力，新增推理式自動標(biāo)注與二維目標(biāo)定位功能，優(yōu)化因果鏈與軌跡輸出。

以上升級使Alpamayo 2 Super成為英偉達(dá)目前功能最強(qiáng)的開源駕駛基礎(chǔ)大模型。該模型定位為教師模型，可通過知識蒸餾壓縮為輕量化模型，部署在DRIVE Hyperion旗下的車載自動駕駛主控芯片DRIVE AGX Thor上運(yùn)行?；谠撓盗心Ｐ痛罱ǖ淖詣玉{駛系統(tǒng)，可直接繼承高水準(zhǔn)的推理與感知能力，車企無需重復(fù)從零開發(fā)。

Alpamayo系列近期獲得臺北國際電腦展最佳選擇獎，拿下車載技術(shù)與智能座艙類別獎項(xiàng)。自發(fā)布以來，該系列模型下載量已接近40萬次。其開源平臺附帶后訓(xùn)練腳本，方便科研人員與開發(fā)者結(jié)合自有數(shù)據(jù)集、行駛場景及駕駛策略對模型進(jìn)行二次適配。Alpamayo 2 Super的推理代碼預(yù)計(jì)于今年夏季上線GitHub，模型權(quán)重則將同步發(fā)布在Hugging Face平臺。

英偉達(dá)同步推出的NVIDIA AlpaGym是一款開源、高算力吞吐的閉環(huán)強(qiáng)化學(xué)習(xí)框架。該框架可在英偉達(dá)AlpaSim中讓模型持續(xù)循環(huán)完成“決策-感知”流程，車輛每一次制動、轉(zhuǎn)向、導(dǎo)航操作都會實(shí)時改變仿真環(huán)境。借此，平臺能夠暴露靜態(tài)數(shù)據(jù)集無法發(fā)現(xiàn)的累積誤差與極端場景故障，讓模型在實(shí)戰(zhàn)化模擬中持續(xù)學(xué)習(xí)。

英偉達(dá)還在GitHub開源因果鏈自動標(biāo)注流程。該工具可基于原始行車視頻，全自動生成具備決策依據(jù)與因果關(guān)聯(lián)的標(biāo)注數(shù)據(jù)，無需人工參與，為大規(guī)模訓(xùn)練具身推理模型提供核心的因果訓(xùn)練數(shù)據(jù)。

為助力推理型自動駕駛技術(shù)研發(fā)，英偉達(dá)依托NVIDIA Agent Toolkit推出多款全新物理人工智能智能體能力，輔助開發(fā)者及智能編碼程序完成仿真、數(shù)據(jù)生成、閉環(huán)訓(xùn)練等全流程工作，支撐自動駕駛系統(tǒng)的大規(guī)模研發(fā)與驗(yàn)證。其中包括依托Omniverse NuRec組件打造的神經(jīng)重建能力、用于生成逼真駕駛場景的OmniDreams能力，以及面向閉環(huán)強(qiáng)化學(xué)習(xí)的AlpaGym能力。

比亞迪、吉利、極氪、小米以及小馬智行等中國主流車企和自動駕駛公司均已采用或正在基于NVIDIA Hyperion平臺開發(fā)智駕。