以上升級(jí)使Alpamayo 2 Super成為英偉達(dá)目前功能最強(qiáng)的開源駕駛基礎(chǔ)大模型。該模型定位為教師模型,可通過知識(shí)蒸餾壓縮為輕量化模型,部署在DRIVE Hyperion旗下的車載自動(dòng)駕駛主控芯片DRIVE AGX Thor上運(yùn)行?;谠撓盗心P痛罱ǖ淖詣?dòng)駕駛系統(tǒng),可直接繼承高水準(zhǔn)的推理與感知能力,車企無需重復(fù)從零開發(fā)。
Alpamayo系列近期獲得臺(tái)北國際電腦展最佳選擇獎(jiǎng),拿下車載技術(shù)與智能座艙類別獎(jiǎng)項(xiàng)。自發(fā)布以來,該系列模型下載量已接近40萬次。其開源平臺(tái)附帶后訓(xùn)練腳本,方便科研人員與開發(fā)者結(jié)合自有數(shù)據(jù)集、行駛場(chǎng)景及駕駛策略對(duì)模型進(jìn)行二次適配。Alpamayo 2 Super的推理代碼預(yù)計(jì)于今年夏季上線GitHub,模型權(quán)重則將同步發(fā)布在Hugging Face平臺(tái)。
英偉達(dá)同步推出的NVIDIA AlpaGym是一款開源、高算力吞吐的閉環(huán)強(qiáng)化學(xué)習(xí)框架。該框架可在英偉達(dá)AlpaSim中讓模型持續(xù)循環(huán)完成“決策-感知”流程,車輛每一次制動(dòng)、轉(zhuǎn)向、導(dǎo)航操作都會(huì)實(shí)時(shí)改變仿真環(huán)境。借此,平臺(tái)能夠暴露靜態(tài)數(shù)據(jù)集無法發(fā)現(xiàn)的累積誤差與極端場(chǎng)景故障,讓模型在實(shí)戰(zhàn)化模擬中持續(xù)學(xué)習(xí)。
英偉達(dá)還在GitHub開源因果鏈自動(dòng)標(biāo)注流程。該工具可基于原始行車視頻,全自動(dòng)生成具備決策依據(jù)與因果關(guān)聯(lián)的標(biāo)注數(shù)據(jù),無需人工參與,為大規(guī)模訓(xùn)練具身推理模型提供核心的因果訓(xùn)練數(shù)據(jù)。
為助力推理型自動(dòng)駕駛技術(shù)研發(fā),英偉達(dá)依托NVIDIA Agent Toolkit推出多款全新物理人工智能智能體能力,輔助開發(fā)者及智能編碼程序完成仿真、數(shù)據(jù)生成、閉環(huán)訓(xùn)練等全流程工作,支撐自動(dòng)駕駛系統(tǒng)的大規(guī)模研發(fā)與驗(yàn)證。其中包括依托Omniverse NuRec組件打造的神經(jīng)重建能力、用于生成逼真駕駛場(chǎng)景的OmniDreams能力,以及面向閉環(huán)強(qiáng)化學(xué)習(xí)的AlpaGym能力。
比亞迪、吉利、極氪、小米以及小馬智行等中國主流車企和自動(dòng)駕駛公司均已采用或正在基于NVIDIA Hyperion平臺(tái)開發(fā)智駕。