機(jī)器人“會(huì)用手”了 靈活操作工具成現(xiàn)實(shí)。靈巧手如果不會(huì)使用工具,就跟夾爪沒(méi)什么區(qū)別?,F(xiàn)在,能擰螺絲、掄錘子,玩轉(zhuǎn)各類工具的靈巧手已經(jīng)問(wèn)世了。這款靈巧手出自銀河通用最新推出的神經(jīng)動(dòng)力學(xué)模型DexNDM。
在DexNDM的支持下,靈巧手實(shí)現(xiàn)了從能動(dòng)到能用的飛躍。通過(guò)分布有偏的真實(shí)數(shù)據(jù)訓(xùn)練,無(wú)需成功示例,即可精準(zhǔn)彌合Sim2Real鴻溝,首次讓通用靈巧手能夠?qū)Χ囝愇矬w實(shí)現(xiàn)穩(wěn)定、多姿態(tài)、多軸向的旋轉(zhuǎn)操作。無(wú)論是微小零件還是大書本、長(zhǎng)棍、復(fù)雜幾何體,都能實(shí)現(xiàn)跨類別、跨尺寸、跨姿態(tài)的穩(wěn)定旋轉(zhuǎn)。無(wú)論手掌朝上、朝下或側(cè)向,均能沿任意軸向進(jìn)行穩(wěn)定、持續(xù)的旋轉(zhuǎn)。此外,DexNDM還能自如地抓、轉(zhuǎn)、擰各類工具,勝任擰螺絲、家具組裝等長(zhǎng)程、復(fù)雜操作任務(wù)。
DexNDM的核心突破在于首次在真實(shí)世界中突破了手掌任意朝向的物體旋轉(zhuǎn)限制,實(shí)現(xiàn)了跨物體、跨姿態(tài)的穩(wěn)定手內(nèi)旋轉(zhuǎn)與工具操作。具體來(lái)說(shuō),DexNDM能在極具挑戰(zhàn)的手腕姿態(tài)下(如手掌朝下或側(cè)向),實(shí)現(xiàn)長(zhǎng)物體沿長(zhǎng)邊的連續(xù)旋轉(zhuǎn),以及小物體在多種轉(zhuǎn)軸下的穩(wěn)定旋轉(zhuǎn)。它能處理從小型到細(xì)長(zhǎng)、從簡(jiǎn)單幾何到復(fù)雜結(jié)構(gòu)的多種物體。
DexNDM的關(guān)鍵在于其關(guān)節(jié)級(jí)神經(jīng)動(dòng)力學(xué)模型。不同于以往整手建模的方式,DexNDM將復(fù)雜的手–物交互拆解到關(guān)節(jié)級(jí),讓每個(gè)關(guān)節(jié)獨(dú)立預(yù)測(cè)自身的下一狀態(tài),完成整手的運(yùn)動(dòng)預(yù)測(cè)。這種分解不僅顯著提升了數(shù)據(jù)利用效率,還能增強(qiáng)模型在不同物體、姿態(tài)下的泛化能力。為了學(xué)習(xí)到具有良好泛化性的動(dòng)力學(xué)模型,團(tuán)隊(duì)開(kāi)發(fā)了一套全自動(dòng)數(shù)據(jù)收集策略。在任務(wù)無(wú)關(guān)的隨機(jī)擾動(dòng)下,機(jī)器人能自主生成豐富的接觸數(shù)據(jù),不用人工重置,也不會(huì)頻繁“翻車”。
基于此,研究者進(jìn)一步訓(xùn)練了一個(gè)殘差策略網(wǎng)絡(luò),用于彌合仿真到現(xiàn)實(shí)的差距,使仿真中學(xué)到的基礎(chǔ)策略能夠順利遷移到真實(shí)世界。在策略學(xué)習(xí)上,DexNDM采用了“從專家到通才”的訓(xùn)練流程:先針對(duì)不同長(zhǎng)寬比與幾何復(fù)雜度的物體訓(xùn)練多個(gè)專家策略,再將它們?nèi)诤咸釤挒橐粋€(gè)統(tǒng)一的通用策略,從而實(shí)現(xiàn)跨任務(wù)、跨形態(tài)的穩(wěn)定操作。仿真與真實(shí)環(huán)境的測(cè)試表明,DexNDM的操作靈活性、魯棒性與泛化能力都得到了顯著提升。
DexNDM還被作為底層技能接入遙操作系統(tǒng)。操作者只需通過(guò)VR控制器給出臂端位姿或旋轉(zhuǎn)軸等高層指令,DexNDM即可自主完成手指層面的精細(xì)控制。這種方式克服了傳統(tǒng)遙操作在精細(xì)操作中的根本難題——人手與機(jī)械手在自由度、傳感和動(dòng)力學(xué)上的不匹配。借助DexNDM,機(jī)器人不僅能“抓得穩(wěn)、放得準(zhǔn)”,還能完成復(fù)雜的、涉及旋轉(zhuǎn)的手—物—物交互,實(shí)現(xiàn)工具使用與長(zhǎng)程裝配等對(duì)系統(tǒng)魯棒性要求極高的任務(wù),真正邁向“能轉(zhuǎn)能用”的靈巧操作。
DexNDM解決的是機(jī)器人研究中最具挑戰(zhàn)性的手內(nèi)操作中的關(guān)鍵問(wèn)題——手內(nèi)旋轉(zhuǎn)。這一突破推動(dòng)了機(jī)器人從簡(jiǎn)單能力向精細(xì)操作能力的跨越。整體來(lái)看,機(jī)器人的能力大致可分為運(yùn)動(dòng)能力和操作能力兩類。如今,機(jī)器人不再需要被繩子吊著防摔,甚至在人為干擾下仍能穩(wěn)住身形。然而,站穩(wěn)之后,想讓機(jī)器人真正具備生產(chǎn)力,關(guān)鍵還在于操作。所謂操作,就是機(jī)器人真正“動(dòng)手干活”的能力,包括抓取、環(huán)境輔助操作、柔性物體操作、手內(nèi)操作和工具操作。
雖然目前大部分的末端執(zhí)行器都能很好地完成抓取任務(wù),但簡(jiǎn)單抓取的應(yīng)用范圍十分有限,主要集中在上下料、分揀等場(chǎng)景,遠(yuǎn)未觸及真正的工業(yè)級(jí)生產(chǎn)力。因此,靈巧操作必須從“能抓能放”邁向“能轉(zhuǎn)能用”,以實(shí)現(xiàn)更復(fù)雜、更精細(xì)的動(dòng)作。DexNDM的突破在于同時(shí)攻克了“旋轉(zhuǎn)”和“使用”這兩大難題:既能實(shí)現(xiàn)高精度的手內(nèi)旋轉(zhuǎn),也能靈活處理多種工具的操作任務(wù)。只有當(dāng)機(jī)器人能可靠地完成這類操作,語(yǔ)言、視覺(jué)等高層智能規(guī)劃才能真正落地為具體的動(dòng)作與執(zhí)行。這正是通用機(jī)器人與具身智能落地的關(guān)鍵瓶頸。
直觀地看,在擰螺絲這樣的場(chǎng)景中,靈巧手無(wú)法像手掌朝上時(shí)那樣依賴重力來(lái)穩(wěn)定物體。為了不讓螺絲刀滑落,模型必須精確控制更多的自由度,實(shí)現(xiàn)對(duì)姿態(tài)、力和接觸的協(xié)調(diào)控制。過(guò)去的手內(nèi)操作方法大多只能處理特定物體或固定姿態(tài),依賴昂貴或定制化硬件,難以推廣到更通用的場(chǎng)景。DexNDM實(shí)現(xiàn)了實(shí)質(zhì)性飛躍——首次構(gòu)建了能夠跨物體類別、跨姿態(tài)任務(wù)的通用手內(nèi)操作策略。它不僅為遙操作系統(tǒng)的數(shù)據(jù)生成與策略遷移提供了堅(jiān)實(shí)基礎(chǔ),也為靈巧操作的工業(yè)化落地奠定了條件:樣本效率更高、泛化性更強(qiáng)、能力可復(fù)用,為具身智能研究提供了新的底層基礎(chǔ)設(shè)施。
DexNDM的意義不僅在于一個(gè)新的模型,更在于它推動(dòng)了靈巧操作這一“皇冠上的明珠”從學(xué)術(shù)研究走向了可復(fù)用的生產(chǎn)力基礎(chǔ)設(shè)施。從最初的搬箱、上下料,到如今能擰螺絲、砸釘子、裝配家具、使用工具,靈巧操作正逐步從機(jī)械重復(fù)勞動(dòng)者,進(jìn)化為真正具備操作智慧的“生產(chǎn)力單元”。借助這一底層能力,機(jī)器人不再局限于演示性的“抓取放置”,而能在工業(yè)裝配、家具組裝、工具使用等多場(chǎng)景中實(shí)現(xiàn)可擴(kuò)展部署,持續(xù)提升實(shí)際生產(chǎn)力。
在第七屆小鵬科技日上,小鵬展示了其最新研發(fā)的人形機(jī)器人IRON。這款機(jī)器人以優(yōu)雅的步伐登場(chǎng),引起廣泛關(guān)注
2025-11-05 17:30:02小鵬機(jī)器人會(huì)走貓步太像人了