機(jī)器人“會(huì)用手”了 靈活操作工具成現(xiàn)實(shí)。靈巧手如果不會(huì)使用工具，就跟夾爪沒(méi)什么區(qū)別?，F(xiàn)在，能擰螺絲、掄錘子，玩轉(zhuǎn)各類工具的靈巧手已經(jīng)問(wèn)世了。這款靈巧手出自銀河通用最新推出的神經(jīng)動(dòng)力學(xué)模型DexNDM。

在DexNDM的支持下，靈巧手實(shí)現(xiàn)了從能動(dòng)到能用的飛躍。通過(guò)分布有偏的真實(shí)數(shù)據(jù)訓(xùn)練，無(wú)需成功示例，即可精準(zhǔn)彌合Sim2Real鴻溝，首次讓通用靈巧手能夠?qū)Χ囝愇矬w實(shí)現(xiàn)穩(wěn)定、多姿態(tài)、多軸向的旋轉(zhuǎn)操作。無(wú)論是微小零件還是大書本、長(zhǎng)棍、復(fù)雜幾何體，都能實(shí)現(xiàn)跨類別、跨尺寸、跨姿態(tài)的穩(wěn)定旋轉(zhuǎn)。無(wú)論手掌朝上、朝下或側(cè)向，均能沿任意軸向進(jìn)行穩(wěn)定、持續(xù)的旋轉(zhuǎn)。此外，DexNDM還能自如地抓、轉(zhuǎn)、擰各類工具，勝任擰螺絲、家具組裝等長(zhǎng)程、復(fù)雜操作任務(wù)。

DexNDM的核心突破在于首次在真實(shí)世界中突破了手掌任意朝向的物體旋轉(zhuǎn)限制，實(shí)現(xiàn)了跨物體、跨姿態(tài)的穩(wěn)定手內(nèi)旋轉(zhuǎn)與工具操作。具體來(lái)說(shuō)，DexNDM能在極具挑戰(zhàn)的手腕姿態(tài)下（如手掌朝下或側(cè)向），實(shí)現(xiàn)長(zhǎng)物體沿長(zhǎng)邊的連續(xù)旋轉(zhuǎn)，以及小物體在多種轉(zhuǎn)軸下的穩(wěn)定旋轉(zhuǎn)。它能處理從小型到細(xì)長(zhǎng)、從簡(jiǎn)單幾何到復(fù)雜結(jié)構(gòu)的多種物體。

DexNDM的關(guān)鍵在于其關(guān)節(jié)級(jí)神經(jīng)動(dòng)力學(xué)模型。不同于以往整手建模的方式，DexNDM將復(fù)雜的手–物交互拆解到關(guān)節(jié)級(jí)，讓每個(gè)關(guān)節(jié)獨(dú)立預(yù)測(cè)自身的下一狀態(tài)，完成整手的運(yùn)動(dòng)預(yù)測(cè)。這種分解不僅顯著提升了數(shù)據(jù)利用效率，還能增強(qiáng)模型在不同物體、姿態(tài)下的泛化能力。為了學(xué)習(xí)到具有良好泛化性的動(dòng)力學(xué)模型，團(tuán)隊(duì)開(kāi)發(fā)了一套全自動(dòng)數(shù)據(jù)收集策略。在任務(wù)無(wú)關(guān)的隨機(jī)擾動(dòng)下，機(jī)器人能自主生成豐富的接觸數(shù)據(jù)，不用人工重置，也不會(huì)頻繁“翻車”。

基于此，研究者進(jìn)一步訓(xùn)練了一個(gè)殘差策略網(wǎng)絡(luò)，用于彌合仿真到現(xiàn)實(shí)的差距，使仿真中學(xué)到的基礎(chǔ)策略能夠順利遷移到真實(shí)世界。在策略學(xué)習(xí)上，DexNDM采用了“從專家到通才”的訓(xùn)練流程：先針對(duì)不同長(zhǎng)寬比與幾何復(fù)雜度的物體訓(xùn)練多個(gè)專家策略，再將它們?nèi)诤咸釤挒橐粋€(gè)統(tǒng)一的通用策略，從而實(shí)現(xiàn)跨任務(wù)、跨形態(tài)的穩(wěn)定操作。仿真與真實(shí)環(huán)境的測(cè)試表明，DexNDM的操作靈活性、魯棒性與泛化能力都得到了顯著提升。

DexNDM還被作為底層技能接入遙操作系統(tǒng)。操作者只需通過(guò)VR控制器給出臂端位姿或旋轉(zhuǎn)軸等高層指令，DexNDM即可自主完成手指層面的精細(xì)控制。這種方式克服了傳統(tǒng)遙操作在精細(xì)操作中的根本難題——人手與機(jī)械手在自由度、傳感和動(dòng)力學(xué)上的不匹配。借助DexNDM，機(jī)器人不僅能“抓得穩(wěn)、放得準(zhǔn)”，還能完成復(fù)雜的、涉及旋轉(zhuǎn)的手—物—物交互，實(shí)現(xiàn)工具使用與長(zhǎng)程裝配等對(duì)系統(tǒng)魯棒性要求極高的任務(wù)，真正邁向“能轉(zhuǎn)能用”的靈巧操作。

DexNDM解決的是機(jī)器人研究中最具挑戰(zhàn)性的手內(nèi)操作中的關(guān)鍵問(wèn)題——手內(nèi)旋轉(zhuǎn)。這一突破推動(dòng)了機(jī)器人從簡(jiǎn)單能力向精細(xì)操作能力的跨越。整體來(lái)看，機(jī)器人的能力大致可分為運(yùn)動(dòng)能力和操作能力兩類。如今，機(jī)器人不再需要被繩子吊著防摔，甚至在人為干擾下仍能穩(wěn)住身形。然而，站穩(wěn)之后，想讓機(jī)器人真正具備生產(chǎn)力，關(guān)鍵還在于操作。所謂操作，就是機(jī)器人真正“動(dòng)手干活”的能力，包括抓取、環(huán)境輔助操作、柔性物體操作、手內(nèi)操作和工具操作。

雖然目前大部分的末端執(zhí)行器都能很好地完成抓取任務(wù)，但簡(jiǎn)單抓取的應(yīng)用范圍十分有限，主要集中在上下料、分揀等場(chǎng)景，遠(yuǎn)未觸及真正的工業(yè)級(jí)生產(chǎn)力。因此，靈巧操作必須從“能抓能放”邁向“能轉(zhuǎn)能用”，以實(shí)現(xiàn)更復(fù)雜、更精細(xì)的動(dòng)作。DexNDM的突破在于同時(shí)攻克了“旋轉(zhuǎn)”和“使用”這兩大難題：既能實(shí)現(xiàn)高精度的手內(nèi)旋轉(zhuǎn)，也能靈活處理多種工具的操作任務(wù)。只有當(dāng)機(jī)器人能可靠地完成這類操作，語(yǔ)言、視覺(jué)等高層智能規(guī)劃才能真正落地為具體的動(dòng)作與執(zhí)行。這正是通用機(jī)器人與具身智能落地的關(guān)鍵瓶頸。

直觀地看，在擰螺絲這樣的場(chǎng)景中，靈巧手無(wú)法像手掌朝上時(shí)那樣依賴重力來(lái)穩(wěn)定物體。為了不讓螺絲刀滑落，模型必須精確控制更多的自由度，實(shí)現(xiàn)對(duì)姿態(tài)、力和接觸的協(xié)調(diào)控制。過(guò)去的手內(nèi)操作方法大多只能處理特定物體或固定姿態(tài)，依賴昂貴或定制化硬件，難以推廣到更通用的場(chǎng)景。DexNDM實(shí)現(xiàn)了實(shí)質(zhì)性飛躍——首次構(gòu)建了能夠跨物體類別、跨姿態(tài)任務(wù)的通用手內(nèi)操作策略。它不僅為遙操作系統(tǒng)的數(shù)據(jù)生成與策略遷移提供了堅(jiān)實(shí)基礎(chǔ)，也為靈巧操作的工業(yè)化落地奠定了條件：樣本效率更高、泛化性更強(qiáng)、能力可復(fù)用，為具身智能研究提供了新的底層基礎(chǔ)設(shè)施。

DexNDM的意義不僅在于一個(gè)新的模型，更在于它推動(dòng)了靈巧操作這一“皇冠上的明珠”從學(xué)術(shù)研究走向了可復(fù)用的生產(chǎn)力基礎(chǔ)設(shè)施。從最初的搬箱、上下料，到如今能擰螺絲、砸釘子、裝配家具、使用工具，靈巧操作正逐步從機(jī)械重復(fù)勞動(dòng)者，進(jìn)化為真正具備操作智慧的“生產(chǎn)力單元”。借助這一底層能力，機(jī)器人不再局限于演示性的“抓取放置”，而能在工業(yè)裝配、家具組裝、工具使用等多場(chǎng)景中實(shí)現(xiàn)可擴(kuò)展部署，持續(xù)提升實(shí)際生產(chǎn)力。