論文鏈接：https://arxiv.org/pdf/2407.11385

github鏈接：https://www.zhengyiluo.com/Omnigrasp-Site/

亮點(diǎn)直擊

• 本文設(shè)計(jì)了一種靈巧且通用的人形機(jī)器人運(yùn)動(dòng)表示，這顯著提高了樣本效率，并使得通過(guò)簡(jiǎn)單而有效的狀態(tài)和獎(jiǎng)勵(lì)設(shè)計(jì)來(lái)學(xué)習(xí)抓取成為可能；
• 本文展示了利用這一運(yùn)動(dòng)表示，可以在不使用配對(duì)的全身和物體運(yùn)動(dòng)數(shù)據(jù)的情況下，學(xué)習(xí)合成抓取姿勢(shì)和軌跡的抓取策略；
• 本文證明了訓(xùn)練人形控制器的可行性，該控制器能夠?qū)崿F(xiàn)高成功率的抓取物體，遵循復(fù)雜軌跡，適應(yīng)多樣的訓(xùn)練對(duì)象，并推廣到未見(jiàn)過(guò)的對(duì)象。

本文提出了一種控制虛擬人形抓取物體并沿著物體軌跡移動(dòng)的方法。由于控制具有靈巧手的人形存在挑戰(zhàn)，先前的方法通常使用無(wú)身體的手，并且只考慮垂直提升或短軌跡。這種有限的范圍限制了它們?cè)趧?dòng)畫(huà)和模擬所需的物體操作方面的適用性。為了彌補(bǔ)這一差距，本文學(xué)習(xí)了一個(gè)控制器，可以抓取大量（>1200）的物體并將它們攜帶到隨機(jī)生成的軌跡上。本文的關(guān)鍵見(jiàn)解是利用一種提供類(lèi)似人類(lèi)運(yùn)動(dòng)技能并顯著加快訓(xùn)練速度的人形運(yùn)動(dòng)表示。僅使用簡(jiǎn)單的獎(jiǎng)勵(lì)、狀態(tài)和物體表示，本文的方法在不同物體和軌跡上顯示出良好的可擴(kuò)展性。在訓(xùn)練過(guò)程中，不需要配對(duì)的全身運(yùn)動(dòng)和物體軌跡數(shù)據(jù)集。在測(cè)試時(shí)，只需要物體網(wǎng)格和抓取、運(yùn)輸所需的軌跡。為了展示本文方法的能力，本文展示了在跟隨物體軌跡和推廣到未見(jiàn)物體方面的最新成功率。

Omnigrasp：抓取多樣化的物體并跟隨物體軌跡

為了解決拾取物體并跟隨多樣化軌跡的挑戰(zhàn)性問(wèn)題，作者首先獲取了一個(gè)通用的靈巧人形機(jī)器人運(yùn)動(dòng)表示。利用這一運(yùn)動(dòng)表示，本文設(shè)計(jì)了一個(gè)分層強(qiáng)化學(xué)習(xí)框架，通過(guò)預(yù)抓取引導(dǎo)的簡(jiǎn)單狀態(tài)和獎(jiǎng)勵(lì)設(shè)計(jì)來(lái)實(shí)現(xiàn)抓取物體。本文設(shè)計(jì)的架構(gòu)如下圖2所示。

PULSE-X：基于物理的通用靈巧人形機(jī)器人運(yùn)動(dòng)表示

本文介紹了PULSE-X，它通過(guò)增加關(guān)節(jié)手指擴(kuò)展了PULSE，使其適用于靈巧的人形機(jī)器人。 本文首先訓(xùn)練了一個(gè)人形機(jī)器人運(yùn)動(dòng)模仿器，該模仿器可以擴(kuò)展到包含手指運(yùn)動(dòng)的大規(guī)模人類(lèi)運(yùn)動(dòng)數(shù)據(jù)集。然后，本文使用 variational information bottleneck（類(lèi)似于VAE）將運(yùn)動(dòng)模仿器提煉成一個(gè)運(yùn)動(dòng)表示。

數(shù)據(jù)增強(qiáng)。 由于包含手指動(dòng)作的全身運(yùn)動(dòng)數(shù)據(jù)集很少（例如，AMASS序列中91%的數(shù)據(jù)不包含手指動(dòng)作），本文首先通過(guò)添加關(guān)節(jié)手指動(dòng)作來(lái)增強(qiáng)現(xiàn)有序列，并構(gòu)建一個(gè)靈巧的全身運(yùn)動(dòng)數(shù)據(jù)集。類(lèi)似于BEDLAM中的過(guò)程，本文將來(lái)自AMASS的全身運(yùn)動(dòng)與從GRAB和Re:InterHand中采樣的手部動(dòng)作隨機(jī)配對(duì)，以創(chuàng)建一個(gè)靈巧的AMASS數(shù)據(jù)集。直觀上，在這個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練可以提高模仿者的靈巧性以及后續(xù)的運(yùn)動(dòng)表示。

預(yù)抓取引導(dǎo)的物體操作

實(shí)驗(yàn)

抓取和軌跡跟蹤

由于運(yùn)動(dòng)效果在視頻中呈現(xiàn)得最好.除非另有說(shuō)明，所有策略均在各自數(shù)據(jù)集的訓(xùn)練集上進(jìn)行訓(xùn)練，并且本文在GRAB和OakInk數(shù)據(jù)集上進(jìn)行了跨數(shù)據(jù)集實(shí)驗(yàn)。所有實(shí)驗(yàn)運(yùn)行10次并取平均值，因?yàn)槟M器每次運(yùn)行時(shí)會(huì)由于浮點(diǎn)誤差等原因產(chǎn)生略微不同的結(jié)果。由于全身模擬人形抓取是一個(gè)相對(duì)較新的任務(wù)，基線數(shù)量有限，本文使用Braun等人[6]作為主要比較對(duì)象。本文還實(shí)現(xiàn)了AMP和PHC作為基線。本文在訓(xùn)練AMP時(shí)采用了類(lèi)似的狀態(tài)和獎(jiǎng)勵(lì)設(shè)計(jì)（不使用PULSE-X的潛在空間），并使用了任務(wù)和鑒別器獎(jiǎng)勵(lì)權(quán)重0.5和0.5。PHC指的是使用模仿器進(jìn)行抓取，本文直接將真實(shí)的運(yùn)動(dòng)學(xué)身體和手指運(yùn)動(dòng)數(shù)據(jù)輸入預(yù)訓(xùn)練的模仿器以抓取物體。

GRAB數(shù)據(jù)集（50個(gè)物體）。 由于Braun等人不使用隨機(jī)生成的軌跡，為了公平比較，本文在兩種不同的設(shè)置下訓(xùn)練了Omnigrasp：一種僅使用MoCap物體軌跡進(jìn)行訓(xùn)練，另一種僅使用合成軌跡進(jìn)行訓(xùn)練。從表1中可以看出，本文的方法在所有指標(biāo)上都優(yōu)于之前的SOTA和基線，尤其是在成功率和軌跡跟蹤方面。由于所有方法都基于模擬，本文省略了穿透/腳滑動(dòng)指標(biāo)，并報(bào)告了精確的軌跡跟蹤誤差。與Braun等人相比，Omnigrasp在物體提升和軌跡跟蹤方面都實(shí)現(xiàn)了高成功率。直接使用運(yùn)動(dòng)模仿器PHC，即使提供了真實(shí)的運(yùn)動(dòng)學(xué)姿態(tài)，成功率也很低，顯示出模仿器的誤差（平均30毫米）對(duì)于精確抓取物體來(lái)說(shuō)太大。MoCap和本文的模擬人形之間的身體形狀不匹配也導(dǎo)致了這種誤差。AMP導(dǎo)致低軌跡成功率，顯示了在動(dòng)作空間中使用運(yùn)動(dòng)先驗(yàn)的重要性。Omnigrasp可以以平均28毫米的誤差精確跟蹤MoCap軌跡。比較在MoCap軌跡和隨機(jī)生成的軌跡上進(jìn)行訓(xùn)練，本文可以看到在生成的軌跡上訓(xùn)練在成功率和位置誤差上表現(xiàn)更好，雖然在旋轉(zhuǎn)誤差上表現(xiàn)較差。這是因?yàn)楸疚牡?D軌跡生成器在物理上合理的3D軌跡上收斂得很好，但在隨機(jī)生成的旋轉(zhuǎn)和MoCap物體旋轉(zhuǎn)之間存在差距。通過(guò)在軌跡生成器上引入更多的旋轉(zhuǎn)變化可以改善這一點(diǎn)。軌跡成功率（Succtraj）和抓取成功率（Succgrasp）之間的差距顯示，跟蹤完整軌跡比僅僅抓取要困難得多，并且在軌跡跟蹤過(guò)程中物體可能會(huì)掉落。定性結(jié)果見(jiàn)下圖3。

OakInk數(shù)據(jù)集（1700個(gè)物體）。 在OakInk數(shù)據(jù)集上，本文將抓取策略擴(kuò)展到超過(guò)1000個(gè)物體，并測(cè)試對(duì)未見(jiàn)過(guò)物體的泛化能力。本文還進(jìn)行了跨數(shù)據(jù)集實(shí)驗(yàn)，在GRAB數(shù)據(jù)集上訓(xùn)練，并在OakInk數(shù)據(jù)集上測(cè)試。結(jié)果如下表3所示?？梢钥吹?，1330個(gè)物體中有1272個(gè)被訓(xùn)練成功抓取，整個(gè)提升過(guò)程也有很高的成功率。在測(cè)試集中本文觀察到類(lèi)似的結(jié)果。經(jīng)過(guò)檢查，失敗的物體通常要么太大，要么太小，導(dǎo)致人形機(jī)器人無(wú)法建立抓取。大量的物體也對(duì)難負(fù)樣本挖掘過(guò)程造成了壓力。在GRAB和OakInk上訓(xùn)練的策略顯示出最高的成功率，因?yàn)樵贕RAB中有雙手預(yù)抓取，策略學(xué)會(huì)了使用雙手。使用雙手顯著提高了一些較大物體的成功率，人形機(jī)器人可以用一只手勺起物體并用雙手?jǐn)y帶。由于OakInk只有單手預(yù)抓取，因此無(wú)法學(xué)習(xí)這種策略。令人驚訝的是，僅在GRAB上訓(xùn)練在OakInk上也取得了很高的成功率，抓取了超過(guò)1000個(gè)物體而無(wú)需在該數(shù)據(jù)集上進(jìn)行訓(xùn)練，展示了本文抓取策略在未見(jiàn)過(guò)物體上的魯棒性。

OMOMO數(shù)據(jù)集（7個(gè)物體）。 在OMOMO數(shù)據(jù)集上，本文訓(xùn)練了一種策略以展示本文的方法能夠?qū)W習(xí)抓取大型物體。如下表2顯示，本文的方法能夠成功學(xué)習(xí)抓取所有物體，包括椅子和燈。對(duì)于較大的物體，預(yù)抓取指導(dǎo)對(duì)于引導(dǎo)策略學(xué)習(xí)雙手操作技能至關(guān)重要（如上圖3所示）。

消融 & 分析

消融實(shí)驗(yàn)

在本節(jié)中，本文使用GRAB數(shù)據(jù)集的跨對(duì)象分割來(lái)研究本文框架中不同組件的影響。結(jié)果如下表4所示。

首先，本文比較了在有（第6行）和沒(méi)有（第1行）PULSE-X動(dòng)作空間的情況下訓(xùn)練本文的方法。使用相同的獎(jiǎng)勵(lì)和狀態(tài)設(shè)計(jì)，可以看出使用通用運(yùn)動(dòng)先驗(yàn)顯著提高了成功率。經(jīng)過(guò)檢查，使用PULSE-X還產(chǎn)生了類(lèi)似人類(lèi)的運(yùn)動(dòng)，而不使用則導(dǎo)致不自然的運(yùn)動(dòng)。

第2行與第6行的對(duì)比表明，預(yù)抓取指導(dǎo)對(duì)于學(xué)習(xí)穩(wěn)定的抓取動(dòng)作至關(guān)重要，但沒(méi)有它，某些物體仍然可以成功抓取。

第3行與第6行的對(duì)比顯示了靈巧AMASS數(shù)據(jù)集的重要性：如果沒(méi)有在包含多樣手部運(yùn)動(dòng)和全身運(yùn)動(dòng)的數(shù)據(jù)集上進(jìn)行訓(xùn)練，策略可以學(xué)會(huì)拾取物體（高抓取成功率），但在軌跡跟蹤方面會(huì)有困難。這是預(yù)期的，因?yàn)檫\(yùn)動(dòng)先驗(yàn)可能缺乏“移動(dòng)時(shí)持物”的動(dòng)作。

第4行和第5行表明，物體位置隨機(jī)化和硬負(fù)挖掘?qū)τ趯W(xué)習(xí)穩(wěn)健和成功的策略至關(guān)重要。

分析：多樣化的抓取策略。 在下圖4中，本文可視化了本文方法所使用的抓取策略?？梢钥吹?，根據(jù)物體的形狀，本文的策略在軌跡跟蹤過(guò)程中使用了多樣化的抓取方式。基于軌跡和物體的初始姿態(tài)，Omnigrasp為同一物體發(fā)現(xiàn)了不同的抓取姿態(tài)，這展示了使用模擬和物理定律進(jìn)行抓取生成的優(yōu)勢(shì)。本文還注意到，對(duì)于較大的物體，本文的策略會(huì)采用雙手和非抓握式的運(yùn)輸策略。這種行為是從GRAB中的預(yù)抓取學(xué)習(xí)到的，GRAB使用雙手進(jìn)行物體操作。

限制、總結(jié)和未來(lái)工作

限制

盡管Omnigrasp展示了控制模擬人形機(jī)器人抓取各種物體并在保持物體的同時(shí)跟隨全方向軌跡的可行性，但仍然存在許多限制。例如，盡管輸入和獎(jiǎng)勵(lì)中提供了6自由度（6DoF）輸入，系統(tǒng)在旋轉(zhuǎn)誤差方面仍需進(jìn)一步改進(jìn)。Omnigrasp尚未支持精確的手內(nèi)操作。軌跡跟隨的成功率可以提高，因?yàn)槲矬w可能會(huì)掉落或無(wú)法被拾起。另一個(gè)改進(jìn)領(lǐng)域是實(shí)現(xiàn)對(duì)物體的特定類(lèi)型抓取，這可能需要額外的輸入，例如所需的接觸點(diǎn)和抓取方式。即使在模擬中，實(shí)現(xiàn)人類(lèi)水平的靈巧度仍然具有挑戰(zhàn)性。有關(guān)失敗案例的可視化，請(qǐng)參見(jiàn)補(bǔ)充網(wǎng)站。

結(jié)論與未來(lái)工作

總之，本文展示了Omnigrasp，這是一種能夠抓取超過(guò)1200種物體并在保持物體的同時(shí)跟隨軌跡的人形機(jī)器人控制器。它可以推廣到類(lèi)似尺寸的未見(jiàn)過(guò)的物體，利用雙手技能，并支持拾取較大的物體。本文證明，通過(guò)使用預(yù)訓(xùn)練的通用人形機(jī)器人運(yùn)動(dòng)表示，可以通過(guò)簡(jiǎn)單的獎(jiǎng)勵(lì)和狀態(tài)設(shè)計(jì)來(lái)學(xué)習(xí)抓取。未來(lái)的工作包括提高軌跡跟隨的成功率，提高抓取的多樣性，并支持更多的物體類(lèi)別。此外，改進(jìn)人形機(jī)器人運(yùn)動(dòng)表示也是一個(gè)有前途的方向。雖然本文使用了一個(gè)簡(jiǎn)單但有效的統(tǒng)一運(yùn)動(dòng)潛在空間，將手和身體的運(yùn)動(dòng)表示分開(kāi)可能會(huì)帶來(lái)進(jìn)一步的改進(jìn)。有效的物體表示也是一個(gè)重要的未來(lái)方向。如何制定一種不依賴(lài)于標(biāo)準(zhǔn)物體姿勢(shì)且能夠推廣到基于視覺(jué)系統(tǒng)的物體表示，將有助于模型推廣到更多物體。

本文轉(zhuǎn)自AI生成未來(lái) ，作者：Zhengyi Luo等

原文鏈接:??https://mp.weixin.qq.com/s/_XuMpa9JamuaFaHTyIW8aA??