這項由上海交通大學的黃思遠、香港中文大學的廖悅、Agibot公司的馮思遠等研究團隊合作完成的研究發(fā)表于2025年3月，論文標題為《Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning》，感興趣的讀者可以通過項目頁面https://sites.google.com/view/adc-robot獲取完整信息。

說起機器人學習，你可能覺得這很簡單：給機器人看足夠多的示范動作，它就能學會了。但現(xiàn)實遠比這復雜得多。傳統(tǒng)的機器人訓練就像是讓學生通過看無數(shù)遍完美示范來學習開車，但真正上路時卻發(fā)現(xiàn)路況千變?nèi)f化，完美示范根本應付不了現(xiàn)實中的突發(fā)狀況。

這個問題困擾著機器人研究領(lǐng)域很久了。要讓機器人在真實世界中可靠地工作，研究人員通常需要收集海量的訓練數(shù)據(jù)，涵蓋各種可能的情況。但收集這些數(shù)據(jù)成本極高，每個示范都需要專業(yè)操作員花費大量時間和精力。更要命的是，即使收集了大量數(shù)據(jù)，機器人在面對訓練時沒見過的新情況時，仍然可能表現(xiàn)糟糕。

現(xiàn)在，這個研究團隊提出了一個頗為"狡猾"的新方法，叫做對抗性數(shù)據(jù)收集（ADC）。這種方法的核心思想有點像是在訓練過程中故意"搗亂"。具體來說，在傳統(tǒng)訓練中，通常只有一個操作員控制機器人完成任務。而在ADC方法中，研究團隊引入了第二個人——"對抗操作員"，這個人的任務就是在訓練過程中適時制造各種"麻煩"。

這種訓練方式就像是在學習游泳時，教練不僅會示范標準動作，還會在你游泳過程中突然制造一些小波浪，讓你學會在不完美條件下保持平衡。當主操作員試圖讓機器人抓取一個橙子時，對抗操作員可能會突然移動橙子的位置，或者改變指令讓機器人去抓取西瓜。這迫使主操作員必須實時調(diào)整策略，重新規(guī)劃動作。

ADC方法在兩個關(guān)鍵維度上制造"干擾"。在視覺層面，對抗操作員會動態(tài)改變物體位置和姿態(tài)。比如，當機器人的機械手即將接觸目標物體時，對抗操作員會給物體施加小的擾動力，改變其位置和方向。這就像是在你伸手拿杯子時，有人輕輕推了推杯子，迫使你調(diào)整抓取角度和位置。通過這種方式，機器人學會了從各種角度和位置抓取物體，而不是只會處理標準擺放的情況。

在語言層面，對抗操作員會在任務執(zhí)行過程中動態(tài)修改指令。原本的指令可能是"把杯子放到盤子里"，但在機器人已經(jīng)抓起杯子后，指令突然變成"把杯子放到碗里"。這要求機器人必須具備理解新指令并立即調(diào)整行為的能力，就像人類在執(zhí)行任務時突然收到新的要求一樣。

研究團隊首先在傳統(tǒng)的機器人平臺Aloha上驗證了這個方法。他們發(fā)現(xiàn)，用ADC方法訓練的機器人在處理透明材料抓取等復雜任務時表現(xiàn)更加穩(wěn)定。雖然在某些極端高度條件下仍會出現(xiàn)震蕩行為，但整體的魯棒性明顯提升。這為研究團隊進一步擴展到更復雜的視覺-語言-動作（VLA）模型奠定了基礎(chǔ)。

接下來，研究團隊將ADC方法應用到了更先進的AgiBot G1機器人平臺上，使用π0這個先進的VLA模型進行測試。VLA模型就像是機器人的"大腦"，它能同時理解視覺信息、語言指令，并輸出相應的動作指令。這種模型的訓練通常需要海量數(shù)據(jù)，因為它必須學會將視覺場景、語言指令和動作三者關(guān)聯(lián)起來。

在這個更復雜的系統(tǒng)中，ADC方法展現(xiàn)出了令人驚喜的效果。研究團隊設計了一個綜合性任務："抓取[水果類型]，放入[容器]"，其中水果包括橙子、獼猴桃等，容器包括綠色盤子、藍色盤子等。這個看似簡單的任務實際上需要機器人具備視覺識別、語言理解和精確操作等多種能力。

通過ADC方法收集的數(shù)據(jù)有一個顯著特點：信息密度極高。傳統(tǒng)方法收集一個30秒的"拿起-放下"任務可能產(chǎn)生數(shù)百個訓練樣本，但這些樣本中很多都是重復或相似的。而ADC方法通過在單個演示過程中引入多種變化，使得每個訓練樣本都包含更豐富的信息。這就像是用一本內(nèi)容豐富的教科書替代了一堆重復內(nèi)容的小冊子。

實驗結(jié)果令人印象深刻。在靜態(tài)環(huán)境測試中，用ADC方法訓練的模型在所有高度和位置條件下都表現(xiàn)出色，平均成功率在0.72到1.0之間，而傳統(tǒng)方法訓練的模型在變化位置條件下成功率降到了0.0。更重要的是，ADC訓練的模型展現(xiàn)出了強大的組合泛化能力，能夠成功執(zhí)行訓練時從未見過的任務組合。

在動態(tài)環(huán)境測試中，ADC方法的優(yōu)勢更加明顯。當測試人員在機器人操作過程中隨機移動目標物體或容器時，傳統(tǒng)方法訓練的模型完全失效，而ADC訓練的模型仍能保持0.88的平均成功率。這種差異就像是一個只在駕校練過車的新手司機遇到突發(fā)路況時的慌亂，與一個經(jīng)歷過各種復雜路況訓練的老司機的從容應對。

研究團隊還進行了一項極端測試：模擬相機故障。他們用全零矩陣替換某個相機的輸入，模擬硬件故障情況。結(jié)果顯示，ADC訓練的模型能夠動態(tài)調(diào)整注意力，轉(zhuǎn)向其他可用的相機獲取信息，而傳統(tǒng)方法訓練的模型則傾向于關(guān)注桌子邊緣等無關(guān)特征。這種適應能力源于ADC數(shù)據(jù)中包含了更多遮擋和多視角觀察的情況。

最令人驚喜的發(fā)現(xiàn)是數(shù)據(jù)效率的大幅提升。研究團隊發(fā)現(xiàn)，僅使用20%的ADC數(shù)據(jù)訓練的模型，其性能就能顯著超過使用100%傳統(tǒng)數(shù)據(jù)訓練的模型。具體來說，在靜態(tài)和動態(tài)環(huán)境的綜合測試中，20%ADC數(shù)據(jù)訓練的模型平均成功率為0.65，而100%傳統(tǒng)數(shù)據(jù)訓練的模型只有0.24。這意味著ADC方法不僅提高了訓練效果，還大大降低了數(shù)據(jù)收集成本。

ADC方法的成功還體現(xiàn)在機器人獲得了自主故障恢復能力。在測試中，當機器人首次抓取失敗后，它能夠自動重新評估情況并嘗試第二次抓取，最終成功完成任務。這種能力在傳統(tǒng)訓練方法中很難獲得，因為傳統(tǒng)數(shù)據(jù)很少包含失敗-恢復的序列。

研究團隊還測試了ADC訓練模型的場景泛化能力。雖然訓練數(shù)據(jù)都是在白色桌面上收集的，但測試時在桌面鋪上桌布的新環(huán)境中，ADC訓練的模型仍能保持良好性能。這種泛化能力部分來自于VLA模型強大的預訓練視覺編碼器，但ADC數(shù)據(jù)中包含的更多視覺變化也起到了重要作用。

從技術(shù)實現(xiàn)角度看，ADC方法巧妙地解決了數(shù)據(jù)標注的挑戰(zhàn)。由于語言指令在執(zhí)行過程中可能發(fā)生變化，研究團隊采用了子任務級別的標注策略，將復雜任務分解為抓取和放置階段，同時保持時間連續(xù)性。這種方法充分利用了VLA模型的組合泛化能力，實現(xiàn)了端到端的策略學習。

在人機交互測試中，研究團隊設計了更具挑戰(zhàn)性的場景：人類握持目標物體并在機器人抓取過程中移動。這種動態(tài)交互要求機器人能夠?qū)崟r調(diào)整動作預測，適應人類的不可預測行為。ADC訓練的模型在這種場景下展現(xiàn)出了令人滿意的適應能力，這為未來的人機協(xié)作奠定了重要基礎(chǔ)。

研究團隊還發(fā)現(xiàn)，ADC數(shù)據(jù)的一個重要優(yōu)勢是減少了對復雜數(shù)據(jù)混排策略的依賴。傳統(tǒng)VLA訓練需要精心設計的數(shù)據(jù)混排機制來確保每個批次包含多樣化信息，這需要大量工程工作。而ADC收集的軌跡數(shù)據(jù)本身就包含了豐富的運動和語義信息，大大簡化了訓練過程的工程復雜度。

雖然ADC方法需要兩個操作員，看似增加了人力成本，但考慮到其在數(shù)據(jù)效率上的巨大提升，實際的總體成本反而降低了。對抗操作員不需要高度專業(yè)的技能，主要是在適當時機制造擾動，這比連續(xù)的精確遙操作要簡單得多。而且，ADC方法的數(shù)據(jù)收集時間雖然每個回合略有增加，但總體數(shù)據(jù)需求的大幅減少使得整體收集時間顯著降低。

這項研究的意義遠不止于技術(shù)層面的改進。它代表了機器人學習范式的根本性轉(zhuǎn)變：從依靠大規(guī)模數(shù)據(jù)堆疊轉(zhuǎn)向智能化的數(shù)據(jù)收集策略。ADC方法證明了"質(zhì)量勝過數(shù)量"的理念在機器人學習中的有效性，為資源受限環(huán)境下的機器人訓練提供了現(xiàn)實可行的解決方案。

研究團隊正在構(gòu)建一個大規(guī)模的ADC-Robotics數(shù)據(jù)集，計劃向?qū)W術(shù)界開源。這個數(shù)據(jù)集將包含更多真實世界操作任務和對抗性擾動，為機器人模仿學習研究提供寶貴資源。這不僅會推動技術(shù)發(fā)展，還會建立新的研究基準，引導整個領(lǐng)域向更高效的數(shù)據(jù)收集方向發(fā)展。

從更廣闊的視角來看，ADC方法體現(xiàn)了人工智能研究中的一個重要趨勢：通過模擬真實世界的復雜性和不確定性來提高系統(tǒng)的魯棒性。這種思路不僅適用于機器人學習，也可能啟發(fā)其他AI領(lǐng)域的研究，比如自動駕駛、醫(yī)療診斷等需要在復雜環(huán)境中可靠工作的應用。

說到底，這項研究告訴我們一個簡單而深刻的道理：最好的學習往往來自于應對挑戰(zhàn)和克服困難的過程。就像人類通過在變化多端的環(huán)境中不斷練習來掌握技能一樣，機器人也能通過"逆境訓練"獲得更強的適應能力。ADC方法不是簡單地增加數(shù)據(jù)量，而是巧妙地增加了數(shù)據(jù)的"智慧含量"，讓每一次訓練都更有價值。

這種訓練思路對我們普通人也有啟發(fā)意義。無論是學習新技能還是面對工作挑戰(zhàn)，刻意制造一些"有益的困難"往往比在舒適區(qū)重復練習更有效果。當然，前提是這些困難是可控的、有意義的，就像ADC方法中的對抗性擾動一樣。

研究團隊已經(jīng)驗證了ADC方法在多種機器人平臺上的有效性，從簡單的雙臂機器人到復雜的人形機器人系統(tǒng)。隨著技術(shù)的進一步發(fā)展和數(shù)據(jù)集的完善，我們有理由相信，這種高效的訓練方法將加速機器人技術(shù)在日常生活中的普及應用。從家庭服務機器人到工業(yè)自動化，從醫(yī)療輔助到救援任務，ADC方法培訓出的機器人將能更好地應對真實世界的復雜性和不可預測性。

有興趣深入了解技術(shù)細節(jié)的讀者，可以訪問研究團隊的項目頁面https://sites.google.com/view/adc-robot，那里有更詳細的實驗視頻和技術(shù)文檔。這項研究不僅在技術(shù)上具有突破性意義，更為機器人學習領(lǐng)域指明了一個更加高效和實用的發(fā)展方向。

Q&A

Q1：ADC方法是什么？它和傳統(tǒng)機器人訓練有什么不同？ A：ADC（對抗性數(shù)據(jù)收集）是一種新的機器人訓練方法，使用兩個操作員：一個控制機器人執(zhí)行任務，另一個在過程中制造"干擾"（如移動物體、改變指令）。這與傳統(tǒng)方法只有一個操作員在靜態(tài)環(huán)境中示范不同，能讓機器人學會應對各種突發(fā)情況。

Q2：ADC方法真的能讓機器人用更少數(shù)據(jù)學得更好嗎？ A：是的，實驗證明僅用20%的ADC數(shù)據(jù)訓練的機器人，性能就能超過用100%傳統(tǒng)數(shù)據(jù)訓練的機器人。這是因為ADC數(shù)據(jù)信息密度更高，每個樣本都包含更多變化和挑戰(zhàn)，相比傳統(tǒng)數(shù)據(jù)中大量重復的簡單示范更有價值。

Q3：這種訓練方法會不會太復雜，難以實際應用？ A：雖然需要兩個操作員，但對抗操作員的工作相對簡單，不需要高度專業(yè)技能?？紤]到ADC大幅減少了總數(shù)據(jù)需求（減少80%），實際總成本反而降低了。而且已經(jīng)在多個機器人平臺上驗證有效，具備實際應用價值。