這項(xiàng)由中國(guó)電子科技大學(xué)的邢友光、羅旭等人和同濟(jì)大學(xué)的學(xué)者共同完成的研究發(fā)表于2025年的第九屆機(jī)器人學(xué)習(xí)會(huì)議（CoRL 2025），有興趣深入了解的讀者可以通過(guò)論文項(xiàng)目頁(yè)面https://lucky-light-sun.github.io/proj/shortcut-learning-in-grps/訪問(wèn)完整內(nèi)容。

當(dāng)我們談到讓機(jī)器人變得更聰明時(shí)，大多數(shù)人的第一反應(yīng)可能是"給它更多數(shù)據(jù)"。這就像教孩子學(xué)習(xí)一樣——見(jiàn)得多了，自然就懂得多了。但是，中科大的研究團(tuán)隊(duì)卻發(fā)現(xiàn)了一個(gè)令人意外的現(xiàn)象：有時(shí)候，給機(jī)器人太多數(shù)據(jù)反而會(huì)讓它變"笨"。

這聽(tīng)起來(lái)是不是很反直覺(jué)？就像你準(zhǔn)備了一桌豐盛的大餐，結(jié)果客人卻吃壞了肚子。研究團(tuán)隊(duì)通過(guò)深入分析發(fā)現(xiàn)，問(wèn)題不在于數(shù)據(jù)的數(shù)量，而在于數(shù)據(jù)的"質(zhì)量"和"搭配方式"。他們重點(diǎn)研究了一個(gè)叫做"Open X-Embodiment"（簡(jiǎn)稱OXE）的大型機(jī)器人數(shù)據(jù)集，這個(gè)數(shù)據(jù)集包含了超過(guò)一百萬(wàn)個(gè)機(jī)器人操作的記錄，堪稱機(jī)器人學(xué)習(xí)領(lǐng)域的"大數(shù)據(jù)寶庫(kù)"。

然而，當(dāng)研究人員仔細(xì)觀察用這個(gè)數(shù)據(jù)集訓(xùn)練出來(lái)的機(jī)器人時(shí)，卻發(fā)現(xiàn)了一個(gè)奇怪現(xiàn)象：這些機(jī)器人雖然在訓(xùn)練時(shí)表現(xiàn)得很好，但一旦遇到新環(huán)境或新任務(wù)，就容易出現(xiàn)令人哭笑不得的錯(cuò)誤。比如，當(dāng)你讓機(jī)器人"把勺子放在毛巾上"時(shí)，它卻固執(zhí)地去抓可樂(lè)罐——僅僅因?yàn)樵谟?xùn)練數(shù)據(jù)中，這個(gè)特定的環(huán)境總是伴隨著抓可樂(lè)罐的任務(wù)。

研究團(tuán)隊(duì)將這種現(xiàn)象稱為"捷徑學(xué)習(xí)"。可以把它理解為機(jī)器人學(xué)會(huì)了"投機(jī)取巧"——它不是真正理解了任務(wù)的本質(zhì)，而是記住了一些表面的關(guān)聯(lián)模式。就像一個(gè)學(xué)生考試時(shí)，不是真正理解了數(shù)學(xué)原理，而是死記硬背了題目類型和標(biāo)準(zhǔn)答案的對(duì)應(yīng)關(guān)系。當(dāng)題目稍微變化時(shí)，這種投機(jī)取巧的方法就會(huì)露餡。

那么，為什么會(huì)出現(xiàn)這種情況呢？研究團(tuán)隊(duì)深入分析后發(fā)現(xiàn)，原來(lái)是數(shù)據(jù)集本身存在兩個(gè)關(guān)鍵問(wèn)題。首先是"多樣性不足"的問(wèn)題。雖然整個(gè)數(shù)據(jù)集很大，但如果仔細(xì)觀察每個(gè)子數(shù)據(jù)集（比如某個(gè)特定實(shí)驗(yàn)室收集的數(shù)據(jù)），會(huì)發(fā)現(xiàn)它們內(nèi)部的變化其實(shí)很有限。這就像一個(gè)廚師雖然會(huì)做一百道菜，但每道菜都只用同一種調(diào)料，結(jié)果所有菜都是同一個(gè)味道。

第二個(gè)問(wèn)題是"碎片化"現(xiàn)象。不同來(lái)源的數(shù)據(jù)之間差異太大，缺乏有機(jī)聯(lián)系。這就像把來(lái)自不同國(guó)家、不同文化背景的人隨機(jī)組合在一起，雖然人數(shù)眾多，但彼此之間缺乏共同語(yǔ)言和理解基礎(chǔ)，很難形成有效的協(xié)作。

為了驗(yàn)證這個(gè)理論，研究團(tuán)隊(duì)進(jìn)行了一系列巧妙的實(shí)驗(yàn)。他們使用了一個(gè)叫做LIBERO的模擬環(huán)境，就像為機(jī)器人搭建了一個(gè)虛擬的"練習(xí)場(chǎng)"。在這個(gè)練習(xí)場(chǎng)里，他們可以精確控制各種因素，比如機(jī)器人看到的視角、需要操作的物體位置等等。通過(guò)這些控制實(shí)驗(yàn)，研究團(tuán)隊(duì)清晰地證明了他們的假設(shè)：當(dāng)數(shù)據(jù)集內(nèi)部多樣性不足，或者不同數(shù)據(jù)源之間差異過(guò)大時(shí)，機(jī)器人確實(shí)更容易學(xué)會(huì)投機(jī)取巧，而不是真正掌握任務(wù)的本質(zhì)。

更有意思的是，研究團(tuán)隊(duì)還在真實(shí)的機(jī)器人上驗(yàn)證了這個(gè)發(fā)現(xiàn)。他們使用了一個(gè)名為AgileX PIPER的機(jī)器人手臂，設(shè)置了兩個(gè)不同的攝像頭視角，讓機(jī)器人學(xué)習(xí)在不同視角下識(shí)別和操作不同的物體。結(jié)果發(fā)現(xiàn)，當(dāng)訓(xùn)練數(shù)據(jù)中視角和物體類型存在強(qiáng)烈關(guān)聯(lián)時(shí)（比如從左邊視角總是看到香蕉，從右邊視角總是看到西瓜），機(jī)器人就會(huì)學(xué)會(huì)依賴視角來(lái)"猜測(cè)"應(yīng)該抓哪個(gè)物體，而完全忽略語(yǔ)言指令的內(nèi)容。這就像一個(gè)人習(xí)慣了"看臉下菜"，完全不聽(tīng)別人說(shuō)話的內(nèi)容。

發(fā)現(xiàn)問(wèn)題后，研究團(tuán)隊(duì)并沒(méi)有停留在批評(píng)階段，而是提出了具體的解決方案。他們的核心思路是通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)來(lái)"修復(fù)"現(xiàn)有的數(shù)據(jù)集。這種方法有點(diǎn)像給一鍋味道單調(diào)的湯添加各種調(diào)料和配菜，讓它變得更加豐富和均衡。

具體來(lái)說(shuō)，他們使用了兩種主要的數(shù)據(jù)增強(qiáng)技術(shù)。第一種是"視角增強(qiáng)"技術(shù)，使用一個(gè)叫做ZeroNVS的模型為同一個(gè)場(chǎng)景生成不同視角的圖像。這就像給每張照片都配上了"全景模式"，讓機(jī)器人能從多個(gè)角度看到同一個(gè)場(chǎng)景。通過(guò)這種方式，原本只能從固定視角看到某個(gè)任務(wù)的機(jī)器人，現(xiàn)在可以從各種角度觀察和學(xué)習(xí)，大大減少了對(duì)特定視角的依賴。

第二種是"物體替換"技術(shù)，通過(guò)智能的圖像編輯技術(shù)，將不同場(chǎng)景中的目標(biāo)物體進(jìn)行交換。這就像在電影制作中使用的"綠幕技術(shù)"，可以把演員從一個(gè)場(chǎng)景"搬運(yùn)"到另一個(gè)完全不同的背景中。通過(guò)這種技術(shù)，研究團(tuán)隊(duì)可以打破原有數(shù)據(jù)中物體和背景之間的固定關(guān)聯(lián)，讓機(jī)器人學(xué)會(huì)真正關(guān)注任務(wù)的核心要素，而不是表面的環(huán)境線索。

實(shí)驗(yàn)結(jié)果令人鼓舞。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)處理后，機(jī)器人的"捷徑學(xué)習(xí)"傾向顯著減少，在面對(duì)新環(huán)境和新任務(wù)時(shí)的表現(xiàn)也大大提升。這就像一個(gè)原本只會(huì)死記硬背的學(xué)生，突然開竅了，開始真正理解知識(shí)的內(nèi)在邏輯，因此能夠舉一反三，應(yīng)對(duì)各種變化。

這項(xiàng)研究的意義遠(yuǎn)不止于解決當(dāng)前的技術(shù)問(wèn)題。它為整個(gè)機(jī)器人學(xué)習(xí)領(lǐng)域提供了重要的指導(dǎo)原則。研究團(tuán)隊(duì)發(fā)現(xiàn)，在收集機(jī)器人訓(xùn)練數(shù)據(jù)時(shí)，有幾個(gè)關(guān)鍵要點(diǎn)需要特別注意。首先，要確保每個(gè)數(shù)據(jù)子集內(nèi)部的多樣性，避免過(guò)度集中在某些特定條件下。這就像為孩子安排學(xué)習(xí)計(jì)劃時(shí)，要確保在各種不同的環(huán)境和條件下進(jìn)行練習(xí)，而不是總在同一個(gè)房間、同一個(gè)時(shí)間段學(xué)習(xí)。

其次，要保持不同數(shù)據(jù)源之間的適度重疊和連貫性，避免過(guò)度碎片化。這就像組建一個(gè)團(tuán)隊(duì)時(shí)，雖然需要不同背景的專家，但這些專家之間應(yīng)該有足夠的共同語(yǔ)言和協(xié)作基礎(chǔ)。再次，要特別注意任務(wù)相關(guān)因素和任務(wù)無(wú)關(guān)因素之間的平衡。任務(wù)相關(guān)因素（比如目標(biāo)物體、操作指令）可以有適度的差異，但任務(wù)無(wú)關(guān)因素（比如光照條件、背景裝飾）的差異應(yīng)該盡量小，以免干擾機(jī)器人對(duì)真正重要信息的學(xué)習(xí)。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：并不是所有的多樣性都是好事。有時(shí)候，盲目增加某種類型的多樣性反而會(huì)適得其反。比如，如果為每個(gè)任務(wù)都分配一個(gè)獨(dú)特的視角，看起來(lái)增加了視角多樣性，實(shí)際上卻在任務(wù)和視角之間建立了新的強(qiáng)關(guān)聯(lián)，反而加劇了捷徑學(xué)習(xí)的問(wèn)題。這提醒我們，在設(shè)計(jì)數(shù)據(jù)收集策略時(shí)，需要系統(tǒng)性思考，而不是簡(jiǎn)單地追求表面上的多樣化。

從更廣泛的角度來(lái)看，這項(xiàng)研究揭示了人工智能領(lǐng)域一個(gè)普遍存在的問(wèn)題：模型往往會(huì)找到最容易的學(xué)習(xí)路徑，而這個(gè)路徑未必是我們希望它學(xué)習(xí)的那個(gè)。這就像水總是向最低處流淌一樣，機(jī)器學(xué)習(xí)算法也總是傾向于找到數(shù)據(jù)中最簡(jiǎn)單、最直接的規(guī)律，即使這些規(guī)律可能是偶然的、不可靠的。

這個(gè)發(fā)現(xiàn)對(duì)當(dāng)前火熱的大模型發(fā)展也有重要啟示。許多研究者和公司都在競(jìng)相收集更大規(guī)模的數(shù)據(jù)，訓(xùn)練更大參數(shù)量的模型，但這項(xiàng)研究提醒我們，數(shù)據(jù)的質(zhì)量和結(jié)構(gòu)可能比數(shù)量更重要。一個(gè)精心設(shè)計(jì)、結(jié)構(gòu)合理的小數(shù)據(jù)集，可能比一個(gè)隨意拼湊的大數(shù)據(jù)集產(chǎn)生更好的效果。

有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)，一些目前表現(xiàn)最好的機(jī)器人系統(tǒng)，比如π0.5和Gemini Robotics，實(shí)際上都在有意避免使用像OXE這樣的大雜燴數(shù)據(jù)集。相反，它們更傾向于使用精心控制的、高度一致的數(shù)據(jù)集。這就像頂級(jí)廚師不會(huì)把所有能找到的食材都扔進(jìn)一個(gè)鍋里，而是精心選擇和搭配每一種原料，確保它們能夠和諧融合，產(chǎn)生最佳的效果。

對(duì)于普通讀者來(lái)說(shuō)，這項(xiàng)研究提供了一個(gè)重要的思考角度：在信息爆炸的時(shí)代，我們接觸的信息數(shù)量前所未有地龐大，但信息的質(zhì)量和我們處理信息的方式同樣重要。就像機(jī)器人會(huì)因?yàn)椴划?dāng)?shù)臄?shù)據(jù)而學(xué)會(huì)投機(jī)取巧一樣，人類也可能因?yàn)榻佑|到過(guò)多碎片化、低質(zhì)量的信息而形成錯(cuò)誤的認(rèn)知模式。

這項(xiàng)研究還展現(xiàn)了科學(xué)研究的魅力：通過(guò)質(zhì)疑常識(shí)、深入分析，研究者們不僅發(fā)現(xiàn)了問(wèn)題，更重要的是提出了解決方案。他們沒(méi)有簡(jiǎn)單地批評(píng)現(xiàn)有方法的不足，而是通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證相結(jié)合的方式，為改進(jìn)機(jī)器人學(xué)習(xí)提供了具體可行的建議。

當(dāng)然，這項(xiàng)研究也有其局限性。研究團(tuán)隊(duì)坦誠(chéng)地承認(rèn)，他們的數(shù)據(jù)增強(qiáng)方法雖然在控制實(shí)驗(yàn)中表現(xiàn)良好，但在超大規(guī)模的真實(shí)數(shù)據(jù)集上的效果還需要進(jìn)一步驗(yàn)證。此外，他們主要關(guān)注了視覺(jué)和語(yǔ)言信息，但機(jī)器人學(xué)習(xí)還涉及觸覺(jué)、本體感覺(jué)等其他類型的信息，這些方面的捷徑學(xué)習(xí)問(wèn)題還需要更多研究。

盡管如此，這項(xiàng)研究已經(jīng)為機(jī)器人學(xué)習(xí)領(lǐng)域帶來(lái)了重要啟發(fā)。它不僅幫助我們更好地理解當(dāng)前技術(shù)的局限性，也為未來(lái)的發(fā)展指明了方向。正如研究團(tuán)隊(duì)在論文中所說(shuō)，要讓機(jī)器人真正智能化，關(guān)鍵不在于簡(jiǎn)單地增加數(shù)據(jù)量，而在于確保數(shù)據(jù)的質(zhì)量和結(jié)構(gòu)能夠引導(dǎo)機(jī)器人學(xué)習(xí)到正確的知識(shí)。

這個(gè)發(fā)現(xiàn)對(duì)于正在蓬勃發(fā)展的機(jī)器人產(chǎn)業(yè)也有重要意義。無(wú)論是工業(yè)機(jī)器人、服務(wù)機(jī)器人還是家用機(jī)器人，要想在復(fù)雜多變的現(xiàn)實(shí)環(huán)境中可靠工作，都需要避免過(guò)度依賴訓(xùn)練環(huán)境中的偶然特征。這項(xiàng)研究提供的數(shù)據(jù)收集和處理策略，有望幫助開發(fā)出更加魯棒、更加智能的機(jī)器人系統(tǒng)。

說(shuō)到底，這項(xiàng)研究揭示了一個(gè)深刻的道理：在人工智能的發(fā)展過(guò)程中，我們不僅要關(guān)注技術(shù)本身的進(jìn)步，還要深入理解數(shù)據(jù)、算法和應(yīng)用場(chǎng)景之間的復(fù)雜關(guān)系。只有這樣，我們才能避免"看起來(lái)很先進(jìn)，實(shí)際上很脆弱"的技術(shù)陷阱，真正推動(dòng)人工智能技術(shù)向著更加實(shí)用、更加可靠的方向發(fā)展。對(duì)于有興趣深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者，可以訪問(wèn)研究團(tuán)隊(duì)提供的項(xiàng)目頁(yè)面，那里有更詳細(xì)的技術(shù)資料和實(shí)驗(yàn)代碼。

Q&A

Q1：什么是機(jī)器人學(xué)習(xí)中的"捷徑學(xué)習(xí)"現(xiàn)象？

A：捷徑學(xué)習(xí)是指機(jī)器人不是真正理解任務(wù)的本質(zhì)，而是記住了一些表面的關(guān)聯(lián)模式。比如機(jī)器人在訓(xùn)練時(shí)發(fā)現(xiàn)某個(gè)視角總是對(duì)應(yīng)抓可樂(lè)罐的任務(wù)，于是學(xué)會(huì)了依賴視角來(lái)判斷應(yīng)該做什么，而不是聽(tīng)從具體的語(yǔ)言指令。這就像學(xué)生死記硬背題型和答案的對(duì)應(yīng)關(guān)系，而不是真正理解數(shù)學(xué)原理。

Q2：為什么大數(shù)據(jù)集反而會(huì)讓機(jī)器人變"笨"？

A：?jiǎn)栴}不在于數(shù)據(jù)量大，而在于數(shù)據(jù)質(zhì)量和結(jié)構(gòu)存在問(wèn)題。大型機(jī)器人數(shù)據(jù)集通常存在兩個(gè)關(guān)鍵問(wèn)題：一是子數(shù)據(jù)集內(nèi)部多樣性不足，二是不同數(shù)據(jù)源之間過(guò)度碎片化。這導(dǎo)致機(jī)器人容易學(xué)會(huì)投機(jī)取巧的模式，而不是真正掌握任務(wù)技能。就像把不同口味但調(diào)料單一的菜混在一起，看似豐富實(shí)則缺乏營(yíng)養(yǎng)均衡。

Q3：研究團(tuán)隊(duì)提出的數(shù)據(jù)增強(qiáng)解決方案具體是怎么做的？

A：他們主要使用兩種技術(shù)：視角增強(qiáng)和物體替換。視角增強(qiáng)使用ZeroNVS模型為同一場(chǎng)景生成不同角度的圖像，讓機(jī)器人從多角度學(xué)習(xí)同一任務(wù)。物體替換則通過(guò)智能圖像編輯技術(shù)，將不同場(chǎng)景中的目標(biāo)物體進(jìn)行交換，打破物體和背景之間的固定關(guān)聯(lián)。這些方法就像給單調(diào)的湯添加各種調(diào)料，讓數(shù)據(jù)變得更加豐富和均衡。