這項(xiàng)由南京大學(xué)吳文浩、劉福紅、李浩如、胡子燦等研究者與悉尼科技大學(xué)董道毅教授合作完成的研究，發(fā)表于2025年6月的arXiv預(yù)印本平臺(tái)。有興趣深入了解的讀者可以通過(guò)論文編號(hào)arXiv:2506.05426v1訪問(wèn)完整論文。

想象一下，如果你面前有一個(gè)超級(jí)聰明的機(jī)器人助手，它不僅能聽(tīng)懂你說(shuō)話，還能看懂你的手勢(shì)，甚至理解你的表情。更厲害的是，當(dāng)你讓它做不同類(lèi)型的工作時(shí)——比如今天要它幫你做飯，明天要它輔導(dǎo)孩子寫(xiě)作業(yè)，后天要它整理花園——它都能快速適應(yīng)并做得很好。這就是這項(xiàng)研究想要實(shí)現(xiàn)的目標(biāo)：讓人工智能系統(tǒng)具備這樣的"萬(wàn)能適應(yīng)力"。

在人工智能領(lǐng)域，有一種叫做"強(qiáng)化學(xué)習(xí)"的技術(shù)，就像教小孩學(xué)騎自行車(chē)一樣——通過(guò)不斷嘗試、犯錯(cuò)和改進(jìn)來(lái)學(xué)會(huì)新技能。最近幾年，研究者們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：如果讓AI系統(tǒng)觀察一些相關(guān)的示例或"提示"，它就能更快地學(xué)會(huì)處理新任務(wù)，這就像給學(xué)生一些參考資料，讓他們更容易理解新概念一樣。這種技術(shù)被稱(chēng)為"情境強(qiáng)化學(xué)習(xí)"。

不過(guò)，現(xiàn)有的情境強(qiáng)化學(xué)習(xí)系統(tǒng)面臨著兩個(gè)主要挑戰(zhàn)。第一個(gè)挑戰(zhàn)就像是讓一個(gè)人同時(shí)處理多種完全不同類(lèi)型的信息。比如，你要一邊聽(tīng)音樂(lè)、一邊看圖片、一邊讀文字，這些信息的性質(zhì)完全不同，大腦需要用不同的方式來(lái)處理它們。在AI系統(tǒng)中，狀態(tài)信息（比如機(jī)器人的位置）、動(dòng)作信息（比如機(jī)器人應(yīng)該做什么）和獎(jiǎng)勵(lì)信息（比如做得好還是不好）就像這些不同類(lèi)型的信息，它們有著截然不同的特征，但傳統(tǒng)系統(tǒng)往往用同一套方法來(lái)處理它們，效果并不理想。

第二個(gè)挑戰(zhàn)則像是讓一個(gè)老師同時(shí)教授數(shù)學(xué)、語(yǔ)文、體育和音樂(lè)課程。每門(mén)課程都有自己的特點(diǎn)和要求，如果用完全相同的教學(xué)方法，必然會(huì)出現(xiàn)問(wèn)題。比如教數(shù)學(xué)時(shí)強(qiáng)調(diào)邏輯推理，教體育時(shí)注重動(dòng)作協(xié)調(diào)，這些技能甚至可能相互沖突。AI系統(tǒng)也面臨類(lèi)似問(wèn)題：當(dāng)它需要學(xué)會(huì)處理多種不同類(lèi)型的任務(wù)時(shí)，傳統(tǒng)的單一模型往往會(huì)在不同任務(wù)的要求之間產(chǎn)生沖突，導(dǎo)致學(xué)習(xí)效率下降。

為了解決這些問(wèn)題，南京大學(xué)的研究團(tuán)隊(duì)提出了一個(gè)創(chuàng)新的解決方案，他們稱(chēng)之為T(mén)2MIR（Token- and Task-wise MoE for In-context RL）。這個(gè)名字聽(tīng)起來(lái)很專(zhuān)業(yè)，但其核心思想其實(shí)很直觀：就像組建一個(gè)專(zhuān)家團(tuán)隊(duì)，讓不同的專(zhuān)家負(fù)責(zé)處理不同類(lèi)型的工作。

這個(gè)系統(tǒng)的設(shè)計(jì)哲學(xué)來(lái)源于一個(gè)在大語(yǔ)言模型領(lǐng)域已經(jīng)被證明非常有效的技術(shù)——"混合專(zhuān)家模型"（Mixture of Experts，簡(jiǎn)稱(chēng)MoE）。想象一家大型咨詢(xún)公司，當(dāng)客戶有不同類(lèi)型的問(wèn)題時(shí)，公司不會(huì)讓同一個(gè)顧問(wèn)處理所有問(wèn)題，而是會(huì)根據(jù)問(wèn)題的性質(zhì)安排相應(yīng)的專(zhuān)家。財(cái)務(wù)問(wèn)題找財(cái)務(wù)專(zhuān)家，法律問(wèn)題找法律專(zhuān)家，技術(shù)問(wèn)題找技術(shù)專(zhuān)家。這樣不僅效率更高，而且每個(gè)專(zhuān)家都能發(fā)揮自己的專(zhuān)長(zhǎng)。

T2MIR系統(tǒng)采用了類(lèi)似的思路，但它建立了兩套并行的專(zhuān)家體系。第一套專(zhuān)家體系叫做"令牌層面的專(zhuān)家混合"，專(zhuān)門(mén)負(fù)責(zé)處理不同類(lèi)型的信息。就像人的大腦中有專(zhuān)門(mén)處理視覺(jué)信息的區(qū)域、專(zhuān)門(mén)處理聽(tīng)覺(jué)信息的區(qū)域一樣，這套系統(tǒng)安排不同的專(zhuān)家來(lái)處理狀態(tài)信息、動(dòng)作信息和獎(jiǎng)勵(lì)信息。當(dāng)系統(tǒng)接收到一段包含多種信息的序列時(shí)，每種類(lèi)型的信息都會(huì)被自動(dòng)分配給最適合處理它的專(zhuān)家。

為了確保這些專(zhuān)家能夠平衡工作量，避免出現(xiàn)某些專(zhuān)家過(guò)度忙碌而其他專(zhuān)家無(wú)所事事的情況，研究團(tuán)隊(duì)設(shè)計(jì)了一套"負(fù)載均衡"機(jī)制。這就像公司的人力資源部門(mén)，會(huì)監(jiān)控每個(gè)部門(mén)的工作量，確保沒(méi)有哪個(gè)部門(mén)被過(guò)度壓榨，也沒(méi)有哪個(gè)部門(mén)閑置不用。

第二套專(zhuān)家體系叫做"任務(wù)層面的專(zhuān)家混合"，它的作用是根據(jù)不同的任務(wù)類(lèi)型來(lái)分配合適的專(zhuān)家。繼續(xù)用咨詢(xún)公司的比喻，如果客戶的問(wèn)題不是按照信息類(lèi)型分類(lèi)，而是按照行業(yè)分類(lèi)——比如醫(yī)療行業(yè)、金融行業(yè)、制造業(yè)——那么公司就需要另一套專(zhuān)家分配機(jī)制。這套系統(tǒng)會(huì)識(shí)別當(dāng)前面臨的是什么類(lèi)型的任務(wù)，然后調(diào)動(dòng)最適合處理這類(lèi)任務(wù)的專(zhuān)家團(tuán)隊(duì)。

為了讓這套任務(wù)專(zhuān)家系統(tǒng)更加智能，研究團(tuán)隊(duì)引入了一種叫做"對(duì)比學(xué)習(xí)"的技術(shù)。這種技術(shù)的核心思想是讓系統(tǒng)學(xué)會(huì)區(qū)分不同任務(wù)之間的本質(zhì)差異。就像一個(gè)經(jīng)驗(yàn)豐富的項(xiàng)目經(jīng)理，能夠快速識(shí)別新項(xiàng)目的特點(diǎn)，并回憶起之前處理過(guò)的類(lèi)似項(xiàng)目，從而選擇最合適的團(tuán)隊(duì)和方法。

具體來(lái)說(shuō)，系統(tǒng)會(huì)觀察大量的任務(wù)示例，學(xué)習(xí)如何將相似的任務(wù)歸類(lèi)到一起，將不同的任務(wù)區(qū)分開(kāi)來(lái)。比如，所有需要機(jī)器人向左移動(dòng)的任務(wù)應(yīng)該被歸為一類(lèi)，所有需要機(jī)器人向右移動(dòng)的任務(wù)應(yīng)該被歸為另一類(lèi)。通過(guò)這種方式，系統(tǒng)能夠更準(zhǔn)確地識(shí)別新任務(wù)的特征，并選擇最合適的專(zhuān)家來(lái)處理。

研究團(tuán)隊(duì)在多個(gè)不同類(lèi)型的環(huán)境中測(cè)試了T2MIR系統(tǒng)的效果。這些測(cè)試環(huán)境就像是不同的考試科目，每一個(gè)都有自己獨(dú)特的挑戰(zhàn)。有些環(huán)境要求AI系統(tǒng)在網(wǎng)格世界中尋找目標(biāo)，就像走迷宮一樣；有些環(huán)境要求控制機(jī)器人在二維平面上導(dǎo)航，類(lèi)似于遙控玩具車(chē)；還有些環(huán)境要求控制復(fù)雜的機(jī)械裝置，比如讓機(jī)器豹子以特定速度奔跑，或者控制機(jī)械手臂抓取物體。

在所有這些測(cè)試中，T2MIR系統(tǒng)都表現(xiàn)出了顯著的優(yōu)勢(shì)。它不僅學(xué)習(xí)速度更快，最終達(dá)到的性能水平也更高。研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的分析實(shí)驗(yàn)，分別測(cè)試了兩套專(zhuān)家系統(tǒng)的貢獻(xiàn)。結(jié)果發(fā)現(xiàn)，令牌層面的專(zhuān)家系統(tǒng)在處理長(zhǎng)序列信息時(shí)特別有效，這驗(yàn)證了讓不同專(zhuān)家處理不同類(lèi)型信息的設(shè)計(jì)理念。而任務(wù)層面的專(zhuān)家系統(tǒng)在需要快速適應(yīng)新任務(wù)時(shí)表現(xiàn)尤為出色，證明了專(zhuān)業(yè)化分工的價(jià)值。

通過(guò)可視化分析，研究團(tuán)隊(duì)還直觀地展示了系統(tǒng)的工作原理。他們發(fā)現(xiàn)，令牌層面的專(zhuān)家確實(shí)學(xué)會(huì)了按照信息類(lèi)型進(jìn)行分工：一些專(zhuān)家專(zhuān)門(mén)處理狀態(tài)信息，另一些專(zhuān)家專(zhuān)門(mén)處理動(dòng)作信息，還有一些專(zhuān)家專(zhuān)門(mén)處理獎(jiǎng)勵(lì)信息。這種自發(fā)的專(zhuān)業(yè)化分工證明了系統(tǒng)設(shè)計(jì)的合理性。

同樣，任務(wù)層面的專(zhuān)家也表現(xiàn)出了明顯的任務(wù)偏好。當(dāng)面對(duì)需要向不同方向移動(dòng)的任務(wù)時(shí)，不同的專(zhuān)家會(huì)被激活，就像不同的司機(jī)專(zhuān)門(mén)負(fù)責(zé)不同的路線一樣。這種任務(wù)特異性的專(zhuān)家分配不僅提高了效率，還減少了不同任務(wù)之間的相互干擾。

為了進(jìn)一步驗(yàn)證系統(tǒng)的魯棒性，研究團(tuán)隊(duì)還測(cè)試了T2MIR在不同質(zhì)量數(shù)據(jù)上的表現(xiàn)。他們創(chuàng)建了三種不同質(zhì)量的訓(xùn)練數(shù)據(jù)：混合質(zhì)量數(shù)據(jù)（包含各種水平的示例）、中高質(zhì)量數(shù)據(jù)和中等質(zhì)量數(shù)據(jù)。結(jié)果顯示，即使在較低質(zhì)量的數(shù)據(jù)上，T2MIR仍然能夠保持良好的性能，這表明該系統(tǒng)具有很強(qiáng)的適應(yīng)性和魯棒性。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)層面的突破。在現(xiàn)實(shí)世界中，這種技術(shù)可能會(huì)有廣泛的應(yīng)用前景。比如，在自動(dòng)駕駛領(lǐng)域，車(chē)輛需要同時(shí)處理視覺(jué)信息、雷達(dá)信息、GPS信息等多種不同類(lèi)型的數(shù)據(jù)，同時(shí)還要適應(yīng)城市道路、高速公路、鄉(xiāng)村小路等不同的駕駛環(huán)境。T2MIR的設(shè)計(jì)理念可以幫助自動(dòng)駕駛系統(tǒng)更好地處理這種復(fù)雜性。

在機(jī)器人領(lǐng)域，家庭服務(wù)機(jī)器人需要學(xué)會(huì)做飯、清潔、整理等各種不同的家務(wù)任務(wù)，每種任務(wù)都有其獨(dú)特的技能要求。傳統(tǒng)的單一模型往往難以兼顧所有任務(wù)，而專(zhuān)家混合的方法可以讓機(jī)器人在每種任務(wù)上都達(dá)到更好的性能。

在工業(yè)自動(dòng)化領(lǐng)域，生產(chǎn)線上的機(jī)器人需要根據(jù)不同的產(chǎn)品類(lèi)型調(diào)整自己的操作方式。T2MIR的任務(wù)專(zhuān)家系統(tǒng)可以幫助這些機(jī)器人快速適應(yīng)新產(chǎn)品的生產(chǎn)要求，減少重新編程和調(diào)試的時(shí)間。

研究團(tuán)隊(duì)也誠(chéng)實(shí)地指出了當(dāng)前工作的一些局限性。由于計(jì)算資源的限制，他們的實(shí)驗(yàn)主要在相對(duì)小規(guī)模的數(shù)據(jù)集上進(jìn)行。雖然這些數(shù)據(jù)集足以驗(yàn)證核心思想的有效性，但要在更大規(guī)模、更復(fù)雜的真實(shí)世界環(huán)境中部署這種技術(shù)，還需要進(jìn)一步的研究和優(yōu)化。

另外，當(dāng)面對(duì)大量任務(wù)時(shí)，對(duì)比學(xué)習(xí)機(jī)制的效率如何保持，也是一個(gè)需要進(jìn)一步探索的問(wèn)題。就像一個(gè)公司，當(dāng)業(yè)務(wù)規(guī)模擴(kuò)大到一定程度時(shí)，原有的管理模式可能需要調(diào)整一樣，T2MIR系統(tǒng)在處理更大規(guī)模任務(wù)時(shí)的表現(xiàn)還有待驗(yàn)證。

盡管存在這些挑戰(zhàn)，這項(xiàng)研究仍然為強(qiáng)化學(xué)習(xí)領(lǐng)域開(kāi)辟了一個(gè)新的方向。它證明了將成熟的專(zhuān)家混合技術(shù)引入強(qiáng)化學(xué)習(xí)是可行且有效的，為未來(lái)開(kāi)發(fā)更加智能、更加適應(yīng)性強(qiáng)的AI系統(tǒng)提供了重要的參考。

更重要的是，這項(xiàng)研究體現(xiàn)了一種重要的設(shè)計(jì)哲學(xué)：與其試圖用一個(gè)萬(wàn)能的模型來(lái)解決所有問(wèn)題，不如讓專(zhuān)業(yè)的人做專(zhuān)業(yè)的事。這種思路不僅在AI領(lǐng)域有價(jià)值，在很多其他領(lǐng)域也有借鑒意義。

Q&A

Q1：T2MIR是什么？它能做什么？ A：T2MIR是南京大學(xué)團(tuán)隊(duì)開(kāi)發(fā)的一種新型AI架構(gòu)，它的核心能力是讓AI系統(tǒng)像組建專(zhuān)家團(tuán)隊(duì)一樣工作。它能同時(shí)處理多種不同類(lèi)型的信息（如圖像、聲音、文字），并快速適應(yīng)各種不同的任務(wù)，就像一個(gè)多才多藝的助手。

Q2：這種專(zhuān)家混合方法會(huì)不會(huì)讓AI變得過(guò)于復(fù)雜？ A：實(shí)際上恰恰相反。雖然系統(tǒng)內(nèi)部變得更精細(xì)化，但這種專(zhuān)業(yè)化分工讓每個(gè)部分都能專(zhuān)注于自己最擅長(zhǎng)的事情，反而提高了整體效率。就像醫(yī)院里有不同科室的醫(yī)生，看起來(lái)復(fù)雜，但實(shí)際上能提供更好的醫(yī)療服務(wù)。

Q3：普通人什么時(shí)候能用上這種技術(shù)？ A：目前這還是研究階段的技術(shù)，但它的應(yīng)用前景很廣泛。未來(lái)可能會(huì)在自動(dòng)駕駛汽車(chē)、家庭服務(wù)機(jī)器人、智能客服等產(chǎn)品中看到類(lèi)似技術(shù)。具體的商業(yè)化時(shí)間取決于技術(shù)進(jìn)一步優(yōu)化和工程化的進(jìn)展。