最近，中國(guó)科學(xué)院自動(dòng)化研究所的腦啟發(fā)認(rèn)知人工智能實(shí)驗(yàn)室發(fā)表了一項(xiàng)令人矚目的研究。這項(xiàng)由何翔、趙東成（共同第一作者）、李陽(yáng)、孔慶群、楊鑫和曾毅（通訊作者）共同完成的工作發(fā)表在2025年5月15日的arXiv預(yù)印本服務(wù)平臺(tái)上（arXiv:2505.10176v1），詳細(xì)闡述了一種新的多模態(tài)學(xué)習(xí)機(jī)制，該機(jī)制從人腦的工作方式中汲取靈感，可以顯著提高人工智能系統(tǒng)的性能。有興趣深入探索的讀者可以通過(guò)GitHub上的開源代碼庫(kù)（https://github.com/Brain-Cog-Lab/IEMF）了解更多技術(shù)細(xì)節(jié)。

一、從大腦工作方式中尋找靈感：多模態(tài)融合的新視角

想象一下，你正走在海灘上。你看到黃色的沙灘和藍(lán)色的海洋（視覺(jué)信息），聽到海浪拍打岸邊的聲音（聽覺(jué)信息），感受到腳下沙子的質(zhì)地（觸覺(jué)信息）。這些不同感官通道的信息綜合在一起，共同構(gòu)建了你對(duì)"海灘"這個(gè)概念的完整理解。這正是我們大腦進(jìn)行多模態(tài)感知的方式。

然而，人工智能系統(tǒng)在處理多模態(tài)信息時(shí)，往往采用靜態(tài)的融合策略，沒(méi)有充分考慮大腦中發(fā)現(xiàn)的關(guān)鍵動(dòng)態(tài)機(jī)制。特別是大腦中的"逆效能現(xiàn)象"（inverse effectiveness）：當(dāng)單一模態(tài)的信號(hào)較弱時(shí)，多感官整合產(chǎn)生的增益效果更強(qiáng)；相反，當(dāng)單個(gè)模態(tài)信號(hào)較強(qiáng)時(shí)，模態(tài)融合的效果相對(duì)減弱。這種機(jī)制使生物系統(tǒng)即使在感知線索稀缺或有噪聲的環(huán)境中也能實(shí)現(xiàn)穩(wěn)健的認(rèn)知。

中國(guó)科學(xué)院自動(dòng)化研究所的研究團(tuán)隊(duì)受到這一生物學(xué)機(jī)制的啟發(fā)，探索了多模態(tài)輸出與單個(gè)模態(tài)信息之間的內(nèi)在關(guān)系，提出了一種逆效能驅(qū)動(dòng)的多模態(tài)融合（Inverse Effectiveness driven Multimodal Fusion，簡(jiǎn)稱IEMF）策略。通過(guò)將這種策略整合到神經(jīng)網(wǎng)絡(luò)架構(gòu)中，他們不僅實(shí)現(xiàn)了更高效的多模態(tài)融合和顯著提升的模型性能，還大幅降低了計(jì)算成本——在不同融合方法中計(jì)算成本最高可減少50%。

二、IEMF如何工作：像大腦一樣智能地調(diào)節(jié)融合強(qiáng)度

為了理解IEMF的工作原理，我們可以想象一個(gè)調(diào)音師在混音臺(tái)前工作。當(dāng)某個(gè)樂(lè)器（模態(tài)）的聲音太弱時(shí)，調(diào)音師會(huì)提高它的音量；當(dāng)某個(gè)樂(lè)器聲音足夠強(qiáng)時(shí)，調(diào)音師則不需要特別調(diào)整。IEMF做的事情與此類似——它動(dòng)態(tài)調(diào)整不同感官模態(tài)融合的權(quán)重。

具體來(lái)說(shuō)，IEMF通過(guò)三個(gè)關(guān)鍵步驟實(shí)現(xiàn)這種動(dòng)態(tài)調(diào)整：

首先，對(duì)于每個(gè)訓(xùn)練樣本，系統(tǒng)會(huì)評(píng)估來(lái)自各個(gè)模態(tài)的信息內(nèi)容。就像調(diào)音師會(huì)評(píng)估每個(gè)樂(lè)器發(fā)出的聲音質(zhì)量一樣，IEMF會(huì)估計(jì)每個(gè)模態(tài)（如視覺(jué)和聽覺(jué)）的"信息強(qiáng)度分?jǐn)?shù)"。

其次，系統(tǒng)會(huì)對(duì)比單模態(tài)信息與融合后多模態(tài)輸出的相對(duì)強(qiáng)度，計(jì)算出一個(gè)"逆效能系數(shù)"。當(dāng)單模態(tài)信號(hào)較弱時(shí)，這個(gè)系數(shù)會(huì)變大，促使系統(tǒng)更多地依賴模態(tài)融合；當(dāng)單模態(tài)信號(hào)很強(qiáng)時(shí)，系數(shù)變小，減少對(duì)融合的依賴。

最后，這個(gè)系數(shù)被用來(lái)動(dòng)態(tài)調(diào)整融合模塊的權(quán)重更新強(qiáng)度。簡(jiǎn)單說(shuō)，當(dāng)某個(gè)感官通道（如視覺(jué)）的信息質(zhì)量下降時(shí)，IEMF會(huì)促使模型從其他感官通道（如聽覺(jué)）獲取更多補(bǔ)償信息，通過(guò)加強(qiáng)融合模塊的學(xué)習(xí)速率來(lái)實(shí)現(xiàn)這一點(diǎn)。

這種機(jī)制與我們的日常經(jīng)驗(yàn)非常吻合——當(dāng)我們?cè)卩须s的環(huán)境中聽不清別人說(shuō)話時(shí)，會(huì)更加依賴對(duì)方的口型和表情（視覺(jué)信息）來(lái)理解對(duì)話內(nèi)容。IEMF正是將這種人類自然具備的感知適應(yīng)能力帶入了人工智能系統(tǒng)。

三、實(shí)驗(yàn)證明：IEMF在各種任務(wù)和網(wǎng)絡(luò)架構(gòu)中都表現(xiàn)出色

研究團(tuán)隊(duì)在多種任務(wù)和網(wǎng)絡(luò)架構(gòu)上進(jìn)行了廣泛實(shí)驗(yàn)，以驗(yàn)證IEMF的有效性和通用性。

首先是IEMF在不同網(wǎng)絡(luò)架構(gòu)上的泛化能力。研究人員將IEMF整合到兩種截然不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)中：傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)（ANN）和更接近生物神經(jīng)元工作方式的脈沖神經(jīng)網(wǎng)絡(luò)（SNN）。在CREMA-D、Kinetics-Sounds和UrbanSound8K-AV這三個(gè)視聽分類基準(zhǔn)測(cè)試中，無(wú)論底層網(wǎng)絡(luò)類型如何，IEMF都帶來(lái)了穩(wěn)定的性能提升。

以Kinetics-Sounds數(shù)據(jù)集為例，使用聯(lián)接（Concat）融合方法時(shí)，ANN的分類準(zhǔn)確率從51.58%提升到了56.17%；同樣在SNN上，IEMF將模型準(zhǔn)確率從52.85%提高到了55.47%。這種跨架構(gòu)的穩(wěn)健性對(duì)實(shí)際應(yīng)用特別重要，因?yàn)楝F(xiàn)實(shí)世界的系統(tǒng)常常因硬件資源限制、功耗限制或?qū)崟r(shí)處理需求而采用不同類型的網(wǎng)絡(luò)模型。

更令人驚訝的是，在某些情況下，當(dāng)使用LFM融合方法處理Kinetics-Sounds數(shù)據(jù)集時(shí)，原始SNN的準(zhǔn)確率為54.63%，略低于ANN的55.28%；但在引入IEMF后，SNN的分類準(zhǔn)確率超過(guò)了ANN，達(dá)到63.53%（相比之下，使用IEMF的ANN為63.15%）。這表明IEMF不僅提高了性能，還可能縮小不同網(wǎng)絡(luò)架構(gòu)之間的性能差距。

四、在視聽分類任務(wù)中的表現(xiàn)：全面提升各種融合策略

研究團(tuán)隊(duì)在視聽分類任務(wù)上系統(tǒng)地驗(yàn)證了IEMF的有效性。他們?cè)u(píng)估了四種主流融合策略在三個(gè)代表性數(shù)據(jù)集上的性能差異：連接融合（Concat）、模態(tài)特定學(xué)習(xí)率（MSLR）、動(dòng)態(tài)梯度調(diào)制（OGM_GE）以及模態(tài)差距學(xué)習(xí)促進(jìn)器（LFM）。

以MSLR方法在不同數(shù)據(jù)集上的表現(xiàn)為例：在CREMA-D數(shù)據(jù)集上，基線模型使用MSLR達(dá)到了64.11%的準(zhǔn)確率，而引入IEMF后提高到65.59%，增益為1.48%；在更具挑戰(zhàn)性的Kinetics-Sounds數(shù)據(jù)集上，基線準(zhǔn)確率為51.89%，而IEMF增強(qiáng)的模型達(dá)到55.86%，提高了3.97%；即使在基線模型已經(jīng)達(dá)到很高準(zhǔn)確率（97.79%）的UrbanSound8K-AV數(shù)據(jù)集上，IEMF仍然將其進(jìn)一步提高到97.98%。

值得注意的是，在某些情況下，引入IEMF后性能提升相對(duì)較小，甚至偶爾出現(xiàn)輕微下降（如使用Concat融合策略的UrbanSound8K-AV數(shù)據(jù)集）。研究人員解釋，這主要是因?yàn)楫?dāng)基線模型已經(jīng)在清晰、低噪聲環(huán)境中最優(yōu)地利用了互補(bǔ)的視聽信息時(shí)，現(xiàn)有的模態(tài)貢獻(xiàn)比率已經(jīng)接近最優(yōu)，自然減少了動(dòng)態(tài)調(diào)整的益處，偶爾還會(huì)因額外的建模自由度引入輕微擾動(dòng)。

簡(jiǎn)單來(lái)說(shuō)，就像在晴朗天氣開車時(shí)不太需要雨刷一樣，當(dāng)環(huán)境條件已經(jīng)很好時(shí)，IEMF的適應(yīng)性調(diào)節(jié)機(jī)制帶來(lái)的優(yōu)勢(shì)相對(duì)有限；而在環(huán)境條件波動(dòng)、模態(tài)信號(hào)質(zhì)量不穩(wěn)定或有噪聲干擾的情況下，IEMF的自適應(yīng)調(diào)節(jié)機(jī)制則展現(xiàn)出更顯著的優(yōu)勢(shì)。

五、持續(xù)學(xué)習(xí)中的優(yōu)勢(shì)：減少"災(zāi)難性遺忘"

研究團(tuán)隊(duì)還探索了IEMF在視聽持續(xù)學(xué)習(xí)任務(wù)中的表現(xiàn)。在持續(xù)學(xué)習(xí)中，模型需要不斷學(xué)習(xí)新類別，同時(shí)盡可能保留對(duì)先前學(xué)習(xí)類別的識(shí)別能力，以避免"災(zāi)難性遺忘"問(wèn)題。

在AVE-CI、K-S-CI和VS100-CI三個(gè)視聽持續(xù)學(xué)習(xí)數(shù)據(jù)集上，研究人員將IEMF與三種代表性的類增量學(xué)習(xí)基線方法進(jìn)行了比較：LwF、SSIL和AV-CIL。實(shí)驗(yàn)結(jié)果表明，引入IEMF后，模型在所有數(shù)據(jù)集上都實(shí)現(xiàn)了穩(wěn)定的準(zhǔn)確率提升。

在K-S-CI數(shù)據(jù)集上（這個(gè)數(shù)據(jù)集具有更多的跨模態(tài)噪聲），LwF從59.89%提高到62.79%（+2.90%），SSIL從63.31%提高到65.18%（+1.87%），AV-CIL從70.63%提高到72.49%（+1.86%）。所有九種比較都顯示出積極的收益，平均提升約1.63個(gè)百分點(diǎn)。

更值得注意的是，與基線模型相比，IEMF模型的準(zhǔn)確率衰減曲線明顯更加平緩。這表明IEMF增強(qiáng)了模型在跨任務(wù)知識(shí)轉(zhuǎn)移過(guò)程中保留現(xiàn)有知識(shí)的能力，同時(shí)有效整合有關(guān)新類別的信息，從而顯著緩解了災(zāi)難性遺忘問(wèn)題。

這就像一個(gè)人在學(xué)習(xí)新知識(shí)時(shí)，能夠更好地將新知識(shí)與已有知識(shí)聯(lián)系起來(lái)，而不是用新知識(shí)完全覆蓋舊知識(shí)。IEMF通過(guò)動(dòng)態(tài)調(diào)整模態(tài)融合的更新策略，實(shí)現(xiàn)了這種平衡學(xué)習(xí)的能力。

六、視聽問(wèn)答任務(wù)：提升跨模態(tài)推理能力

研究團(tuán)隊(duì)還在視聽問(wèn)答（AVQA）任務(wù)中評(píng)估了IEMF的有效性。在這類任務(wù)中，模型必須基于同步的音頻和視頻輸入回答文本問(wèn)題，需要更高的多模態(tài)信息深度整合能力。

比較基線模型與IEMF增強(qiáng)模型，以及ST-AVQA模型與其IEMF增強(qiáng)版本在不同問(wèn)題類型（僅音頻問(wèn)題、僅視覺(jué)問(wèn)題和音視頻結(jié)合問(wèn)題）上的分類準(zhǔn)確率，研究發(fā)現(xiàn)IEMF在所有問(wèn)題類型上都提高了答案準(zhǔn)確率。

以ST-AVQA模型及其IEMF增強(qiáng)版本為例：對(duì)于僅音頻問(wèn)題，原始ST-AVQA模型的平均準(zhǔn)確率為71.90%，而IEMF模型提高到74.49%，增加了2.59%；對(duì)于僅視覺(jué)問(wèn)題，基線準(zhǔn)確率為74.74%，而IEMF增強(qiáng)的模型達(dá)到75.65%，提高了0.91%；對(duì)于音視頻問(wèn)題，原始模型的平均準(zhǔn)確率為67.61%，而IEMF模型達(dá)到68.33%，提高了0.72%。

為了驗(yàn)證IEMF在精細(xì)化問(wèn)題上的表現(xiàn)，研究人員具體分析了它在需要精確定位分類的任務(wù)中的有效性。例如，原始ST-AVQA模型在回答"最后發(fā)聲樂(lè)器的位置"時(shí)錯(cuò)誤預(yù)測(cè)為"左側(cè)"，而使用IEMF的模型正確定位為"右側(cè)"。這表明IEMF增強(qiáng)的模型在復(fù)雜的跨模態(tài)推理任務(wù)中具有更強(qiáng)的精細(xì)判別能力，提高了多模態(tài)線索的整合效率。

七、神經(jīng)科學(xué)見解與計(jì)算效率的雙重優(yōu)勢(shì)

研究團(tuán)隊(duì)提出的IEMF機(jī)制不僅在性能上有提升，還帶來(lái)了顯著的計(jì)算效率優(yōu)勢(shì)。研究人員分析了IEMF對(duì)計(jì)算成本的影響，發(fā)現(xiàn)它在所有融合方法上都一致地減少了計(jì)算成本。

計(jì)算成本的節(jié)省范圍從MSLR的15.2%到OGM_GE的50.0%不等，Normal和LFM配置分別顯示44.2%和36.6%的減少。這些實(shí)質(zhì)性的改進(jìn)源于IEMF能夠在保持合理的每輪訓(xùn)練復(fù)雜度的同時(shí)實(shí)現(xiàn)更快的收斂。通過(guò)基于模態(tài)貢獻(xiàn)動(dòng)態(tài)調(diào)制融合行為，IEMF有效減少了達(dá)到最佳性能所需的總計(jì)算預(yù)算。

重要的是，這些效率提升與前面報(bào)告的性能增強(qiáng)同時(shí)發(fā)生，表明IEMF不僅提高了模型準(zhǔn)確率，還顯著優(yōu)化了計(jì)算資源利用——這對(duì)資源受限的多模態(tài)應(yīng)用在現(xiàn)實(shí)環(huán)境中至關(guān)重要。

這種性能和效率的雙重優(yōu)勢(shì)讓我們思考：為什么逆效能機(jī)制會(huì)在生物系統(tǒng)中進(jìn)化為關(guān)鍵機(jī)制？研究結(jié)果暗示，這可能是因?yàn)樵谏锵到y(tǒng)中，感知可靠性和代謝效率都受到進(jìn)化壓力的驅(qū)動(dòng)。IEMF以其增強(qiáng)的魯棒性和降低的計(jì)算成本，或許揭示了生物系統(tǒng)進(jìn)化出逆效能機(jī)制的深層原因。

八、理論基礎(chǔ)：IEMF如何改變優(yōu)化路徑

研究團(tuán)隊(duì)還提供了IEMF融合策略的理論分析，證明了IEMF系數(shù)能夠在高曲率方向上更多地減少預(yù)期步長(zhǎng)，確?？煽康厥諗康骄植孔钚≈?，同時(shí)在整個(gè)訓(xùn)練過(guò)程中保持優(yōu)化穩(wěn)定性。

想象一下爬山的過(guò)程：標(biāo)準(zhǔn)方法可能會(huì)在陡峭區(qū)域走得太快而錯(cuò)過(guò)最佳路徑，而IEMF就像一個(gè)經(jīng)驗(yàn)豐富的向?qū)?，在陡峭區(qū)域（高曲率方向）會(huì)放慢步伐，在平緩區(qū)域允許更快速的前進(jìn)。通過(guò)這種方式，IEMF引導(dǎo)優(yōu)化過(guò)程朝向損失景觀的更平坦區(qū)域，這一特性與實(shí)驗(yàn)結(jié)果中觀察到的改進(jìn)泛化性能直接相關(guān)。

損失景觀可視化進(jìn)一步證實(shí)了這一理論。沒(méi)有IEMF的基線方法展現(xiàn)出更尖銳、錐形的最小值，而IEMF增強(qiáng)的模型顯示出更寬廣、更漸進(jìn)的盆地結(jié)構(gòu)。這種區(qū)別在二維等高線圖中更為明顯：沒(méi)有IEMF時(shí)，等高線形成細(xì)長(zhǎng)的橢圓形，表明在不同參數(shù)方向上曲率不一致；而使用IEMF時(shí)，等高線更加圓形且均勻分布，確認(rèn)了明顯更平坦的最小值區(qū)域。

這些發(fā)現(xiàn)揭示了IEMF不僅是一種啟發(fā)式改進(jìn)，還通過(guò)從根本上改變網(wǎng)絡(luò)的優(yōu)化動(dòng)態(tài)，引導(dǎo)模型找到更好的參數(shù)配置，從而提高泛化能力和魯棒性。

九、未來(lái)展望：時(shí)空一致性與更廣泛的應(yīng)用

雖然這項(xiàng)研究主要強(qiáng)調(diào)了逆效能在多模態(tài)融合中的重要性，但研究人員指出，在生物感知中還有兩個(gè)同樣重要的原則：時(shí)間一致性和空間一致性。這些機(jī)制在動(dòng)態(tài)多模態(tài)融合中尤為重要。

時(shí)間一致性是指視覺(jué)和聽覺(jué)輸入在時(shí)間上保持協(xié)調(diào)，從而優(yōu)化感知和決策性能。當(dāng)視聽刺激在0-200毫秒的時(shí)間窗口內(nèi)緊密同步呈現(xiàn)時(shí)，它們顯著增強(qiáng)了感知判斷的準(zhǔn)確性和反應(yīng)速度。相反，時(shí)間不同步會(huì)導(dǎo)致相關(guān)腦區(qū)的激活強(qiáng)度降低，削弱整合效果。

空間一致性是指不同感覺(jué)模態(tài)保持空間位置的一致性或鄰近性，從而增強(qiáng)跨模態(tài)信號(hào)的聯(lián)合表示。研究發(fā)現(xiàn)，多感官神經(jīng)元（如上丘中的神經(jīng)元）只有當(dāng)視聽刺激來(lái)自相同或相鄰的空間位置時(shí)才表現(xiàn)出整合增強(qiáng)效果；否則，整合可能被抑制或不顯示整合反應(yīng)。

研究人員指出，由于本研究中選擇的任務(wù)本身具有強(qiáng)輸入同步特性（即來(lái)自同一源的雙模態(tài)輸入在同一時(shí)刻），他們沒(méi)有明確建模這些機(jī)制。但未來(lái)的研究可以探索如何將時(shí)間和空間一致性明確地納入IEMF框架，通過(guò)引入異步、空間分散的多模態(tài)輸入樣本，訓(xùn)練模型在更復(fù)雜的時(shí)間和空間變化條件下有效整合。

這一方向?yàn)樯飭l(fā)的多模態(tài)學(xué)習(xí)系統(tǒng)向更廣泛的應(yīng)用領(lǐng)域推進(jìn)提供了道路圖，也為未來(lái)研究者提供了豐富的探索空間。

總結(jié)與意義

這項(xiàng)研究通過(guò)將生物大腦的逆效能原理引入多模態(tài)人工智能系統(tǒng)，成功實(shí)現(xiàn)了性能提升和計(jì)算效率的雙重優(yōu)化。IEMF策略的核心思想簡(jiǎn)單而強(qiáng)大：當(dāng)某個(gè)感官通道的信號(hào)較弱時(shí)，增強(qiáng)多模態(tài)整合的重要性；當(dāng)單個(gè)模態(tài)的信號(hào)足夠強(qiáng)時(shí)，減少對(duì)融合的依賴。

這種策略不僅提高了模型在多種任務(wù)（視聽分類、視聽持續(xù)學(xué)習(xí)和視聽問(wèn)答）上的性能，還大幅降低了計(jì)算成本，在某些情況下最高可降低50%。更重要的是，IEMF展示了良好的通用性，可以無(wú)縫集成到不同的網(wǎng)絡(luò)架構(gòu)（ANN和SNN）和各種現(xiàn)有的多模態(tài)融合方法中。

這項(xiàng)研究的實(shí)際意義在于，它為構(gòu)建更高效、更魯棒的多模態(tài)人工智能系統(tǒng)提供了新的思路和方法。在自動(dòng)駕駛、智能助手、醫(yī)療診斷等需要處理多模態(tài)信息的應(yīng)用場(chǎng)景中，IEMF可以幫助系統(tǒng)更好地適應(yīng)變化的環(huán)境條件和信號(hào)質(zhì)量，提高系統(tǒng)的可靠性和效率。

從更廣泛的科學(xué)意義來(lái)看，這項(xiàng)研究再次證明了生物啟發(fā)的算法設(shè)計(jì)在人工智能領(lǐng)域的巨大潛力。通過(guò)仔細(xì)研究和模擬生物神經(jīng)系統(tǒng)的工作原理，我們可以為人工智能系統(tǒng)注入更多智能和適應(yīng)性，使它們更接近自然智能的表現(xiàn)。

對(duì)普通人來(lái)說(shuō)，這意味著未來(lái)的人工智能系統(tǒng)將更加"人性化"——它們能夠像人類一樣，在某個(gè)感官信息不清晰或缺失時(shí)，自動(dòng)加強(qiáng)對(duì)其他感官信息的關(guān)注和處理，從而在各種復(fù)雜環(huán)境中保持穩(wěn)定可靠的感知能力。

隨著這類生物啟發(fā)算法的不斷發(fā)展，我們可以期待在不久的將來(lái)，人工智能系統(tǒng)將在感知能力、學(xué)習(xí)效率和適應(yīng)性方面取得更大的突破，為我們的生活帶來(lái)更多便利和可能性。