你是否曾有過這樣的經(jīng)歷：你想向AI描述一段視頻，但AI的回答完全忽略了背景音樂或?qū)υ?？或者AI對畫面的描述不夠準(zhǔn)確，卻能完美地捕捉到音頻內(nèi)容？這種"偏心"現(xiàn)象在AI世界中被稱為"模態(tài)偏差"，簡單來說，就是AI在處理多種信息時（如視頻和音頻）傾向于過度依賴一種信息源，而忽略另一種。

近日，來自韓國科學(xué)技術(shù)院（KAIST）的研究團(tuán)隊，由Chaeyoung Jung、Youngjoon Jang（兩位為共同第一作者）、Jongmin Choi和Joon Son Chung共同撰寫的研究論文《Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models》，提出了一種巧妙的解決方案，讓AI能夠更平衡地理解視頻和音頻內(nèi)容。這項研究發(fā)表于2025年5月27日的arXiv預(yù)印本平臺（arXiv:2505.20873v1）。

想象一下，當(dāng)你同時看電視和聽音樂時，你的大腦會自然地區(qū)分這兩種信息，然后再把它們結(jié)合起來形成完整的理解。但目前的音視頻大語言模型（AV-LLMs）卻沒有這么聰明——它們往往會一股腦地同時處理所有信息，結(jié)果常常偏心于其中一種。

研究團(tuán)隊發(fā)現(xiàn)，目前的音視頻大語言模型在處理時往往會偏向視覺信息，而忽略音頻內(nèi)容。他們分析了VideoLLaMA2模型在AVHBench數(shù)據(jù)集上的表現(xiàn)，發(fā)現(xiàn)模型的注意力機(jī)制明顯更偏向于視頻輸入而非音頻。這就像一個人看電影時，全神貫注于畫面而忽略了對情節(jié)至關(guān)重要的對話和背景音樂。

為解決這個問題，研究團(tuán)隊提出了一種名為"分叉-合并解碼"（Fork-Merge Decoding，簡稱FMD）的方法。這個方法不需要重新訓(xùn)練模型或修改模型結(jié)構(gòu)，只需在推理階段稍作調(diào)整。它的工作原理如下：

首先，在"分叉階段"，模型會分別處理"只有音頻"和"只有視頻"的輸入。這就像讓AI先單獨(dú)看一遍無聲視頻，再單獨(dú)聽一遍沒有畫面的音頻，強(qiáng)制它認(rèn)真對待每種信息。

然后，在"合并階段"，模型會將這兩次獨(dú)立處理的結(jié)果融合起來，綜合考慮音頻和視頻信息，形成最終的理解和回答。這就像你先分別理解電影的畫面和對話，然后把這些理解結(jié)合起來，獲得對整個電影的全面理解。

研究團(tuán)隊在VideoLLaMA2和video-SALMONN兩個代表性音視頻大語言模型上測試了這種方法，結(jié)果表明，F(xiàn)MD顯著提高了模型對音頻、視頻以及音視頻結(jié)合內(nèi)容的理解能力。最有趣的是，F(xiàn)MD特別擅長改善模型在需要重點(diǎn)關(guān)注音頻的任務(wù)上的表現(xiàn)，這正好彌補(bǔ)了當(dāng)前模型過度依賴視覺信息的短板。

在技術(shù)實(shí)現(xiàn)上，F(xiàn)MD方法首先通過將原始的多模態(tài)輸入分成兩個單模態(tài)分支來實(shí)現(xiàn)"分叉"：一個只包含視頻信息（音頻被屏蔽），另一個只包含音頻信息（視頻被屏蔽）。每個分支獨(dú)立地經(jīng)過模型的前幾層處理，生成模態(tài)特定的隱藏表示。然后在"合并"階段，這些表示被融合并通過剩余的解碼器層處理，產(chǎn)生最終的預(yù)測結(jié)果。

研究者們特別設(shè)計了一種基于注意力的融合策略，根據(jù)模型對不同模態(tài)內(nèi)容的關(guān)注程度動態(tài)調(diào)整它們的權(quán)重。這就像一個平衡器，確保即使模型原本更"喜歡"看視頻，也能被"說服"去認(rèn)真傾聽音頻內(nèi)容。

實(shí)驗(yàn)結(jié)果顯示，在三個廣泛使用的音視頻基準(zhǔn)測試集（AVQA、MUSIC-AVQA和AVHBench）上，F(xiàn)MD方法都取得了一致的性能提升。特別是在那些需要模型理解音頻內(nèi)容或需要平衡音視頻理解的任務(wù)上，F(xiàn)MD的表現(xiàn)更為突出。

這項研究的意義不僅在于提出了一種簡單有效的方法來改善音視頻AI的表現(xiàn)，更在于它揭示了一個重要的洞見：有時候，讓AI分開處理不同類型的信息，然后再把這些信息整合起來，比一開始就混合處理所有信息更有效。這有點(diǎn)像學(xué)習(xí)時的"分而治之"策略，先掌握各個部分，再理解整體。

對于普通用戶來說，這項研究意味著未來的AI助手可能會更好地理解包含音頻和視頻的內(nèi)容，比如更準(zhǔn)確地描述視頻中發(fā)生的事情，同時不忽略背景音樂或?qū)υ挼闹匾?。這將使AI在視頻內(nèi)容分析、多媒體搜索、輔助技術(shù)等領(lǐng)域的應(yīng)用更加強(qiáng)大和實(shí)用。

讓我們以一個具體例子來理解FMD的優(yōu)勢：假設(shè)你向AI展示一段婚禮視頻，視頻中新娘正在走紅毯，背景播放著婚禮進(jìn)行曲。使用傳統(tǒng)方法的AI可能會告訴你："視頻中有一位穿白色婚紗的女士在走紅毯"，完全忽略了音樂元素。而經(jīng)過FMD增強(qiáng)的AI則可能回答："視頻中有一位穿白色婚紗的女士在走紅毯，背景播放著經(jīng)典的婚禮進(jìn)行曲，營造出莊重而喜悅的氛圍。"這種全面的理解對于真正有用的AI助手來說至關(guān)重要。

總的來說，這項研究為改善音視頻大語言模型的多模態(tài)理解能力提供了一種簡單、高效且無需額外訓(xùn)練的方法，為未來AI更好地理解和處理復(fù)雜的多媒體內(nèi)容鋪平了道路。