這項(xiàng)由清華大學(xué)劉展、金增瑞，劍橋大學(xué)Philip C. Woodland，以及伊利諾伊大學(xué)香檳分校王夢(mèng)琦共同完成的研究發(fā)表于2025年9月，論文編號(hào)為arXiv:2509.16622v1。研究團(tuán)隊(duì)首次將擴(kuò)散大語(yǔ)言模型LLaDA應(yīng)用到自動(dòng)語(yǔ)音識(shí)別領(lǐng)域，為傳統(tǒng)的語(yǔ)音轉(zhuǎn)文字技術(shù)開(kāi)辟了全新路徑。

想象一下，當(dāng)你對(duì)著手機(jī)說(shuō)話時(shí)，傳統(tǒng)的語(yǔ)音識(shí)別系統(tǒng)就像一個(gè)勤奮的速記員，必須從左到右一個(gè)字一個(gè)字地記錄你說(shuō)的話。而這項(xiàng)研究提出的新方法更像是一個(gè)聰明的編輯，能夠同時(shí)處理多個(gè)位置的信息，既能快速工作，又能通過(guò)反復(fù)思考來(lái)提高準(zhǔn)確性。

傳統(tǒng)的自動(dòng)語(yǔ)音識(shí)別系統(tǒng)采用自回歸解碼方式，這種方法雖然準(zhǔn)確，但就像排隊(duì)買票一樣，必須一個(gè)接一個(gè)地處理，效率相對(duì)較低。為了解決這個(gè)問(wèn)題，研究人員開(kāi)發(fā)了各種非自回歸方法，試圖實(shí)現(xiàn)并行處理來(lái)提高速度。然而，這些方法往往面臨一個(gè)兩難選擇：要么速度快但準(zhǔn)確性下降，要么保持準(zhǔn)確性但速度提升有限。

這項(xiàng)研究的創(chuàng)新之處在于引入了擴(kuò)散大語(yǔ)言模型LLaDA，這是一種全新的處理方式。擴(kuò)散模型原本在圖像生成領(lǐng)域大放異彩，現(xiàn)在研究團(tuán)隊(duì)將其巧妙地應(yīng)用到了語(yǔ)音識(shí)別中。這種方法的工作原理類似于修復(fù)一幅破損的畫(huà)作：首先將一些文字位置"遮蓋"起來(lái)，然后通過(guò)上下文信息和音頻特征來(lái)"猜測(cè)"這些被遮蓋的內(nèi)容應(yīng)該是什么。

一、擴(kuò)散模型的語(yǔ)音識(shí)別新思路

擴(kuò)散大語(yǔ)言模型的工作方式可以用修復(fù)古畫(huà)來(lái)類比。當(dāng)文物修復(fù)師面對(duì)一幅有缺損的古畫(huà)時(shí)，他們會(huì)根據(jù)畫(huà)作的整體風(fēng)格、色彩搭配以及周圍完好部分的線索來(lái)推斷缺失部分應(yīng)該是什么樣子。LLaDA模型的工作方式與此類似：它會(huì)隨機(jī)"遮蓋"一些文字位置，然后利用雙向注意力機(jī)制——也就是能夠同時(shí)關(guān)注前后文信息的能力——來(lái)預(yù)測(cè)這些被遮蓋位置的正確內(nèi)容。

這種方法的巧妙之處在于訓(xùn)練過(guò)程。研究團(tuán)隊(duì)讓模型學(xué)習(xí)一個(gè)"正向過(guò)程"和"反向過(guò)程"。正向過(guò)程就像是故意在完好的文本中制造"破損"，隨機(jī)將一些詞語(yǔ)替換成特殊的遮蓋標(biāo)記。隨著時(shí)間參數(shù)的增加，被遮蓋的詞語(yǔ)越來(lái)越多，直到整個(gè)句子都被遮蓋。反向過(guò)程則是學(xué)習(xí)如何從完全遮蓋的狀態(tài)開(kāi)始，逐步恢復(fù)出原始的完整文本。

這種訓(xùn)練方式讓模型獲得了強(qiáng)大的"填空"能力。當(dāng)面對(duì)語(yǔ)音識(shí)別任務(wù)時(shí)，模型可以利用這種能力來(lái)處理那些難以識(shí)別的音頻片段。即使某些地方聽(tīng)不清楚，模型也能根據(jù)上下文和音頻特征來(lái)推斷出最合理的內(nèi)容。

二、Whisper-LLaDA：音頻與文本的完美結(jié)合

研究團(tuán)隊(duì)開(kāi)發(fā)的Whisper-LLaDA系統(tǒng)就像是一個(gè)配備了超級(jí)聽(tīng)力和推理能力的智能助手。這個(gè)系統(tǒng)由幾個(gè)關(guān)鍵部分組成：首先是Whisper編碼器，它負(fù)責(zé)將音頻信號(hào)轉(zhuǎn)換成計(jì)算機(jī)能理解的特征表示，就像是將聲音"翻譯"成數(shù)字語(yǔ)言。然后是一個(gè)窗口級(jí)查詢變換器，它的作用是將音頻特征進(jìn)一步處理，使其能夠與文本信息更好地對(duì)接。最后是LLaDA解碼器，負(fù)責(zé)根據(jù)音頻特征和上下文信息生成最終的文字結(jié)果。

整個(gè)系統(tǒng)的訓(xùn)練過(guò)程非常巧妙。研究團(tuán)隊(duì)使用了LibriSpeech語(yǔ)料庫(kù)，這是一個(gè)包含960小時(shí)英語(yǔ)有聲讀物的數(shù)據(jù)集。在訓(xùn)練時(shí)，系統(tǒng)會(huì)接收三部分信息：文本指令（告訴系統(tǒng)要做什么任務(wù)）、音頻特征（從聲音中提取的信息）、以及響應(yīng)塊（需要生成的文字內(nèi)容）。訓(xùn)練過(guò)程中，響應(yīng)塊中的一些位置會(huì)被隨機(jī)遮蓋，然后讓模型學(xué)習(xí)如何根據(jù)其他信息來(lái)預(yù)測(cè)這些被遮蓋的內(nèi)容。

這種訓(xùn)練方式的優(yōu)勢(shì)在于，模型不僅學(xué)會(huì)了如何處理音頻信息，還學(xué)會(huì)了如何利用上下文信息來(lái)提高識(shí)別準(zhǔn)確性。當(dāng)遇到模糊不清的音頻時(shí)，模型可以結(jié)合前后文的語(yǔ)義信息來(lái)做出更準(zhǔn)確的判斷。

三、兩種應(yīng)用模式：直接識(shí)別與精細(xì)修正

Whisper-LLaDA系統(tǒng)支持兩種不同的工作模式，就像一個(gè)多才多藝的助手，既能獨(dú)立完成工作，也能協(xié)助其他系統(tǒng)提高表現(xiàn)。

第一種模式是直接語(yǔ)音識(shí)別。在這種模式下，系統(tǒng)直接從音頻開(kāi)始，生成對(duì)應(yīng)的文字內(nèi)容。這個(gè)過(guò)程類似于一個(gè)經(jīng)驗(yàn)豐富的速記員，能夠邊聽(tīng)邊寫(xiě)，同時(shí)還能在不確定的地方進(jìn)行思考和修正。系統(tǒng)會(huì)初始化一個(gè)包含128個(gè)位置的響應(yīng)塊，這個(gè)長(zhǎng)度足以覆蓋LibriSpeech數(shù)據(jù)集中的所有語(yǔ)句。然后通過(guò)多輪迭代，逐步將這些位置從遮蓋狀態(tài)恢復(fù)為具體的文字。

第二種模式是基于deliberation的處理方式，這可以理解為"二次審查"或"精細(xì)修正"。在這種模式下，系統(tǒng)首先獲得一個(gè)初步的轉(zhuǎn)錄結(jié)果（比如來(lái)自Whisper-LLaMA系統(tǒng)的輸出），然后對(duì)這個(gè)結(jié)果進(jìn)行進(jìn)一步的優(yōu)化和修正。這就像是一個(gè)資深編輯在審查初稿，發(fā)現(xiàn)其中的錯(cuò)誤并進(jìn)行改正。

研究團(tuán)隊(duì)探索了三種不同的修正策略。第一種是隨機(jī)遮蓋策略，即隨機(jī)選擇一定比例的詞語(yǔ)進(jìn)行重新識(shí)別。這種方法雖然簡(jiǎn)單，但效果出人意料地好。第二種是低置信度遮蓋策略，系統(tǒng)會(huì)首先評(píng)估每個(gè)詞語(yǔ)的識(shí)別置信度，然后優(yōu)先重新處理那些置信度較低的部分。第三種是半自回歸策略，將整個(gè)句子分成幾個(gè)子塊，然后依次對(duì)每個(gè)子塊進(jìn)行處理。

實(shí)驗(yàn)結(jié)果顯示，這種deliberation處理方式能夠顯著提高識(shí)別準(zhǔn)確性。在LibriSpeech測(cè)試集上，最佳的級(jí)聯(lián)系統(tǒng)在test-clean和test-other數(shù)據(jù)集上分別達(dá)到了2.25%和4.94%的詞錯(cuò)誤率，相比基線系統(tǒng)在test-other上實(shí)現(xiàn)了12.3%的相對(duì)改進(jìn)。

四、解碼策略的創(chuàng)新探索

研究團(tuán)隊(duì)還深入探索了兩種不同的解碼策略：擴(kuò)散解碼和半自回歸解碼。這兩種策略就像是兩種不同的工作方式，各有其特點(diǎn)和適用場(chǎng)景。

擴(kuò)散解碼采用完全并行的方式，就像是一個(gè)團(tuán)隊(duì)同時(shí)處理文檔的不同部分。在每一輪迭代中，系統(tǒng)會(huì)預(yù)測(cè)所有被遮蓋位置的內(nèi)容，然后根據(jù)置信度保留表現(xiàn)最好的預(yù)測(cè)結(jié)果，將其余位置重新遮蓋。這個(gè)過(guò)程會(huì)持續(xù)進(jìn)行，直到整個(gè)句子都被正確識(shí)別出來(lái)。研究團(tuán)隊(duì)測(cè)試了不同的迭代步數(shù)，從1步到128步不等，發(fā)現(xiàn)隨著步數(shù)增加，識(shí)別準(zhǔn)確性會(huì)提高，但計(jì)算時(shí)間也相應(yīng)增長(zhǎng)。

半自回歸解碼則采用了一種混合策略，將響應(yīng)塊分成若干個(gè)子塊，在每個(gè)子塊內(nèi)部使用擴(kuò)散方式并行處理，而子塊之間則按順序依次處理。這種方法在效率和準(zhǔn)確性之間找到了一個(gè)很好的平衡點(diǎn)。實(shí)驗(yàn)顯示，使用4個(gè)子塊、每個(gè)子塊32步的配置能夠達(dá)到最佳效果，在test-clean和test-other上分別實(shí)現(xiàn)了2.40%和4.96%的詞錯(cuò)誤率。

為了提高推理效率，研究團(tuán)隊(duì)還引入了早停機(jī)制。一旦系統(tǒng)生成了句子結(jié)束標(biāo)記，就會(huì)強(qiáng)制將后續(xù)所有位置都設(shè)為結(jié)束標(biāo)記，避免不必要的計(jì)算。這種優(yōu)化使得系統(tǒng)在保持高準(zhǔn)確性的同時(shí)，能夠顯著提高處理速度。

五、實(shí)驗(yàn)結(jié)果的深度分析

研究團(tuán)隊(duì)在LibriSpeech基準(zhǔn)數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)評(píng)估，結(jié)果展現(xiàn)了這種新方法的巨大潛力。在對(duì)比實(shí)驗(yàn)中，傳統(tǒng)的Whisper-LLaMA系統(tǒng)在test-clean和test-other上分別達(dá)到了2.24%和5.63%的詞錯(cuò)誤率，而Whisper-Vicuna系統(tǒng)的表現(xiàn)稍差，分別為2.40%和5.82%。

Whisper-LLaDA在直接解碼模式下的表現(xiàn)令人印象深刻。隨著解碼步數(shù)的增加，識(shí)別準(zhǔn)確性穩(wěn)步提升。使用64步解碼時(shí)，系統(tǒng)在test-clean上達(dá)到了2.82%的詞錯(cuò)誤率，在test-other上達(dá)到了5.79%。雖然準(zhǔn)確性略低于傳統(tǒng)自回歸方法，但在推理速度方面有顯著優(yōu)勢(shì)。特別值得注意的是，64步配置的實(shí)時(shí)因子比Whisper-LLaMA快約1.3倍，比Whisper-Vicuna快約2.4倍。

在deliberation處理模式下，Whisper-LLaDA展現(xiàn)出了更強(qiáng)的優(yōu)勢(shì)。隨機(jī)遮蓋策略在90%遮蓋比例時(shí)效果最佳，而半自回歸deliberation處理使用2個(gè)子塊時(shí)達(dá)到最優(yōu)性能，在test-other上實(shí)現(xiàn)了4.94%的詞錯(cuò)誤率，相比基線有顯著改進(jìn)。

研究團(tuán)隊(duì)還進(jìn)行了一個(gè)重要的對(duì)比實(shí)驗(yàn)：使用純文本版本的LLaDA（不包含音頻特征）來(lái)處理Whisper-LLaMA的輸出。結(jié)果顯示這種方法不僅沒(méi)有改進(jìn)，反而引入了更多錯(cuò)誤，在test-clean和test-other上分別達(dá)到了3.89%和6.91%的詞錯(cuò)誤率。這個(gè)結(jié)果清楚地證明了音頻特征對(duì)于有效的deliberation處理的重要性。

六、技術(shù)創(chuàng)新的深層意義

這項(xiàng)研究的意義遠(yuǎn)超出了單純的技術(shù)改進(jìn)。它代表了語(yǔ)音識(shí)別領(lǐng)域的一次重要范式轉(zhuǎn)變，從傳統(tǒng)的序列化處理轉(zhuǎn)向更加靈活的并行處理方式。這種轉(zhuǎn)變就像是從單線程處理轉(zhuǎn)向多線程處理，不僅提高了效率，還為未來(lái)的技術(shù)發(fā)展開(kāi)辟了新的可能性。

擴(kuò)散模型在語(yǔ)音識(shí)別中的應(yīng)用展示了跨領(lǐng)域技術(shù)遷移的巨大潛力。原本在圖像生成領(lǐng)域大獲成功的擴(kuò)散技術(shù)，經(jīng)過(guò)巧妙的改造后在語(yǔ)音識(shí)別領(lǐng)域同樣表現(xiàn)出色。這種跨領(lǐng)域的技術(shù)融合往往能夠帶來(lái)意想不到的突破，為解決傳統(tǒng)方法難以處理的問(wèn)題提供了新的思路。

雙向注意力機(jī)制的引入也是一個(gè)重要?jiǎng)?chuàng)新。傳統(tǒng)的自回歸模型只能利用歷史信息，就像是只能向后看的司機(jī)。而Whisper-LLaDA能夠同時(shí)利用前后文信息，就像是能夠360度觀察環(huán)境的智能駕駛系統(tǒng)，自然能夠做出更準(zhǔn)確的判斷。

研究還揭示了音頻條件化的重要性。純文本的語(yǔ)言模型雖然在文本處理方面表現(xiàn)出色，但在語(yǔ)音識(shí)別的deliberation處理中卻無(wú)法發(fā)揮作用。這說(shuō)明音頻信息包含了文本信息無(wú)法替代的重要線索，兩者的結(jié)合才能實(shí)現(xiàn)最佳效果。

七、未來(lái)發(fā)展的廣闊前景

雖然當(dāng)前的研究結(jié)果已經(jīng)非常令人鼓舞，但研究團(tuán)隊(duì)也誠(chéng)實(shí)地指出了現(xiàn)有方法的局限性。在某些配置下，Whisper-LLaDA的識(shí)別準(zhǔn)確性仍然略低于經(jīng)過(guò)大規(guī)模預(yù)訓(xùn)練的自回歸系統(tǒng)。這主要是因?yàn)楫?dāng)前的實(shí)驗(yàn)僅在LibriSpeech數(shù)據(jù)集上進(jìn)行，而像Whisper這樣的商業(yè)系統(tǒng)通常使用多達(dá)500萬(wàn)小時(shí)的訓(xùn)練數(shù)據(jù)。

研究團(tuán)隊(duì)為未來(lái)的改進(jìn)指明了幾個(gè)重要方向。首先是擴(kuò)大訓(xùn)練數(shù)據(jù)的規(guī)模和多樣性，使用更大、更豐富的數(shù)據(jù)集來(lái)訓(xùn)練模型。其次是探索更先進(jìn)的遮蓋和重遮蓋策略，進(jìn)一步優(yōu)化deliberation處理的效果。還有就是研究更高效的解碼算法，在保持準(zhǔn)確性的同時(shí)進(jìn)一步提高處理速度。

這項(xiàng)研究的影響可能會(huì)延伸到整個(gè)語(yǔ)音技術(shù)生態(tài)系統(tǒng)。隨著擴(kuò)散模型在語(yǔ)音識(shí)別中應(yīng)用的成熟，我們可能會(huì)看到更多基于這種技術(shù)的產(chǎn)品和服務(wù)。從智能語(yǔ)音助手到實(shí)時(shí)字幕系統(tǒng)，從會(huì)議記錄工具到語(yǔ)音翻譯服務(wù)，都可能從這種新技術(shù)中受益。

更重要的是，這項(xiàng)研究為人工智能領(lǐng)域的技術(shù)融合提供了一個(gè)成功范例。它展示了如何將不同領(lǐng)域的先進(jìn)技術(shù)巧妙結(jié)合，創(chuàng)造出超越單一技術(shù)局限的新解決方案。這種跨領(lǐng)域的創(chuàng)新思維對(duì)于推動(dòng)整個(gè)人工智能領(lǐng)域的發(fā)展具有重要意義。

說(shuō)到底，這項(xiàng)研究不僅僅是技術(shù)上的進(jìn)步，更是思維方式的創(chuàng)新。它告訴我們，解決復(fù)雜問(wèn)題往往需要跳出傳統(tǒng)思維的框架，勇于嘗試看似不相關(guān)的技術(shù)組合。正如研究團(tuán)隊(duì)所展示的，當(dāng)我們將圖像生成的擴(kuò)散技術(shù)與語(yǔ)音識(shí)別相結(jié)合時(shí)，就能夠創(chuàng)造出既高效又準(zhǔn)確的新方法。

這種創(chuàng)新精神和跨領(lǐng)域思維正是推動(dòng)科技進(jìn)步的重要?jiǎng)恿?。隨著更多研究者投入到這個(gè)方向，我們有理由相信，語(yǔ)音識(shí)別技術(shù)將迎來(lái)新的發(fā)展高峰，為人們的日常生活帶來(lái)更多便利。對(duì)于那些希望深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者，可以通過(guò)論文編號(hào)arXiv:2509.16622v1查詢完整的研究報(bào)告。

Q&A

Q1：擴(kuò)散大語(yǔ)言模型LLaDA在語(yǔ)音識(shí)別中是如何工作的？
A：LLaDA的工作原理類似于修復(fù)破損畫(huà)作。它會(huì)隨機(jī)"遮蓋"一些文字位置，然后利用雙向注意力機(jī)制根據(jù)音頻特征和上下文信息來(lái)預(yù)測(cè)這些被遮蓋位置的正確內(nèi)容。這種方法能夠同時(shí)處理多個(gè)位置的信息，既提高了處理速度，又通過(guò)反復(fù)思考來(lái)提高準(zhǔn)確性。

Q2：Whisper-LLaDA相比傳統(tǒng)語(yǔ)音識(shí)別系統(tǒng)有什么優(yōu)勢(shì)？
A：Whisper-LLaDA的主要優(yōu)勢(shì)在于能夠并行處理和雙向思考。傳統(tǒng)系統(tǒng)像勤奮的速記員必須從左到右逐字記錄，而Whisper-LLaDA更像聰明的編輯，能同時(shí)關(guān)注前后文信息做出更準(zhǔn)確判斷。在LibriSpeech測(cè)試中，它實(shí)現(xiàn)了顯著的準(zhǔn)確性提升，同時(shí)推理速度比傳統(tǒng)方法快1.3到2.4倍。

Q3：這項(xiàng)研究對(duì)普通用戶的語(yǔ)音識(shí)別體驗(yàn)會(huì)有什么影響？
A：這項(xiàng)技術(shù)將讓語(yǔ)音識(shí)別變得更快更準(zhǔn)確。未來(lái)的智能語(yǔ)音助手、實(shí)時(shí)字幕系統(tǒng)、會(huì)議記錄工具等都可能受益于這種技術(shù)，提供更流暢的語(yǔ)音轉(zhuǎn)文字體驗(yàn)。特別是在嘈雜環(huán)境或口音較重的情況下，系統(tǒng)能夠通過(guò)上下文推理提供更準(zhǔn)確的識(shí)別結(jié)果。