在2025年6月，阿姆斯特丹大學(xué)、蒂爾堡大學(xué)和奈梅亨拉德堡大學(xué)的研究團(tuán)隊(duì)聯(lián)合發(fā)表了一篇探討自監(jiān)督語音模型對荷蘭語理解能力的研究論文。這篇題為《自監(jiān)督語音模型對荷蘭語了解多少？分析語言特定預(yù)訓(xùn)練的優(yōu)勢》的論文由Marianne de Heer Kloots、Hosein Mohebbi、Charlotte Pouw、Gaofei Shen、Willem Zuidema和Martijn Bentum共同完成，發(fā)表在arXiv預(yù)印本平臺上（arXiv:2506.00981v1）。該研究提供了寶貴的見解，探索了語言特定預(yù)訓(xùn)練對自監(jiān)督語音模型性能的影響，并且開源了一個專門針對荷蘭語的Wav2Vec2模型。有興趣的讀者可以通過研究團(tuán)隊(duì)提供的鏈接（http://doi.org/10.5281/zenodo.15548947和http://doi.org/10.5281/zenodo.15550628）獲取他們開發(fā)的評估數(shù)據(jù)集和預(yù)訓(xùn)練模型。

近年來，自監(jiān)督學(xué)習(xí)（SSL）在語音處理領(lǐng)域取得了顯著進(jìn)展。想象一下，如果我們讓一個人工智能系統(tǒng)僅僅通過聽大量的語音，不需要人工標(biāo)注的轉(zhuǎn)錄文本，就能學(xué)會識別語音中的聲音模式。這就是自監(jiān)督學(xué)習(xí)的魔力所在。這些模型不僅在下游任務(wù)（如語音識別）上表現(xiàn)出色，而且它們的內(nèi)部表示也包含豐富的語言學(xué)信息。

但有一個問題一直困擾著研究人員：這些模型學(xué)到的語言表示到底有多"語言特定"？換句話說，一個專門在荷蘭語上訓(xùn)練的模型，是否比一個在英語或多語言上訓(xùn)練的模型更擅長理解荷蘭語的特點(diǎn)？這就像問：一個從小在荷蘭長大的人是否比一個在英語環(huán)境中長大或者會說多種語言的人更了解荷蘭語的微妙之處？

以往的研究主要集中在英語模型上，很少有研究專門探討非英語語言的特點(diǎn)。此外，不同的研究使用不同的評估方法，使得結(jié)果難以直接比較。有些研究使用"零樣本"方法（直接分析模型表示空間中的距離），而另一些則使用訓(xùn)練好的分類器來檢測模型內(nèi)部表示中的語言特定信息。

為了解決這些問題，研究團(tuán)隊(duì)開發(fā)了專門用于評估荷蘭語的SSL-NL數(shù)據(jù)集，并訓(xùn)練了一個專門針對荷蘭語的Wav2Vec2模型（w2v2-nl）。他們將這個模型與一個僅在英語上訓(xùn)練的模型和一個多語言模型進(jìn)行了比較，發(fā)現(xiàn)專門針對荷蘭語訓(xùn)練的模型在表示荷蘭語的音素和詞匯特征方面確實(shí)具有優(yōu)勢，這種優(yōu)勢也反映在語音識別等下游任務(wù)的性能上。

一、研究模型與方法：用不同的"耳朵"聆聽荷蘭語

為了比較語言特定預(yù)訓(xùn)練的效果，研究團(tuán)隊(duì)使用了幾個結(jié)構(gòu)完全相同的Wav2Vec2模型（都有7層CNN和12層Transformer網(wǎng)絡(luò)），但這些模型在預(yù)訓(xùn)練數(shù)據(jù)上有所不同，就像幾個人雖然耳朵結(jié)構(gòu)相同，但聽過的語言內(nèi)容不同。

首先，他們訓(xùn)練了w2v2-nl模型，這個模型在960小時的荷蘭語語音上進(jìn)行了訓(xùn)練。這些語音數(shù)據(jù)來自荷蘭語語料庫（CGN）、多語言LibriSpeech（MLS）和CommonVoice（CV）。想象一下，這個模型就像一個只在荷蘭語環(huán)境中長大的孩子，整天聽著各種荷蘭語對話、故事和新聞報道。

除了這個荷蘭語模型，他們還使用了兩個現(xiàn)有的模型作為比較：一個是fb-en，這是原始Wav2Vec2發(fā)布時的英語模型，在960小時的英語有聲書上訓(xùn)練；另一個是fb-voxp-100k，一個在歐洲議會23種語言（包括4500小時荷蘭語）的10萬小時錄音上訓(xùn)練的多語言模型。此外，他們還使用了一個在非語音聲音（如環(huán)境聲音）上訓(xùn)練的模型作為基線比較。

為了評估這些模型對荷蘭語的理解，研究團(tuán)隊(duì)創(chuàng)建了SSL-NL評估集，該評估集包含兩個不同來源的荷蘭語語音：MLS有聲書片段和IFADV對話語料庫。他們使用WebMAUS API為這些語音獲取了音素級和詞級的強(qiáng)制對齊。簡單來說，就是精確標(biāo)記出每個聲音片段中每個音素和單詞的開始和結(jié)束時間。

二、評估方法：多角度檢測模型的"荷蘭語感"

研究團(tuán)隊(duì)設(shè)計(jì)了多種方法來評估模型對荷蘭語音素和詞匯的理解程度，就像通過不同的考試來測試一個人的語言能力。

在音素分析方面，他們采用了三種不同的方法：

第一種是音素身份探測（Phone Identity Probing）。這就像給模型做一個聽寫測試，看它能否正確識別出37種荷蘭語音素類別。研究人員為每個模型的每一層訓(xùn)練了一個線性分類器，來預(yù)測音素類別，并在不同的說話者上進(jìn)行評估。

第二種是音素ABX測試（Phone ABX）。這個測試更像是一個"找相似"的游戲。想象有三個聲音A、B和X，其中A和X是同一個音素類別（比如都是/a:/），而B是不同類別（比如/o:/）。測試檢查模型是否認(rèn)為A和X比A和B更相似。研究團(tuán)隊(duì)構(gòu)建了基于59個荷蘭語音素對比的ABX三元組，測試模型的音素分類能力。

第三種是音素聚類（Phone Clustering）。這就像看模型是否能把相似的聲音歸為一組。研究人員使用了輪廓分?jǐn)?shù)（silhouette score）來測量模型表示空間中同一音素類別樣本的聚集程度。他們使用了兩種降維方法：無監(jiān)督的主成分分析（PCA）和有監(jiān)督的線性判別分析（LDA）。

在詞匯分析方面，他們使用了兩種方法：

一種是詞聚類（Word Clustering），選擇了荷蘭語學(xué)前兒童基礎(chǔ)詞匯表（BAK）中最常見的50個詞，采樣每個詞的多個不同實(shí)例，并評估模型在表示空間中對相同詞的聚類程度。

另一種是詞分布結(jié)構(gòu)分析（Word-distributional Structure），使用表示相似性分析（RSA）來比較基于語音的詞嵌入與基于文本的詞嵌入（Fasttext）之間的相似性，檢查模型是否捕捉到了荷蘭語詞匯的分布式語義結(jié)構(gòu)。

這些分析方法就像從不同角度觀察模型的"荷蘭語理解"能力，有些方法直接測試模型的原始表示空間（零樣本方法），有些則通過訓(xùn)練探測器來挖掘模型內(nèi)部可能蘊(yùn)含的語言知識。

三、研究發(fā)現(xiàn)：荷蘭語模型確實(shí)更"懂"荷蘭語

研究結(jié)果表明，專門針對荷蘭語訓(xùn)練的w2v2-nl模型在大多數(shù)音素和詞匯分析中都取得了最高分?jǐn)?shù)，展示了語言特定預(yù)訓(xùn)練的明顯優(yōu)勢。這就像一個在荷蘭長大的人確實(shí)比一個在英語環(huán)境或多語言環(huán)境中成長的人更能捕捉荷蘭語的細(xì)微特點(diǎn)。

在音素分析中，荷蘭語特有的高前元音如[y:]、[?:]和雙元音[oey]在荷蘭語模型的隱藏層表示中表現(xiàn)得更為清晰和區(qū)分度更高。這就像荷蘭語模型的"耳朵"對這些荷蘭語特有的發(fā)音更為敏感。如圖1所示，這些荷蘭語特有的元音在荷蘭語模型的表示空間中形成了更為清晰的聚類，而在多語言和英語模型中則相對模糊。

不過，研究團(tuán)隊(duì)也發(fā)現(xiàn)，不同的分析方法顯示出不同程度的語言特定優(yōu)勢。使用線性變換優(yōu)化音素識別的方法（如探測和LDA）明顯顯示出荷蘭語模型的優(yōu)勢，而直接分析模型表示空間的方法（如ABX和PCA）則顯示的差異較小。這表明語言特定的音素信息可能編碼在模型內(nèi)部表示的一個小子空間中，通過線性變換可以提取出來，但在整個表示空間中并不特別突出。

相比之下，詞級分析顯示，無論是使用零樣本方法（PCA、RSA）還是優(yōu)化方法（LDA），語言特定預(yù)訓(xùn)練的好處都很明顯。這可能是因?yàn)樵~匯身份在模型表示空間中表現(xiàn)得更為突出，特別是當(dāng)對詞內(nèi)所有20毫秒幀表示進(jìn)行平均池化時。

研究還發(fā)現(xiàn)，不同數(shù)據(jù)集之間也存在差異。在IFADV對話數(shù)據(jù)集上，模型之間的差異通常比在MLS朗讀語音數(shù)據(jù)集上更為明顯。這反映了預(yù)訓(xùn)練數(shù)據(jù)領(lǐng)域的影響：荷蘭語模型的預(yù)訓(xùn)練數(shù)據(jù)包含對話語音，而英語和多語言模型主要在朗讀文本和較不自然的語音上訓(xùn)練。這種差異在詞分布結(jié)構(gòu)分析中尤為明顯，這可能是因?yàn)榭谡Z和書面語的詞分布模式有顯著差異。

四、下游任務(wù)表現(xiàn)：從理解到應(yīng)用

研究團(tuán)隊(duì)還通過微調(diào)這些模型用于自動語音識別（ASR）任務(wù)，檢驗(yàn)語言特定預(yù)訓(xùn)練的優(yōu)勢是否能轉(zhuǎn)化為實(shí)際應(yīng)用的性能提升。他們在荷蘭語CGN朗讀部分的78小時訓(xùn)練數(shù)據(jù)上微調(diào)各個模型，并在多個測試集上評估詞錯誤率（WER）。

結(jié)果顯示，荷蘭語預(yù)訓(xùn)練的w2v2-nl模型在所有測試集上都取得了最低的WER，一致地優(yōu)于英語和多語言模型。例如，在CGN-o測試集上，荷蘭語模型的WER為10.4%，而多語言模型為12.7%，英語模型為21.5%，非語音模型則高達(dá)43.5%。這種性能排序與他們在音素和詞匯分析中觀察到的模式一致，證明了語言特定預(yù)訓(xùn)練的優(yōu)勢確實(shí)能轉(zhuǎn)化為實(shí)際應(yīng)用性能的提升。

特別值得注意的是，在IFADV對話語料庫上，所有模型的WER都相對較高（荷蘭語模型為65.6%，多語言模型為78.8%，英語模型為84.4%），這反映了自然對話語音識別的固有難度。但即使在這種困難場景下，荷蘭語模型依然保持了顯著的優(yōu)勢，進(jìn)一步證明了語言特定預(yù)訓(xùn)練的價值。

五、討論與結(jié)論：語言特定訓(xùn)練的價值與未來方向

研究團(tuán)隊(duì)通過這項(xiàng)工作，揭示了語言特定預(yù)訓(xùn)練對自監(jiān)督語音模型性能的積極影響。就像一個在特定語言環(huán)境中成長的人自然會對該語言的細(xì)微特點(diǎn)更為敏感，專門在荷蘭語上訓(xùn)練的模型確實(shí)能更好地捕捉荷蘭語的音素和詞匯特征。

這項(xiàng)研究還強(qiáng)調(diào)了評估方法選擇的重要性。音素ABX任務(wù)雖然被廣泛用于評估自監(jiān)督語音表示，但可能不如訓(xùn)練分類或聚類探測器敏感，尤其是在檢測高維表示空間中的語言特定信息時。這一發(fā)現(xiàn)對未來研究自監(jiān)督表示的語言特定性與通用性具有重要啟示。

研究還發(fā)現(xiàn)，預(yù)訓(xùn)練數(shù)據(jù)的領(lǐng)域（如對話vs朗讀）對模型性能有顯著影響，超出了純粹的語言特定性。在對話數(shù)據(jù)上訓(xùn)練的模型在處理自然對話時表現(xiàn)更好，這不僅體現(xiàn)在對話級結(jié)構(gòu)的表示上，也體現(xiàn)在更小的語言單位如音素和詞的編碼上。

值得注意的是，雖然探針性能和下游任務(wù)準(zhǔn)確性通常有關(guān)聯(lián)，但它們并不總是直接相關(guān)。自監(jiān)督模型在作為特征提取器（被探測）時與被微調(diào)用于評估任務(wù)時的排名可能存在顯著差異。未來研究可以探索語言特征的表示如何因果地影響下游文本轉(zhuǎn)錄性能，例如使用特征移除技術(shù)來操縱模型表示空間。

這項(xiàng)研究比較的是音素相似度相對較高的語言（荷蘭語和英語），但仍然發(fā)現(xiàn)了語言特定預(yù)訓(xùn)練的可觀察優(yōu)勢。研究人員指出，對于語言學(xué)上差異更大的語言，語言特定訓(xùn)練的效果可能更為顯著。

總的來說，這項(xiàng)研究不僅提供了關(guān)于自監(jiān)督語音模型中語言特定表示的寶貴見解，還開源了荷蘭語Wav2Vec2模型（w2v2-nl）和SSL-NL評估集，為進(jìn)一步研究提供了重要資源。這些發(fā)現(xiàn)對開發(fā)更適合特定語言的語音技術(shù)具有重要意義，也為我們理解語言學(xué)習(xí)的計(jì)算模型提供了新的視角。