研究背景與團(tuán)隊(duì)介紹

想象一下，你能夠通過(guò)簡(jiǎn)單的文字描述就讓AI說(shuō)話的語(yǔ)調(diào)變得悲傷、興奮，甚至模仿特定口音，或在語(yǔ)音中加入敲門聲、笑聲等環(huán)境音效。這聽起來(lái)像科幻小說(shuō)，但約翰·霍普金斯大學(xué)、北京大學(xué)、南加州大學(xué)、香港中文大學(xué)和麻省理工學(xué)院的研究團(tuán)隊(duì)已經(jīng)讓這一切成為現(xiàn)實(shí)。他們最新發(fā)表的論文《CapSpeech: Enabling Downstream Applications in Style-Captioned Text-to-Speech》（CapSpeech：實(shí)現(xiàn)風(fēng)格描述文本轉(zhuǎn)語(yǔ)音的下游應(yīng)用）將在2025年6月發(fā)表于arXiv預(yù)印本平臺(tái)（arXiv:2506.02863v1）。

近年來(lái)，生成式AI在語(yǔ)音合成領(lǐng)域取得了巨大突破，特別是在模仿特定說(shuō)話者的聲音方面。然而，對(duì)于說(shuō)話風(fēng)格的精細(xì)控制，比如情緒表達(dá)、語(yǔ)速變化或口音模仿等，仍然面臨巨大挑戰(zhàn)。以往的文本轉(zhuǎn)語(yǔ)音（TTS）系統(tǒng)主要關(guān)注說(shuō)話者身份特征，而對(duì)語(yǔ)音風(fēng)格的微妙變化研究不足。說(shuō)話風(fēng)格包含兩大類特征：一類是與說(shuō)話者身份緊密相關(guān)的內(nèi)在特征（如年齡、性別、音色）；另一類是與特定表達(dá)相關(guān)的風(fēng)格特征（如情緒、語(yǔ)速）。

最近，研究人員開始嘗試使用自然語(yǔ)言描述（即"提示語(yǔ)"）來(lái)控制這些風(fēng)格元素，這種方法被稱為"風(fēng)格描述文本轉(zhuǎn)語(yǔ)音"（CapTTS）。但要構(gòu)建這樣的系統(tǒng)，需要大量帶有風(fēng)格標(biāo)注的語(yǔ)音-描述配對(duì)數(shù)據(jù)，這些數(shù)據(jù)的標(biāo)注工作耗時(shí)費(fèi)力且成本高昂。雖然已有一些數(shù)據(jù)集如Parler-TTS、ParaSpeechCaps等嘗試解決這個(gè)問(wèn)題，但它們?nèi)狈y(tǒng)一的風(fēng)格描述框架，使得跨領(lǐng)域比較變得困難。更重要的是，目前對(duì)下游應(yīng)用的探索也很有限，比如將模型遷移到新的描述風(fēng)格或在合成語(yǔ)音中加入環(huán)境音效等。

CapSpeech：統(tǒng)一的風(fēng)格描述語(yǔ)音合成基準(zhǔn)

為了解決上述挑戰(zhàn)，研究團(tuán)隊(duì)提出了CapSpeech，這是一個(gè)創(chuàng)新的基準(zhǔn)數(shù)據(jù)集，專為風(fēng)格描述文本轉(zhuǎn)語(yǔ)音及其相關(guān)下游任務(wù)設(shè)計(jì)。想象CapSpeech就像一個(gè)巨大的樂高積木集，里面包含了各種形狀和顏色的積木（不同風(fēng)格的語(yǔ)音和描述），讓研究人員可以按照自己的需求組合出不同的語(yǔ)音效果。

CapSpeech包含兩個(gè)主要階段：預(yù)訓(xùn)練階段和監(jiān)督微調(diào)階段。預(yù)訓(xùn)練階段使用超過(guò)1000萬(wàn)個(gè)機(jī)器標(biāo)注的語(yǔ)音-描述配對(duì)，而監(jiān)督微調(diào)階段則包含近36萬(wàn)個(gè)人工標(biāo)注的高質(zhì)量語(yǔ)音-描述配對(duì)。這些數(shù)據(jù)涵蓋了廣泛的內(nèi)在說(shuō)話者特征和表達(dá)風(fēng)格特征，數(shù)據(jù)來(lái)源包括Emilia、GigaSpeech、CommonVoice、MLS、LibriTTS-R、EARS、Expresso、VCTK、VoxCeleb和VoxCeleb2等多個(gè)公開語(yǔ)音庫(kù)。

除了整合現(xiàn)有數(shù)據(jù)集外，研究團(tuán)隊(duì)還特別創(chuàng)建了兩個(gè)全新的數(shù)據(jù)集：一個(gè)用于聊天代理（AgentTTS）任務(wù)，由專業(yè)配音演員錄制；另一個(gè)用于帶音效的風(fēng)格描述文本轉(zhuǎn)語(yǔ)音（CapTTS-SE）任務(wù)，由五位經(jīng)驗(yàn)豐富的音頻工程師精心處理。這些新數(shù)據(jù)集為研究人員提供了探索真實(shí)世界應(yīng)用場(chǎng)景的寶貴資源。

CapSpeech支持的五大下游任務(wù)

CapSpeech基準(zhǔn)支持五個(gè)相互關(guān)聯(lián)但各具特色的下游任務(wù)，就像一個(gè)語(yǔ)音合成的"瑞士軍刀"，每個(gè)任務(wù)都針對(duì)特定的應(yīng)用場(chǎng)景：

首先是基礎(chǔ)的風(fēng)格描述文本轉(zhuǎn)語(yǔ)音（CapTTS）任務(wù)，這像是一種通用語(yǔ)音合成工具，通過(guò)自然語(yǔ)言描述控制語(yǔ)音的各種屬性，如說(shuō)話者特征（年齡、性別、口音）、表達(dá)風(fēng)格（情緒、語(yǔ)速）或情境上下文（對(duì)話語(yǔ)調(diào)、耳語(yǔ)）。雖然這個(gè)任務(wù)不針對(duì)特定應(yīng)用，但它提供了一個(gè)多樣化的基準(zhǔn)，用于評(píng)估在各種描述引導(dǎo)條件下的語(yǔ)音生成能力。

第二個(gè)任務(wù)是帶音效的風(fēng)格描述文本轉(zhuǎn)語(yǔ)音（CapTTS-SE），它擴(kuò)展了CapTTS的功能，允許在合成語(yǔ)音中添加非語(yǔ)言聲音事件。想象一下有聲讀物，當(dāng)故事提到"敲門聲"時(shí)，系統(tǒng)會(huì)在適當(dāng)位置真的加入敲門聲，或者當(dāng)提到"背景嘈雜的咖啡廳"時(shí)，會(huì)添加相應(yīng)的環(huán)境音效。這些聲音事件可以作為語(yǔ)音的背景，也可以在特定位置插入。這個(gè)任務(wù)特別適合有聲書籍和直播等需要增強(qiáng)聽覺體驗(yàn)的場(chǎng)景。

第三個(gè)任務(wù)專注于口音控制（AccCapTTS）。與傳統(tǒng)的依賴預(yù)定義類別的口音控制系統(tǒng)不同，AccCapTTS通過(guò)自由形式的自然語(yǔ)言提示提供更加用戶友好和靈活的控制。這非常適合跨文化聲音設(shè)計(jì)、個(gè)性化語(yǔ)音合成和本地化內(nèi)容創(chuàng)建等應(yīng)用場(chǎng)景。

第四個(gè)任務(wù)關(guān)注情感表達(dá)（EmoCapTTS）。這個(gè)任務(wù)通過(guò)自然語(yǔ)言描述同時(shí)控制說(shuō)話者的情感狀態(tài)和身份。與傳統(tǒng)的依賴離散類別（如快樂、悲傷、憤怒）的情感TTS系統(tǒng)相比，EmoCapTTS通過(guò)自由形式的文本描述實(shí)現(xiàn)更加靈活和表現(xiàn)力豐富的情感控制。這個(gè)任務(wù)在故事敘述和游戲NPC（非玩家角色）等需要多個(gè)AI說(shuō)話者的應(yīng)用中特別有用。

最后一個(gè)任務(wù)專注于表現(xiàn)力豐富的虛擬代理（AgentTTS）。雖然它也使用類似EmoCapTTS的描述，但它將廣泛的情感類別細(xì)化為更加細(xì)粒度的狀態(tài)，捕捉情感狀態(tài)之間的微妙差異（如恐懼與驚慌），模擬情感狀態(tài)與低級(jí)說(shuō)話風(fēng)格（如音高和速度）之間的相互作用，并整合表現(xiàn)力豐富的非語(yǔ)言發(fā)聲（如嘆息、笑聲、啜泣）。這個(gè)任務(wù)緊密反映了構(gòu)建定制對(duì)話代理、客戶服務(wù)機(jī)器人、AI治療師等會(huì)話AI應(yīng)用的真實(shí)場(chǎng)景需求。

數(shù)據(jù)集的構(gòu)建與處理

構(gòu)建CapSpeech數(shù)據(jù)集就像是一項(xiàng)精細(xì)的拼圖工作，需要將各種來(lái)源的語(yǔ)音數(shù)據(jù)和風(fēng)格描述巧妙地組合在一起。首先，在預(yù)訓(xùn)練階段，研究團(tuán)隊(duì)對(duì)四個(gè)英語(yǔ)語(yǔ)音語(yǔ)料庫(kù)（Emilia、MLS、GigaSpeech和CommonVoice）進(jìn)行了清洗和標(biāo)注。對(duì)于MLS、GigaSpeech和CommonVoice，他們標(biāo)注了年齡、性別、音高、語(yǔ)調(diào)表現(xiàn)力和語(yǔ)速，并使用大型語(yǔ)言模型生成基于這些特征的自然語(yǔ)言描述。對(duì)于Emilia，他們采用了ParaSpeechCaps中提供的風(fēng)格標(biāo)注，包括59種多樣化的風(fēng)格標(biāo)簽。

為了創(chuàng)建帶音效的預(yù)訓(xùn)練數(shù)據(jù)（CapTTS-SE-PT），他們使用LibriTTS-R語(yǔ)音語(yǔ)料庫(kù)和三個(gè)音效語(yǔ)料庫(kù)（VGGSound、FSDKaggle2018和ESC-50）進(jìn)行模擬。他們從這些數(shù)據(jù)集的類別中精選了394種不同的音效，并使用兩種模式將音效引入語(yǔ)音：插入模式（在特定位置插入音效）和背景模式（將音效作為背景層疊在語(yǔ)音下方）。為了確保模擬的音頻聽起來(lái)自然流暢，他們?cè)趩卧~之間選擇間隔至少0.3秒的插入點(diǎn)，以確保不會(huì)破壞詞語(yǔ)的連續(xù)性。最終，每個(gè)語(yǔ)音樣本都模擬了五種不同的配置，以擴(kuò)大數(shù)據(jù)規(guī)模。

在監(jiān)督微調(diào)階段，CapTTS、EmoCapTTS和AccCapTTS共享相同的基礎(chǔ)語(yǔ)音語(yǔ)料庫(kù)和一些共同的風(fēng)格屬性（如音色、語(yǔ)速）。研究團(tuán)隊(duì)整合了來(lái)自六個(gè)公開可用語(yǔ)料庫(kù)的人工標(biāo)注數(shù)據(jù)：LibriTTS-R、VCTK、VoxCeleb、VoxCeleb2、EARS和Expresso。整合過(guò)程包括直接使用現(xiàn)有描述、用額外的說(shuō)話者特征增強(qiáng)描述，以及使用基于結(jié)構(gòu)化標(biāo)簽的大型語(yǔ)言模型生成描述。

此外，研究團(tuán)隊(duì)還創(chuàng)建了兩個(gè)全新的數(shù)據(jù)集。CapSpeech-SEDB包含500個(gè)音頻混合物，整合了10種常見音效（咳嗽聲、笑聲、掌聲、開罐聲、腳步聲、鍵盤打字聲、鬧鐘聲、敲門聲、狗叫聲和貓叫聲），由五位在音樂制作或電影音效設(shè)計(jì)方面有專業(yè)經(jīng)驗(yàn)的音頻工程師精心制作。CapSpeech-AgentDB則包含約10,000對(duì)描述-語(yǔ)音配對(duì)，總計(jì)約25.2小時(shí)的單一女性說(shuō)話者的高質(zhì)量錄音，其中500對(duì)保留用于測(cè)試。這個(gè)數(shù)據(jù)集捕捉了情感狀態(tài)之間的微妙變化，并包含了在現(xiàn)有語(yǔ)音情感語(yǔ)料庫(kù)中很少出現(xiàn)的情緒（如好奇、嫉妒、怨恨、專注、分心）。

模型架構(gòu)與實(shí)驗(yàn)設(shè)計(jì)

為了評(píng)估CapSpeech數(shù)據(jù)集的有效性，研究團(tuán)隊(duì)開發(fā)了兩種基于最先進(jìn)生成式TTS骨架的風(fēng)格描述TTS模型：一種是自回歸（AR）模型，另一種是非自回歸（NAR）模型。

自回歸模型CapSpeech-AR基于Parler-TTS，這是一種基于編解碼器語(yǔ)言模型的最先進(jìn)方法。它使用44.1kHz版本的Descript Audio Codec（DAC）提供離散音頻表示，應(yīng)用延遲模式處理多個(gè)碼本，并使用交叉注意力機(jī)制整合基于描述的風(fēng)格控制。FLAN-T5用于從轉(zhuǎn)錄文本和風(fēng)格描述中提取特征。為了支持CapTTS-SE任務(wù)，他們?cè)诩軜?gòu)中添加了特殊標(biāo)記。如圖1所示，CapTTS-SE中的轉(zhuǎn)錄支持兩種整合音效的模式：背景模式和插入模式。音效標(biāo)記（如``、``）放在序列開頭，標(biāo)簽``和``標(biāo)記背景音效段的開始和結(jié)束，而``和``則表示插入點(diǎn)。這種設(shè)計(jì)允許靈活控制合成語(yǔ)音中音效的位置和類型。

非自回歸模型CapSpeech-NAR基于F5-TTS，這是一種基于流匹配的擴(kuò)散Transformer的最先進(jìn)方法。在他們的改編中，移除了音頻提示掩碼組件，而是使用交叉注意力整合基于描述的風(fēng)格控制。BigVGAN用作聲碼器，并應(yīng)用QK-Norm穩(wěn)定訓(xùn)練。轉(zhuǎn)錄通過(guò)音素轉(zhuǎn)換處理，并插入特殊標(biāo)記``、``、``和``表示基于背景和插入的音效。為了增強(qiáng)泛化能力，他們不直接在輸入序列中包含音效標(biāo)記，而是提取指定音效的LAION-CLAP嵌入并將其作為額外輸入。這種設(shè)計(jì)允許模型在推理過(guò)程中泛化到未見過(guò)的音效。與AR模型類似，F(xiàn)LAN-T5用于從風(fēng)格描述中提取文本特征。由于NAR模型無(wú)法直接預(yù)測(cè)音頻持續(xù)時(shí)間，他們微調(diào)了一個(gè)BERT模型，該模型同時(shí)接收轉(zhuǎn)錄和描述作為輸入，以估計(jì)整個(gè)音頻的總持續(xù)時(shí)間。

所有模型都使用AdamW優(yōu)化器進(jìn)行訓(xùn)練。AR模型的批量大小為32，預(yù)訓(xùn)練階段學(xué)習(xí)率為1e-3，微調(diào)階段為1e-4。NAR模型使用512的批量大小，預(yù)訓(xùn)練階段學(xué)習(xí)率為2e-4，微調(diào)階段為2e-5。預(yù)訓(xùn)練在8個(gè)NVIDIA H100 GPU上進(jìn)行，而微調(diào)則在單個(gè)NVIDIA A100 GPU上執(zhí)行。

實(shí)驗(yàn)結(jié)果與分析

研究團(tuán)隊(duì)通過(guò)客觀和主觀兩種方法評(píng)估了模型性能。客觀評(píng)估包括風(fēng)格一致性、音頻質(zhì)量和清晰度三個(gè)方面。對(duì)于風(fēng)格一致性，他們計(jì)算了多個(gè)類別的分類準(zhǔn)確率，包括年齡、性別、音高、語(yǔ)調(diào)表現(xiàn)力、語(yǔ)速、口音和情感，并將這些屬性的平均準(zhǔn)確率報(bào)告為Style-ACC。音頻質(zhì)量通過(guò)UTMOSv2評(píng)估，而清晰度則通過(guò)計(jì)算生成語(yǔ)音的ASR轉(zhuǎn)錄與輸入轉(zhuǎn)錄之間的文本標(biāo)準(zhǔn)化WER來(lái)評(píng)估。

主觀評(píng)估方面，研究團(tuán)隊(duì)招募了15名通過(guò)Prolific平臺(tái)篩選的母語(yǔ)為英語(yǔ)的評(píng)估者，評(píng)估三個(gè)主觀方面：風(fēng)格一致性MOS（SMOS）、自然度MOS（NMOS）和清晰度MOS（IMOS）。每個(gè)樣本由三名評(píng)估者評(píng)分，并報(bào)告平均分?jǐn)?shù)及95%置信區(qū)間。

預(yù)訓(xùn)練階段的結(jié)果顯示，在CapTTS任務(wù)上使用CapTTS預(yù)訓(xùn)練集訓(xùn)練的模型在風(fēng)格一致性、自然度和清晰度方面均顯著優(yōu)于使用先前的大規(guī)模數(shù)據(jù)集ParaSpeechCaps訓(xùn)練的模型，證明了研究團(tuán)隊(duì)所提出數(shù)據(jù)集的有效性。與AR模型相比，NAR模型在所有指標(biāo)上一致取得更好的性能，突顯了它們?cè)贑apTTS任務(wù)上的進(jìn)步。

微調(diào)階段的結(jié)果表明，預(yù)訓(xùn)練為所有下游任務(wù)提供了顯著益處，特別是對(duì)于數(shù)據(jù)有限的CapTTS-SE和AgentTTS任務(wù)。值得注意的是，研究基準(zhǔn)表明，在CapTTS、EmoCapTTS和AccCapTTS任務(wù)上可以實(shí)現(xiàn)較強(qiáng)的風(fēng)格一致性、自然度和清晰度，NAR模型的SMOS、NMOS和IMOS評(píng)分至少達(dá)到3.77、3.88和4.34。此外，AR模型在CapTTS-SE和AgentTTS任務(wù)的某些指標(biāo)上超過(guò)了NAR模型。

研究團(tuán)隊(duì)還觀察到，在AgentTTS任務(wù)中保持風(fēng)格一致性以及在CapTTS-SE任務(wù)中實(shí)現(xiàn)高清晰度仍然特別具有挑戰(zhàn)性。特別是，在CapTTS-SE任務(wù)中，模型在WER指標(biāo)上表現(xiàn)良好但在IMOS上表現(xiàn)較差，表明音效的生成質(zhì)量低于語(yǔ)音。

研究意義與局限性

CapSpeech代表了風(fēng)格描述文本轉(zhuǎn)語(yǔ)音合成領(lǐng)域的重要進(jìn)步，為研究人員提供了一個(gè)全面的基準(zhǔn)來(lái)評(píng)估和改進(jìn)這一技術(shù)。通過(guò)引入多種下游任務(wù)和豐富的數(shù)據(jù)集，CapSpeech使研究人員能夠探索更多實(shí)際應(yīng)用場(chǎng)景，如帶音效的有聲讀物、具有細(xì)粒度情感控制的對(duì)話代理以及可靈活控制口音的跨文化語(yǔ)音合成等。

然而，這項(xiàng)研究也存在一些局限性。首先是AI安全方面的考慮，特別是關(guān)于水印和合成語(yǔ)音檢測(cè)的問(wèn)題。隨著生成語(yǔ)音質(zhì)量的不斷提高，語(yǔ)音欺騙、身份冒充和錯(cuò)誤信息傳播的風(fēng)險(xiǎn)也在增加。雖然CapSpeech引入了幾種語(yǔ)音合成任務(wù)，為水印和深度偽造檢測(cè)開辟了新的機(jī)會(huì)和挑戰(zhàn)，但研究人員尚未在此方面進(jìn)行深入探索。

其次是語(yǔ)言覆蓋范圍和評(píng)估指標(biāo)的局限性。雖然CapSpeech的設(shè)計(jì)可以輕松擴(kuò)展到其他語(yǔ)言，但當(dāng)前的數(shù)據(jù)集僅限于英語(yǔ)。此外，風(fēng)格描述TTS任務(wù)依賴于昂貴且主觀的人工評(píng)估，因?yàn)槿狈煽康淖詣?dòng)評(píng)估指標(biāo)。目前，沒有現(xiàn)有的理解模型能夠生成高質(zhì)量的語(yǔ)音描述。不過(guò)，CapSpeech數(shù)據(jù)集為訓(xùn)練此類模型提供了有希望的基礎(chǔ)，類似于圖像-文本模型如CLIP和BLIP的發(fā)展路徑。

結(jié)語(yǔ)

CapSpeech是風(fēng)格描述文本轉(zhuǎn)語(yǔ)音合成領(lǐng)域的一個(gè)重要里程碑，它不僅提供了大規(guī)模的數(shù)據(jù)資源，還設(shè)計(jì)了一系列具有實(shí)際應(yīng)用價(jià)值的下游任務(wù)。通過(guò)這項(xiàng)研究，我們看到了AI語(yǔ)音合成正朝著更加自然、富有表現(xiàn)力和可控的方向發(fā)展。

想象一下未來(lái)的可能性：有聲書籍能夠自動(dòng)匹配角色情緒并添加恰當(dāng)?shù)沫h(huán)境音效；虛擬助手能夠根據(jù)對(duì)話情境調(diào)整語(yǔ)調(diào)和情感表達(dá)；語(yǔ)言學(xué)習(xí)應(yīng)用能夠展示各種真實(shí)的口音變體。這些應(yīng)用場(chǎng)景不再遙不可及，CapSpeech的出現(xiàn)讓它們變得觸手可及。

對(duì)于對(duì)該領(lǐng)域感興趣的讀者，研究團(tuán)隊(duì)已經(jīng)公開發(fā)布了他們的數(shù)據(jù)集、聽音樣本、源代碼、預(yù)訓(xùn)練檢查點(diǎn)和評(píng)估工具，以支持未來(lái)的研究。所有資源都在CC BY-NC 4.0許可（知識(shí)共享署名-非商業(yè)性使用）下發(fā)布，允許在適當(dāng)歸屬的情況下用于非商業(yè)研究目的。