這項(xiàng)由希伯來(lái)大學(xué)和Meta公司聯(lián)合開展的研究發(fā)表于2025年6月的arXiv預(yù)印本平臺(tái)（論文編號(hào)：arXiv:2506.08570v2），有興趣深入了解的讀者可以通過(guò)https://huggingface.co/spaces/ortal1602/ARvsFM訪問(wèn)音頻樣例。研究團(tuán)隊(duì)由希伯來(lái)大學(xué)的Or Tal、Yossi Adi以及Meta基礎(chǔ)AI研究部門的Felix Kreuk共同完成，他們?yōu)槲谋旧梢魳?lè)這一前沿領(lǐng)域帶來(lái)了迄今為止最全面的技術(shù)對(duì)比研究。

想象一下，你只需要輸入"一首輕快的爵士鋼琴曲"，電腦就能為你創(chuàng)作出一首完整的音樂(lè)作品。這聽起來(lái)像科幻電影中的情節(jié)，但在人工智能飛速發(fā)展的今天，這已經(jīng)成為現(xiàn)實(shí)。就像烹飪界有不同的烹飪方法可以制作同一道菜一樣，在AI音樂(lè)生成領(lǐng)域，目前也存在兩種主要的"烹飪方法"：自回歸（AR）技術(shù)和流匹配（FM）技術(shù)。

這兩種技術(shù)就像兩位性格迥異的大廚。自回歸技術(shù)像一位嚴(yán)謹(jǐn)?shù)膫鹘y(tǒng)廚師，按部就班地一個(gè)音符接一個(gè)音符地創(chuàng)作，就像寫文章時(shí)一個(gè)字一個(gè)字地書寫；而流匹配技術(shù)則像一位藝術(shù)家廚師，能夠同時(shí)處理整首曲子的各個(gè)部分，通過(guò)一系列精細(xì)的調(diào)整步驟，將隨機(jī)的"音樂(lè)噪音"逐漸雕琢成優(yōu)美的旋律。

然而，在這項(xiàng)研究之前，沒(méi)有人真正知道這兩種"烹飪方法"哪種更適合制作什么樣的"音樂(lè)大餐"。就像我們想知道蒸和炒哪種方法更適合做蔬菜一樣，研究人員面臨著一個(gè)關(guān)鍵問(wèn)題：在相同的條件下，這兩種技術(shù)到底誰(shuí)的表現(xiàn)更好？

這個(gè)問(wèn)題之所以重要，是因?yàn)檫^(guò)去的研究就像是在不同廚房、用不同食材、不同廚具來(lái)比較兩位廚師的手藝，結(jié)果當(dāng)然無(wú)法說(shuō)明問(wèn)題。有些研究用自回歸技術(shù)的模型訓(xùn)練數(shù)據(jù)更多，有些研究用流匹配技術(shù)的模型結(jié)構(gòu)更復(fù)雜，這樣的比較就像讓一位廚師用頂級(jí)食材，另一位用普通食材，然后比較誰(shuí)做得更好吃一樣不公平。

為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)設(shè)計(jì)了一場(chǎng)"公平競(jìng)賽"。他們讓兩種技術(shù)使用完全相同的"食材"（訓(xùn)練數(shù)據(jù)）、相同的"廚具"（模型架構(gòu)）、相同的"烹飪時(shí)間"（訓(xùn)練時(shí)長(zhǎng)），然后從多個(gè)角度比較它們制作出的"音樂(lè)大餐"質(zhì)量如何。這就像讓兩位廚師在完全相同的條件下制作同一道菜，然后從味道、外觀、營(yíng)養(yǎng)價(jià)值等多個(gè)維度進(jìn)行評(píng)判。

研究團(tuán)隊(duì)使用了一個(gè)包含約2萬(wàn)小時(shí)音樂(lè)的龐大數(shù)據(jù)庫(kù)作為訓(xùn)練素材，這些音樂(lè)來(lái)自Shutterstock和Pond5等專業(yè)音樂(lè)平臺(tái)，就像為廚師準(zhǔn)備了豐富的高質(zhì)量食材庫(kù)。他們訓(xùn)練了多個(gè)不同配置的模型，每個(gè)模型都有4億個(gè)參數(shù)，相當(dāng)于一個(gè)相當(dāng)聰明的"音樂(lè)大腦"。

**一、音樂(lè)生成質(zhì)量大比拼：傳統(tǒng)方法略勝一籌**

首先，研究團(tuán)隊(duì)比較了兩種技術(shù)在基本音樂(lè)生成質(zhì)量方面的表現(xiàn)，就像品嘗兩位廚師制作的基礎(chǔ)菜品一樣。他們使用了多種"品嘗標(biāo)準(zhǔn)"來(lái)評(píng)判音樂(lè)質(zhì)量。

在音頻保真度方面，他們使用了一種叫做"音頻距離"的指標(biāo)，這就像用精密儀器測(cè)量食物的新鮮度一樣。結(jié)果顯示，自回歸技術(shù)制作的音樂(lè)在這個(gè)指標(biāo)上表現(xiàn)稍好，分?jǐn)?shù)為0.40，而流匹配技術(shù)的分?jǐn)?shù)為0.42（數(shù)字越小越好）。雖然差距不大，但確實(shí)存在差異。

更有趣的是，研究團(tuán)隊(duì)還測(cè)試了不同"制作速度"對(duì)質(zhì)量的影響。他們發(fā)現(xiàn)，當(dāng)要求音樂(lè)生成的時(shí)間分辨率越來(lái)越高時(shí)（相當(dāng)于要求廚師在更短時(shí)間內(nèi)完成更多工序），自回歸技術(shù)的表現(xiàn)相對(duì)穩(wěn)定，而流匹配技術(shù)的質(zhì)量會(huì)明顯下降。在25Hz的分辨率下，兩種技術(shù)表現(xiàn)相當(dāng)；但當(dāng)分辨率提高到100Hz時(shí)，流匹配技術(shù)使用VAE編碼器的版本，其音頻質(zhì)量分?jǐn)?shù)從0.54惡化到了1.02，而自回歸技術(shù)只是從0.40輕微增加到0.64。

這就像是在考驗(yàn)廚師的適應(yīng)能力：當(dāng)要求他們?cè)诟量痰臈l件下工作時(shí)，傳統(tǒng)廚師（自回歸）能夠保持相對(duì)穩(wěn)定的出品質(zhì)量，而藝術(shù)家廚師（流匹配）的表現(xiàn)會(huì)受到更大影響。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣現(xiàn)象：流匹配技術(shù)的表現(xiàn)嚴(yán)重依賴于"制作步驟"的數(shù)量。當(dāng)使用200個(gè)精細(xì)調(diào)整步驟時(shí)，流匹配技術(shù)能達(dá)到不錯(cuò)的效果；但如果為了追求速度而減少到10個(gè)步驟，音質(zhì)會(huì)急劇下降，音頻質(zhì)量分?jǐn)?shù)從0.45暴跌到4.16，這相當(dāng)于從米其林餐廳水準(zhǔn)直接跌落到街邊快餐的品質(zhì)。

**二、精確控制能力：自回歸技術(shù)更聽話**

接下來(lái)，研究團(tuán)隊(duì)測(cè)試了兩種技術(shù)在精確控制方面的能力，這就像測(cè)試廚師能否嚴(yán)格按照食譜來(lái)制作菜品。他們給兩種技術(shù)提供了三種不同類型的"音樂(lè)食譜"：和弦進(jìn)行（相當(dāng)于菜品的主要調(diào)味料配比）、旋律線條（相當(dāng)于菜品的主要形狀輪廓）和鼓點(diǎn)節(jié)拍（相當(dāng)于菜品的節(jié)奏感）。

在和弦控制方面，自回歸技術(shù)表現(xiàn)出了明顯的優(yōu)勢(shì)。研究團(tuán)隊(duì)使用了一個(gè)叫做"交并比"的指標(biāo)來(lái)衡量生成音樂(lè)與要求和弦的匹配程度，這就像測(cè)量實(shí)際菜品與食譜要求的相似度。結(jié)果顯示，當(dāng)提供所有三種控制信息時(shí)，自回歸技術(shù)的和弦匹配度達(dá)到了0.57，而流匹配技術(shù)只有0.33。這意味著自回歸技術(shù)能夠更準(zhǔn)確地按照"和弦食譜"來(lái)創(chuàng)作音樂(lè)。

在旋律控制方面，差距同樣明顯。研究團(tuán)隊(duì)使用色度圖相似度來(lái)測(cè)量旋律匹配程度，這就像用顏色分析來(lái)判斷菜品外觀是否符合要求。自回歸技術(shù)的旋律相似度達(dá)到0.41，而流匹配技術(shù)只有0.32。

只有在鼓點(diǎn)節(jié)拍控制方面，兩種技術(shù)的表現(xiàn)相當(dāng)，都在0.39-0.42之間。這就像兩位廚師在掌握菜品的"節(jié)奏感"方面都比較擅長(zhǎng)。

然而，研究團(tuán)隊(duì)也發(fā)現(xiàn)了一個(gè)意外現(xiàn)象：當(dāng)使用這些精確控制功能時(shí)，兩種技術(shù)生成音樂(lè)的整體質(zhì)量都會(huì)下降。這就像廚師在嚴(yán)格按照復(fù)雜食譜制作時(shí)，可能會(huì)犧牲一些創(chuàng)意和整體協(xié)調(diào)性。音頻質(zhì)量分?jǐn)?shù)從無(wú)控制時(shí)的0.40-0.48上升到了0.72-0.78，文本匹配度也有所下降。

研究團(tuán)隊(duì)認(rèn)為，這種現(xiàn)象的原因可能是"過(guò)度約束"導(dǎo)致的。想象一下，如果你要求一位廚師嚴(yán)格按照非常詳細(xì)的食譜制作，包括每一個(gè)調(diào)料的確切用量和添加時(shí)機(jī)，廚師可能會(huì)變得過(guò)于拘謹(jǐn)，失去一些自然的烹飪流暢性。當(dāng)AI模型需要同時(shí)滿足多個(gè)精確要求時(shí)，它可能會(huì)選擇一些技術(shù)上正確但藝術(shù)上不夠自然的解決方案。

**三、音樂(lè)編輯能力：流匹配技術(shù)的獨(dú)特優(yōu)勢(shì)**

在音樂(lè)編輯能力測(cè)試中，情況發(fā)生了有趣的轉(zhuǎn)變。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)"音樂(lè)修補(bǔ)"任務(wù)，就像要求廚師替換一道菜中間的某個(gè)部分，同時(shí)保證整道菜的和諧統(tǒng)一。具體來(lái)說(shuō)，他們要求AI系統(tǒng)在一段10秒的音樂(lè)中，重新生成中間5秒的內(nèi)容，但要確保新生成的部分與前后部分完美銜接。

這個(gè)任務(wù)對(duì)自回歸技術(shù)來(lái)說(shuō)相當(dāng)困難，因?yàn)樗墓ぷ鞣绞骄拖駥懳恼乱粯?，必須從頭開始一個(gè)字一個(gè)字地書寫。為了讓自回歸技術(shù)也能完成"音樂(lè)修補(bǔ)"，研究團(tuán)隊(duì)采用了一種叫做"填空訓(xùn)練"的方法，在訓(xùn)練時(shí)就教會(huì)模型如何處理不連續(xù)的音樂(lè)片段。

相比之下，流匹配技術(shù)天生就具備"修補(bǔ)"能力，因?yàn)樗墓ぷ鞣绞骄拖竦袼芗乙粯樱梢酝瑫r(shí)處理整個(gè)作品的不同部分。研究團(tuán)隊(duì)為流匹配技術(shù)設(shè)計(jì)了兩種修補(bǔ)方案：一種是專門訓(xùn)練的"監(jiān)督修補(bǔ)"，另一種是無(wú)需額外訓(xùn)練的"零樣本修補(bǔ)"。

在客觀指標(biāo)測(cè)試中，三種方法的表現(xiàn)相當(dāng)接近。自回歸技術(shù)的音頻質(zhì)量分?jǐn)?shù)為0.23，流匹配技術(shù)的監(jiān)督版本為0.32，零樣本版本為0.30。但是，當(dāng)研究團(tuán)隊(duì)邀請(qǐng)真人評(píng)判員進(jìn)行主觀評(píng)價(jià)時(shí)，結(jié)果卻大不相同。

在人工評(píng)價(jià)中，評(píng)判員需要從兩個(gè)角度評(píng)分：過(guò)渡的平滑度和音頻內(nèi)容的匹配度，每項(xiàng)滿分10分。結(jié)果顯示，流匹配技術(shù)的監(jiān)督版本獲得了最高分：過(guò)渡平滑度8.11分，音頻匹配度7.93分。自回歸技術(shù)排名第二，分別獲得7.57分和7.22分。而零樣本流匹配技術(shù)雖然無(wú)需額外訓(xùn)練，但表現(xiàn)最不穩(wěn)定，得分為7.09分和6.78分。

研究團(tuán)隊(duì)發(fā)現(xiàn)，自回歸技術(shù)雖然能生成高質(zhì)量的音樂(lè)片段，但在銜接點(diǎn)往往會(huì)產(chǎn)生可聽見的"接縫"，就像拼接照片時(shí)沒(méi)有處理好邊緣一樣。而監(jiān)督訓(xùn)練的流匹配技術(shù)能夠產(chǎn)生最自然的過(guò)渡效果，生成的音樂(lè)段落在樂(lè)器配置、音量動(dòng)態(tài)和音樂(lè)感覺方面都與原始音樂(lè)保持高度一致。

零樣本流匹配技術(shù)則表現(xiàn)出了有趣的"雙面性"：有時(shí)能產(chǎn)生完美無(wú)缺的修補(bǔ)效果，有時(shí)卻會(huì)生成與原音樂(lè)完全不相關(guān)的內(nèi)容。研究團(tuán)隊(duì)認(rèn)為，這種不穩(wěn)定性可能通過(guò)更精細(xì)的采樣策略或針對(duì)每個(gè)樣本的參數(shù)調(diào)整來(lái)改善。

**四、運(yùn)算效率比較：各有千秋的性能表現(xiàn)**

在實(shí)際應(yīng)用中，除了音樂(lè)質(zhì)量，運(yùn)算效率也是一個(gè)重要考量因素。研究團(tuán)隊(duì)詳細(xì)測(cè)試了兩種技術(shù)在不同批量大小下的運(yùn)算表現(xiàn)，這就像測(cè)試廚師在不同規(guī)模宴席中的工作效率。

自回歸技術(shù)展現(xiàn)出了優(yōu)秀的"規(guī)?；?能力。當(dāng)同時(shí)處理的音樂(lè)生成任務(wù)增加時(shí)，自回歸技術(shù)的效率會(huì)顯著提升，這得益于一種叫做"鍵值緩存"的技術(shù)優(yōu)化。在最大批量（256個(gè)任務(wù)）下，自回歸技術(shù)能達(dá)到每秒6.5個(gè)樣本的處理速度，單個(gè)樣本的處理時(shí)間降低到0.15秒以下。這就像一位經(jīng)驗(yàn)豐富的廚師，當(dāng)需要為大型宴席準(zhǔn)備相同菜品時(shí)，能夠通過(guò)批量處理大大提高效率。

相比之下，流匹配技術(shù)的規(guī)?；芰τ邢?。無(wú)論批量大小如何增加，它的處理速度都很快達(dá)到瓶頸，最高只能達(dá)到每秒3.5個(gè)樣本左右。這就像一位精工細(xì)作的藝術(shù)家，即使面對(duì)大量訂單，也無(wú)法顯著提高單位時(shí)間的產(chǎn)出。

然而，流匹配技術(shù)也有自己的優(yōu)勢(shì)：它可以通過(guò)減少"制作步驟"來(lái)提高速度。當(dāng)使用10步Euler求解器時(shí)，流匹配技術(shù)在所有批量大小下都比自回歸技術(shù)更快。但這種速度提升是有代價(jià)的：音質(zhì)會(huì)顯著下降，音頻質(zhì)量分?jǐn)?shù)從正常的0.74惡化到4.16。

這就形成了一個(gè)有趣的權(quán)衡關(guān)系：如果你需要高質(zhì)量的音樂(lè)生成并且有大量任務(wù)要處理，自回歸技術(shù)是更好的選擇；如果你需要快速生成且能接受一定的質(zhì)量損失，流匹配技術(shù)的快速模式可能更合適；如果你需要既快又好的效果，那么可能需要在兩種技術(shù)之間進(jìn)行具體的權(quán)衡考慮。

**五、訓(xùn)練敏感性：流匹配技術(shù)更省資源**

最后，研究團(tuán)隊(duì)還測(cè)試了兩種技術(shù)對(duì)訓(xùn)練資源的敏感性，這對(duì)于實(shí)際應(yīng)用部署具有重要意義。他們固定了訓(xùn)練的總步數(shù)（50萬(wàn)步），但變化了每步訓(xùn)練時(shí)使用的數(shù)據(jù)量，通過(guò)調(diào)整批量大小和音樂(lè)片段長(zhǎng)度來(lái)實(shí)現(xiàn)。

結(jié)果顯示，流匹配技術(shù)表現(xiàn)出了更好的"資源利用效率"。即使在較小的訓(xùn)練批量下（8-16個(gè)樣本），流匹配技術(shù)就能達(dá)到接近其最佳表現(xiàn)的效果。這就像一位天賦異稟的學(xué)生，即使在資源有限的環(huán)境中也能快速掌握技能。

相比之下，自回歸技術(shù)需要更大的訓(xùn)練批量才能發(fā)揮出最佳性能。在批量大小從8增加到256的過(guò)程中，自回歸技術(shù)的音頻質(zhì)量分?jǐn)?shù)持續(xù)改善，從1.2左右降低到0.6左右。這表明自回歸技術(shù)更像一位需要大量練習(xí)才能達(dá)到頂峰的傳統(tǒng)工匠。

在文本匹配度方面，兩種技術(shù)表現(xiàn)出相反的趨勢(shì)。流匹配技術(shù)的文本匹配度隨著訓(xùn)練批量的增加而穩(wěn)步提升，而自回歸技術(shù)在這方面的表現(xiàn)相對(duì)平穩(wěn)，但在大批量訓(xùn)練時(shí)會(huì)有一些波動(dòng)。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，當(dāng)訓(xùn)練步數(shù)從50萬(wàn)增加到100萬(wàn)時(shí)，自回歸技術(shù)仍然在持續(xù)改善，而流匹配技術(shù)的提升幅度則相對(duì)有限。這表明自回歸技術(shù)可能需要更長(zhǎng)的訓(xùn)練時(shí)間才能充分發(fā)揮潛力，但也意味著它有更大的提升空間。

這些發(fā)現(xiàn)對(duì)于實(shí)際應(yīng)用具有重要指導(dǎo)意義。如果你的計(jì)算資源有限，流匹配技術(shù)可能是更好的選擇，因?yàn)樗茉谙鄬?duì)較少的資源下達(dá)到不錯(cuò)的效果。但如果你有充足的計(jì)算資源和時(shí)間，自回歸技術(shù)可能最終能達(dá)到更高的性能上限。

說(shuō)到底，這項(xiàng)研究就像為我們提供了一份詳細(xì)的"AI音樂(lè)生成技術(shù)使用指南"。自回歸技術(shù)就像一位嚴(yán)謹(jǐn)?shù)膫鹘y(tǒng)工匠，在標(biāo)準(zhǔn)化生產(chǎn)和精確控制方面表現(xiàn)優(yōu)異，特別適合需要大量高質(zhì)量音樂(lè)生成的場(chǎng)景。它能夠更好地遵循用戶的具體要求，在和弦進(jìn)行和旋律控制方面表現(xiàn)出色，而且在大規(guī)模應(yīng)用時(shí)效率更高。

流匹配技術(shù)則更像一位富有創(chuàng)意的現(xiàn)代藝術(shù)家，在音樂(lè)編輯和快速生成方面獨(dú)具優(yōu)勢(shì)。它天生具備的"全局視角"使其在音樂(lè)修補(bǔ)任務(wù)中表現(xiàn)卓越，能夠產(chǎn)生更自然的過(guò)渡效果。同時(shí)，它對(duì)訓(xùn)練資源的要求相對(duì)較低，在資源受限的環(huán)境中也能達(dá)到不錯(cuò)的效果。

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面的比較。它為整個(gè)AI音樂(lè)生成領(lǐng)域提供了寶貴的指導(dǎo)原則，幫助開發(fā)者和研究人員根據(jù)具體需求選擇合適的技術(shù)路線。對(duì)于普通用戶來(lái)說(shuō)，這意味著未來(lái)的AI音樂(lè)應(yīng)用可能會(huì)根據(jù)不同場(chǎng)景采用不同的技術(shù)，為我們提供更加個(gè)性化和高質(zhì)量的音樂(lè)創(chuàng)作體驗(yàn)。

更重要的是，這項(xiàng)研究展示了科學(xué)研究中"公平比較"的重要性。只有在相同條件下進(jìn)行對(duì)比，我們才能真正了解不同技術(shù)的優(yōu)劣，這種研究方法對(duì)于整個(gè)人工智能領(lǐng)域的發(fā)展都具有借鑒意義。

隨著AI技術(shù)的不斷發(fā)展，我們可以期待看到更多類似的深入比較研究，它們將幫助我們更好地理解和應(yīng)用這些強(qiáng)大的技術(shù)工具。無(wú)論你是音樂(lè)愛好者、技術(shù)開發(fā)者還是簡(jiǎn)單地對(duì)AI感興趣，這項(xiàng)研究都為我們展示了人工智能在創(chuàng)意領(lǐng)域的巨大潛力和未來(lái)發(fā)展方向。如果你對(duì)這項(xiàng)研究的具體技術(shù)細(xì)節(jié)感興趣，可以訪問(wèn)https://huggingface.co/spaces/ortal1602/ARvsFM來(lái)試聽研究團(tuán)隊(duì)提供的音頻樣例，親身體驗(yàn)這兩種技術(shù)的實(shí)際效果。