**香港大學(xué)、南京大學(xué)、上海人工智能實(shí)驗(yàn)室和南洋理工大學(xué)**的研究團(tuán)隊(duì)近期在視頻生成領(lǐng)域取得了重要突破。這項(xiàng)研究名為《DCM: 雙專家一致性模型用于高效高質(zhì)量視頻生成》(DCM: Dual-Expert Consistency Model for Efficient and High-Quality Video Generation)，由Zhengyao Lv、Chenyang Si、Tianlin Pan、Zhaoxi Chen、Kwan-Yee K. Wong、Yu Qiao和Ziwei Liu等研究人員共同完成，論文發(fā)表于2025年6月3日的arXiv預(yù)印本平臺(tái)（arXiv:2506.03123v1）。

**一、視頻生成面臨的難題：既要高質(zhì)量又要高效率**

想象你正在拍一部電影。傳統(tǒng)上，你需要一幀一幀地拍攝，這既費(fèi)時(shí)又費(fèi)力。現(xiàn)在的人工智能已經(jīng)可以從文字描述自動(dòng)生成視頻，就像一位虛擬導(dǎo)演，能夠根據(jù)你的劇本構(gòu)思出完整的視覺內(nèi)容。這些技術(shù)主要依靠"擴(kuò)散模型"——一種能夠從噪聲中逐步提煉出清晰圖像的人工智能系統(tǒng)。

然而，這些AI"導(dǎo)演"面臨一個(gè)關(guān)鍵問題：它們需要進(jìn)行大量的計(jì)算步驟才能生成高質(zhì)量視頻。這就像一位導(dǎo)演需要反復(fù)排練幾十遍才能拍出滿意的一個(gè)鏡頭。在實(shí)際應(yīng)用中，這意味著即使使用強(qiáng)大的計(jì)算設(shè)備，生成一段高質(zhì)量視頻也需要花費(fèi)數(shù)分鐘甚至更長(zhǎng)時(shí)間，嚴(yán)重限制了這項(xiàng)技術(shù)的實(shí)用性。

研究團(tuán)隊(duì)分析了現(xiàn)有的解決方案，比如"一致性模型"(Consistency Models)，這些模型試圖通過知識(shí)蒸餾的方式，將原本需要幾十步的生成過程縮減到幾步甚至一步。然而，當(dāng)直接應(yīng)用于視頻生成時(shí)，這些方法往往會(huì)導(dǎo)致視頻質(zhì)量嚴(yán)重下降——動(dòng)作不連貫、細(xì)節(jié)模糊、場(chǎng)景扭曲。

**二、問題根源：不同階段的學(xué)習(xí)目標(biāo)存在沖突**

為了找出問題所在，研究團(tuán)隊(duì)首先分析了視頻生成的整個(gè)過程。他們發(fā)現(xiàn)，在生成視頻的不同階段，AI模型的學(xué)習(xí)目標(biāo)存在明顯差異。

想象一位畫家正在創(chuàng)作一幅畫。在最初的草圖階段，畫家關(guān)注的是物體的大致形狀、位置和整體布局；而在后期的精修階段，畫家則專注于添加細(xì)節(jié)、調(diào)整色彩和增強(qiáng)質(zhì)感。這兩個(gè)階段需要截然不同的技能和關(guān)注點(diǎn)。

研究團(tuán)隊(duì)通過可視化分析發(fā)現(xiàn)，視頻生成也遵循類似的模式： - 在早期階段（高噪聲水平），模型主要關(guān)注確定視頻的語(yǔ)義布局和運(yùn)動(dòng)趨勢(shì)，這時(shí)每一步的變化都非常明顯和劇烈 - 在后期階段（低噪聲水平），模型則專注于精細(xì)化細(xì)節(jié)，每一步的變化變得更加微妙和漸進(jìn)

更重要的是，他們發(fā)現(xiàn)當(dāng)嘗試將這兩個(gè)階段的任務(wù)合并到一個(gè)簡(jiǎn)化模型中時(shí)，會(huì)出現(xiàn)"優(yōu)化沖突"。具體來說，在訓(xùn)練過程中，高噪聲樣本和低噪聲樣本的損失值和梯度大小存在顯著差異，這導(dǎo)致模型無(wú)法同時(shí)有效地學(xué)習(xí)兩種不同的任務(wù)。

這就像要求一個(gè)人同時(shí)成為一位出色的建筑師和一位精細(xì)的室內(nèi)設(shè)計(jì)師——雖然這兩種技能有一定關(guān)聯(lián)，但專業(yè)方向不同，很難同時(shí)達(dá)到最高水平。

**三、雙專家一致性模型：分工協(xié)作的創(chuàng)新解決方案**

基于上述發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了一個(gè)巧妙的解決方案：為什么不讓兩位"專家"分別負(fù)責(zé)不同的任務(wù)呢？這就是"雙專家一致性模型"(DCM)的核心思想。

具體來說，他們?cè)O(shè)計(jì)了兩個(gè)專家模型： 1. 語(yǔ)義專家(Semantic Expert)：專注于早期階段，負(fù)責(zé)生成視頻的語(yǔ)義布局和運(yùn)動(dòng) 2. 細(xì)節(jié)專家(Detail Expert)：專注于后期階段，負(fù)責(zé)細(xì)化和完善視頻的細(xì)節(jié)

這就像電影制作中，先有導(dǎo)演確定整體場(chǎng)景和動(dòng)作設(shè)計(jì)，再由攝影師和美術(shù)師負(fù)責(zé)調(diào)整光線、色彩和細(xì)節(jié)，各司其職，協(xié)作完成。

為了驗(yàn)證這一想法，研究團(tuán)隊(duì)首先進(jìn)行了初步實(shí)驗(yàn)，分別訓(xùn)練了兩個(gè)完全獨(dú)立的專家模型。實(shí)驗(yàn)結(jié)果令人振奮：當(dāng)這兩個(gè)專家模型協(xié)作時(shí)，生成的視頻質(zhì)量確實(shí)顯著提高。這證實(shí)了他們的核心假設(shè)：分離訓(xùn)練確實(shí)能夠緩解優(yōu)化沖突問題。

然而，使用兩個(gè)完全獨(dú)立的模型會(huì)導(dǎo)致參數(shù)數(shù)量翻倍，增加存儲(chǔ)和推理成本。研究團(tuán)隊(duì)進(jìn)一步分析了兩個(gè)專家模型之間的參數(shù)差異，發(fā)現(xiàn)主要差異集中在兩個(gè)方面：時(shí)間步嵌入層和注意力層中的線性層。

基于這一發(fā)現(xiàn)，他們提出了一種參數(shù)高效的實(shí)現(xiàn)方案：不是訓(xùn)練兩個(gè)完全獨(dú)立的模型，而是基于一個(gè)共享的基礎(chǔ)模型，添加少量特定的參數(shù)來實(shí)現(xiàn)專業(yè)化。具體步驟如下：

1. 首先訓(xùn)練語(yǔ)義專家模型，負(fù)責(zé)視頻的整體布局和運(yùn)動(dòng) 2. 然后凍結(jié)這個(gè)模型的大部分參數(shù)，僅添加少量新的時(shí)間步相關(guān)層和基于LoRA(低秩適應(yīng))的注意力層調(diào)整 3. 最后只訓(xùn)練這些新添加的參數(shù)，使其專門處理細(xì)節(jié)精修任務(wù)

這種方法大大減少了額外參數(shù)的數(shù)量，同時(shí)保持了兩個(gè)專家各自的專業(yè)能力。就像一個(gè)人掌握了基礎(chǔ)技能后，只需要少量額外訓(xùn)練就可以在特定方向上取得專業(yè)化成就。

**四、專家特定的優(yōu)化目標(biāo)：各自發(fā)揮所長(zhǎng)**

除了模型結(jié)構(gòu)的創(chuàng)新外，研究團(tuán)隊(duì)還為每個(gè)專家設(shè)計(jì)了特定的優(yōu)化目標(biāo)，進(jìn)一步提升各自的專業(yè)能力。

對(duì)于語(yǔ)義專家，他們引入了"時(shí)間一致性損失"(Temporal Coherence Loss)。這個(gè)優(yōu)化目標(biāo)鼓勵(lì)模型生成在時(shí)間上連貫一致的運(yùn)動(dòng)?？梢岳斫鉃?，這個(gè)損失函數(shù)要求模型特別關(guān)注視頻中相鄰幀之間的關(guān)系，確保運(yùn)動(dòng)流暢自然，避免出現(xiàn)卡頓或不合理的跳躍。

想象你在觀看一個(gè)人走路的視頻，如果每一幀之間的動(dòng)作連貫，整體會(huì)顯得自然流暢；但如果幀與幀之間不協(xié)調(diào)，人物可能會(huì)顯得"閃爍"或"瞬移"。時(shí)間一致性損失就是幫助模型學(xué)會(huì)創(chuàng)造那種流暢自然的運(yùn)動(dòng)效果。

對(duì)于細(xì)節(jié)專家，他們采用了生成對(duì)抗網(wǎng)絡(luò)(GAN)損失和特征匹配損失。GAN是一種讓兩個(gè)網(wǎng)絡(luò)相互"競(jìng)爭(zhēng)"的訓(xùn)練方法：一個(gè)網(wǎng)絡(luò)負(fù)責(zé)生成內(nèi)容，另一個(gè)網(wǎng)絡(luò)負(fù)責(zé)判斷內(nèi)容是否真實(shí)。通過這種"博弈"，生成網(wǎng)絡(luò)能夠?qū)W會(huì)創(chuàng)造更加真實(shí)、細(xì)節(jié)豐富的內(nèi)容。

特征匹配損失則進(jìn)一步要求生成的內(nèi)容在中間特征層面也與真實(shí)內(nèi)容相似，這有助于穩(wěn)定GAN的訓(xùn)練過程并提高細(xì)節(jié)質(zhì)量。這就像要求一位畫家不僅要畫出看起來像真實(shí)物體的畫作，還要確保色彩、紋理等各個(gè)方面都符合現(xiàn)實(shí)世界的規(guī)律。

**五、實(shí)驗(yàn)結(jié)果：效率與質(zhì)量的完美平衡**

研究團(tuán)隊(duì)在多個(gè)視頻生成模型上測(cè)試了他們的方法，包括擁有130億參數(shù)的HunyuanVideo和20億參數(shù)的CogVideoX。測(cè)試結(jié)果非常令人鼓舞：

使用DCM后，模型只需4步采樣就能生成高質(zhì)量視頻，相比原始模型需要的50步有了巨大提升。在HunyuanVideo模型上，DCM在僅用4步生成時(shí)，視頻質(zhì)量分?jǐn)?shù)(VBench分?jǐn)?shù))達(dá)到83.83，幾乎與原始50步模型的83.87相當(dāng)。同時(shí)，生成129幀1280×720分辨率的視頻僅需121.52秒，大大低于原始模型的1504.5秒。

這種效率與質(zhì)量的平衡在視覺效果上也得到了證實(shí)。通過對(duì)比生成的視頻樣本，可以看到DCM生成的視頻在語(yǔ)義一致性、細(xì)節(jié)豐富度和整體質(zhì)量上都表現(xiàn)出色，大大優(yōu)于其他快速生成方法如LCM和PCM。

研究團(tuán)隊(duì)還進(jìn)行了用戶研究，讓評(píng)估者對(duì)不同方法生成的視頻進(jìn)行偏好評(píng)分。結(jié)果顯示，82.67%的評(píng)估者更喜歡DCM生成的視頻而非LCM生成的視頻，77.33%的評(píng)估者更喜歡DCM生成的視頻而非PCM生成的視頻。這進(jìn)一步證明了DCM在主觀視覺質(zhì)量上的優(yōu)越性。

此外，研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，分別驗(yàn)證了優(yōu)化解耦、參數(shù)高效雙專家蒸餾、時(shí)間一致性損失以及GAN和特征匹配損失等各個(gè)組件的有效性。結(jié)果表明，每個(gè)組件都對(duì)最終性能有積極貢獻(xiàn)，其中優(yōu)化解耦是最關(guān)鍵的因素。

**六、總結(jié)與展望：視頻生成的新時(shí)代**

這項(xiàng)研究通過識(shí)別并解決一致性模型蒸餾過程中的關(guān)鍵沖突，成功實(shí)現(xiàn)了高效高質(zhì)量的視頻生成。研究團(tuán)隊(duì)提出的雙專家一致性模型(DCM)通過將語(yǔ)義布局和細(xì)節(jié)精修任務(wù)分離，有效緩解了優(yōu)化沖突問題，同時(shí)通過參數(shù)高效的實(shí)現(xiàn)方式保持了計(jì)算成本的合理性。

對(duì)普通用戶來說，這項(xiàng)技術(shù)意味著未來的AI視頻生成工具將能夠更快速地響應(yīng)創(chuàng)意需求，同時(shí)保持高質(zhì)量的輸出。想象一下，你只需輸入一段文字描述，幾秒鐘內(nèi)就能獲得一段高質(zhì)量的視頻內(nèi)容，這將極大地改變內(nèi)容創(chuàng)作的方式和效率。

當(dāng)然，這項(xiàng)研究也存在一些局限性。研究團(tuán)隊(duì)指出，雖然他們的方法在4步采樣時(shí)表現(xiàn)出色，但進(jìn)一步減少步數(shù)（如降至2步）時(shí)仍面臨挑戰(zhàn)，這可能與訓(xùn)練數(shù)據(jù)和迭代次數(shù)有關(guān)。這也指明了未來研究的方向：如何在更少的步數(shù)下保持高質(zhì)量的視頻生成。

總的來說，這項(xiàng)研究為高效高質(zhì)量的視頻生成提供了一個(gè)有效的解決方案，展示了專家分工在人工智能模型中的價(jià)值，也為未來的研究指明了方向。有興趣深入了解的讀者可以通過GitHub（https://github.com/Vchitect/DCM）訪問研究團(tuán)隊(duì)公開的代碼和模型。