說到AI技術(shù)，我們可能都見過那些令人驚嘆的換臉照片，但如果有一天你能讓照片中的人動(dòng)起來，還能給他們換上不同的發(fā)型、眼鏡甚至胡須，那會(huì)是什么樣的體驗(yàn)？首爾國立大學(xué)的研究團(tuán)隊(duì)在2025年9月發(fā)表的這項(xiàng)研究，就實(shí)現(xiàn)了這樣一個(gè)聽起來像科幻小說的功能。這項(xiàng)名為"Durian"的研究發(fā)表在arXiv預(yù)印本平臺(tái)上，研究團(tuán)隊(duì)由車賢洙（Hyunsoo Cha）、金炳?。˙yungjun Kim）和朱韓秉（Hanbyul Joo）組成，他們的郵箱分別是{243stephen,byungjun.kim,hbjoo}@snu.ac.kr。感興趣的讀者可以通過項(xiàng)目主頁https://hyunsoocha.github.io/durian了解更多詳情。

要理解這項(xiàng)技術(shù)的突破性，我們可以用一個(gè)簡(jiǎn)單的比喻來解釋。過去的技術(shù)就像是給靜態(tài)照片貼貼紙一樣，你可以在一張照片上加上眼鏡或改變發(fā)型，但照片還是靜止的?，F(xiàn)在，Durian技術(shù)就像是有了一個(gè)魔法師，不僅能給照片中的人換裝，還能讓他們自然地動(dòng)起來，做各種表情和動(dòng)作，而且換上的新造型會(huì)隨著動(dòng)作自然變化，看起來完全真實(shí)。

這項(xiàng)技術(shù)的核心創(chuàng)新在于解決了一個(gè)長(zhǎng)期困擾研究者的難題：如何在保持人物身份不變的同時(shí)，自然地轉(zhuǎn)移面部屬性并生成動(dòng)態(tài)視頻。以往的方法要么只能處理靜態(tài)圖片，要么需要大量人工標(biāo)注的訓(xùn)練數(shù)據(jù)，而Durian則開創(chuàng)了一種全新的訓(xùn)練方式，就像是教AI學(xué)會(huì)了"舉一反三"的能力。

一、技術(shù)原理：雙重參考系統(tǒng)如何讓AI學(xué)會(huì)"換裝"

Durian技術(shù)的工作原理可以比作一個(gè)非常聰明的化妝師和攝影師的結(jié)合體。當(dāng)你給這個(gè)系統(tǒng)提供兩張照片時(shí)——一張是你想要修改的人物肖像，另一張是展示目標(biāo)屬性（比如某種發(fā)型或眼鏡）的參考圖片——它就能生成一段視頻，顯示這個(gè)人物帶著新屬性自然地做各種表情和動(dòng)作。

這個(gè)系統(tǒng)的核心是所謂的"雙重參考網(wǎng)絡(luò)"，可以想象成兩個(gè)專門的AI助手在同時(shí)工作。第一個(gè)助手專門負(fù)責(zé)理解和記住目標(biāo)屬性的特征，比如眼鏡的形狀、顏色和樣式；第二個(gè)助手則專注于保持原始人物的身份特征，確保換裝后的人還是同一個(gè)人。這兩個(gè)助手通過一種叫做"空間注意力"的機(jī)制進(jìn)行協(xié)作，就像兩個(gè)畫家在同一塊畫布上合作，一個(gè)負(fù)責(zé)細(xì)節(jié)，一個(gè)負(fù)責(zé)整體協(xié)調(diào)。

更令人驚訝的是，這個(gè)系統(tǒng)采用了一種創(chuàng)新的訓(xùn)練方法，研究團(tuán)隊(duì)稱之為"自重建訓(xùn)練"。傳統(tǒng)的方法需要大量的三元組數(shù)據(jù)——也就是原始照片、參考屬性圖片和最終效果圖的組合。但Durian巧妙地避開了這個(gè)問題，它的訓(xùn)練過程就像是讓AI玩一個(gè)"拆解重組"的游戲。系統(tǒng)從同一段視頻中隨機(jī)選擇兩幀，將其中一幀的某個(gè)屬性（比如頭發(fā)）提取出來作為參考，然后嘗試在另一幀上重建這個(gè)屬性。通過這種方式，AI學(xué)會(huì)了如何理解和轉(zhuǎn)移不同的面部屬性。

為了讓系統(tǒng)能夠處理各種不同大小和形狀的屬性，研究團(tuán)隊(duì)還開發(fā)了一種"掩碼擴(kuò)展策略"。就好比一個(gè)裁縫在做衣服時(shí)需要考慮不同身材的人一樣，這個(gè)策略讓AI能夠適應(yīng)從短發(fā)到長(zhǎng)發(fā)、從小眼鏡到大墨鏡等各種不同尺寸的屬性轉(zhuǎn)移需求。

二、訓(xùn)練過程：如何讓AI學(xué)會(huì)"見一知十"

Durian的訓(xùn)練過程采用了兩階段策略，就像培養(yǎng)一個(gè)演員需要先學(xué)基本功，再學(xué)復(fù)雜表演一樣。在第一階段，系統(tǒng)專注于學(xué)習(xí)如何處理單張圖片的屬性轉(zhuǎn)移，掌握空間特征的提取和融合技巧。第二階段則引入時(shí)間維度，讓系統(tǒng)學(xué)會(huì)如何保持視頻幀之間的連貫性和自然性。

訓(xùn)練數(shù)據(jù)來源于三個(gè)大型數(shù)據(jù)集：CelebV-Text、VFHQ和Nersemble，總共包含2747個(gè)視頻。這些視頻為系統(tǒng)提供了豐富的人臉變化樣本，就像給一個(gè)藝術(shù)學(xué)生提供了大量的參考資料一樣。

特別值得一提的是系統(tǒng)的"屬性感知掩碼擴(kuò)展"功能。在訓(xùn)練過程中，系統(tǒng)會(huì)智能地分析不同屬性的空間范圍。例如，當(dāng)處理頭發(fā)屬性時(shí)，系統(tǒng)會(huì)考慮到長(zhǎng)發(fā)比短發(fā)需要更大的空間，因此會(huì)相應(yīng)地調(diào)整處理區(qū)域。這種智能調(diào)整讓最終的效果更加自然，避免了屬性被截?cái)嗷蚩臻g分配不合理的問題。

為了提高系統(tǒng)的魯棒性，研究團(tuán)隊(duì)還加入了數(shù)據(jù)增強(qiáng)策略。這包括對(duì)輸入圖像進(jìn)行隨機(jī)的幾何變換（如旋轉(zhuǎn)、縮放、平移）以及顏色調(diào)整（如色調(diào)、對(duì)比度、飽和度的變化）。這些變化就像是讓AI在不同的光線條件和角度下練習(xí)，確保它在實(shí)際應(yīng)用中能夠處理各種現(xiàn)實(shí)情況。

三、推理框架：從靜態(tài)圖片到動(dòng)態(tài)視頻的神奇轉(zhuǎn)換

當(dāng)Durian系統(tǒng)正式工作時(shí)，它的推理過程可以比作一個(gè)專業(yè)的視頻制作流程。首先，系統(tǒng)會(huì)自動(dòng)分析輸入的屬性圖片和目標(biāo)肖像，使用先進(jìn)的分割算法識(shí)別出需要轉(zhuǎn)移的屬性區(qū)域。這個(gè)過程就像一個(gè)專業(yè)的圖像編輯師用精確的選擇工具圈出目標(biāo)區(qū)域一樣。

為了解決不同圖片間的空間對(duì)齊問題，系統(tǒng)采用了一種巧妙的3D頭像技術(shù)。它會(huì)基于屬性參考圖片構(gòu)建一個(gè)3D頭像模型，然后根據(jù)目標(biāo)肖像的姿態(tài)調(diào)整這個(gè)3D模型，確保屬性能夠準(zhǔn)確地映射到正確的位置。這就像是一個(gè)3D建模師根據(jù)不同的拍攝角度調(diào)整模型姿態(tài)一樣精確。

在生成動(dòng)態(tài)視頻時(shí)，系統(tǒng)依靠面部關(guān)鍵點(diǎn)序列來指導(dǎo)人物的動(dòng)作和表情變化。這些關(guān)鍵點(diǎn)就像是木偶戲中的操控線一樣，告訴系統(tǒng)如何讓人物自然地動(dòng)起來。系統(tǒng)會(huì)根據(jù)這些關(guān)鍵點(diǎn)的變化，相應(yīng)地調(diào)整屬性的位置和形狀，確保眼鏡不會(huì)在人物轉(zhuǎn)頭時(shí)錯(cuò)位，頭發(fā)不會(huì)在點(diǎn)頭時(shí)穿透臉部。

更令人印象深刻的是，Durian支持多屬性組合轉(zhuǎn)移。這意味著你可以同時(shí)給一個(gè)人添加新發(fā)型、眼鏡和胡須，系統(tǒng)會(huì)智能地處理這些屬性之間的相互關(guān)系。例如，當(dāng)帽子和頭發(fā)同時(shí)存在時(shí)，系統(tǒng)會(huì)合理地處理它們的遮擋關(guān)系，讓最終效果看起來自然可信。

四、實(shí)驗(yàn)結(jié)果：性能表現(xiàn)超越現(xiàn)有技術(shù)

研究團(tuán)隊(duì)在多個(gè)維度上對(duì)Durian進(jìn)行了全面評(píng)估，結(jié)果顯示這項(xiàng)技術(shù)在各項(xiàng)指標(biāo)上都明顯優(yōu)于現(xiàn)有方法。評(píng)估采用了標(biāo)準(zhǔn)的圖像質(zhì)量指標(biāo)，包括L1距離、峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）、感知圖像補(bǔ)丁相似性（LPIPS）和弗雷歇起始距離（FID）。

在與12種不同的基準(zhǔn)方法組合進(jìn)行對(duì)比時(shí)，Durian在所有指標(biāo)上都取得了最佳表現(xiàn)。具體來說，L1距離達(dá)到了0.0744（越低越好），PSNR為18.83（越高越好），SSIM為0.6527（越高越好），LPIPS為0.1565（越低越好），F(xiàn)ID為38.00（越低越好）。這些數(shù)字可能看起來很抽象，但簡(jiǎn)單來說，它們表明Durian生成的視頻在保真度、清晰度和自然度方面都明顯優(yōu)于其他方法。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融研究，分析了系統(tǒng)各個(gè)組件的重要性。結(jié)果顯示，雙重參考網(wǎng)絡(luò)架構(gòu)比單一參考網(wǎng)絡(luò)更有效，掩碼擴(kuò)展策略和圖像增強(qiáng)技術(shù)都對(duì)最終性能有顯著貢獻(xiàn)。有趣的是，完全使用原始圖像（不進(jìn)行掩碼處理）雖然在自重建任務(wù)上表現(xiàn)最好，但在跨身份轉(zhuǎn)移時(shí)會(huì)出現(xiàn)身份泄漏問題，這驗(yàn)證了掩碼策略的必要性。

五、實(shí)際應(yīng)用：從發(fā)型試戴到多元化妝試驗(yàn)

Durian技術(shù)的應(yīng)用前景非常廣闊，最直接的應(yīng)用就是虛擬試戴系統(tǒng)。用戶可以上傳自己的照片，然后選擇不同的發(fā)型、眼鏡或其他面部配飾，系統(tǒng)會(huì)生成一段視頻顯示用戶帶著這些新造型做各種表情和動(dòng)作的效果。這比傳統(tǒng)的靜態(tài)預(yù)覽圖片更加真實(shí)和有說服力。

除了單一屬性轉(zhuǎn)移，Durian還支持多屬性組合，這為更復(fù)雜的應(yīng)用場(chǎng)景開啟了可能性。例如，用戶可以同時(shí)嘗試新發(fā)型、眼鏡和胡須的搭配效果，系統(tǒng)會(huì)智能地處理這些屬性之間的相互關(guān)系，生成自然的組合效果。

研究團(tuán)隊(duì)還展示了屬性插值功能，這允許用戶在兩種不同的屬性之間進(jìn)行平滑過渡。比如，你可以看到從短發(fā)到長(zhǎng)發(fā)的漸變過程，或者從普通眼鏡到太陽鏡的變化。這種功能對(duì)于那些難以決定的用戶特別有用，他們可以通過觀察過渡過程找到最適合自己的樣式。

另一個(gè)有趣的應(yīng)用是文本到屬性的轉(zhuǎn)移。通過結(jié)合文本到圖像的生成模型，用戶可以通過自然語言描述想要的屬性效果，系統(tǒng)會(huì)先生成相應(yīng)的屬性圖片，然后將其轉(zhuǎn)移到目標(biāo)肖像上。這種方式讓整個(gè)過程更加直觀和用戶友好。

六、技術(shù)挑戰(zhàn)與局限性

盡管Durian取得了顯著的成功，但研究團(tuán)隊(duì)誠實(shí)地承認(rèn)了當(dāng)前技術(shù)的一些局限性。首先，在處理復(fù)雜的多屬性交互時(shí)，系統(tǒng)有時(shí)難以完美處理所有的遮擋關(guān)系。例如，當(dāng)帽子、頭發(fā)和眼鏡同時(shí)存在時(shí)，系統(tǒng)可能會(huì)在處理它們的相互遮擋方面出現(xiàn)小的瑕疵。

光照條件的差異也是一個(gè)挑戰(zhàn)。當(dāng)屬性參考圖片和目標(biāo)肖像在光照條件上差異很大時(shí)，生成的結(jié)果可能會(huì)出現(xiàn)光照不一致的問題。雖然訓(xùn)練中加入了顏色增強(qiáng)，但對(duì)于極端光照差異的情況，系統(tǒng)的處理能力仍有待提高。

另外，系統(tǒng)的訓(xùn)練數(shù)據(jù)主要包含正面或接近正面的人臉圖像，因此在處理極端角度（如側(cè)面或背面）的人臉時(shí)，效果可能不夠理想。這限制了系統(tǒng)在某些應(yīng)用場(chǎng)景下的表現(xiàn)。

系統(tǒng)對(duì)面部關(guān)鍵點(diǎn)檢測(cè)的依賴也帶來了一定的脆弱性。如果關(guān)鍵點(diǎn)檢測(cè)出現(xiàn)錯(cuò)誤，可能會(huì)導(dǎo)致生成視頻中出現(xiàn)抖動(dòng)或不自然的變形。這在處理低質(zhì)量輸入圖像或極端表情時(shí)尤為明顯。

七、未來發(fā)展方向與技術(shù)展望

Durian技術(shù)的成功開啟了許多令人興奮的研究方向。研究團(tuán)隊(duì)提到，未來可能會(huì)將這項(xiàng)技術(shù)擴(kuò)展到全身場(chǎng)景，不僅處理面部屬性，還能處理服裝、配飾等全身屬性的轉(zhuǎn)移。這將大大拓展技術(shù)的應(yīng)用范圍，從面部美容擴(kuò)展到整體造型設(shè)計(jì)。

另一個(gè)重要的發(fā)展方向是提高系統(tǒng)對(duì)極端姿態(tài)和光照條件的適應(yīng)能力。通過收集更多樣化的訓(xùn)練數(shù)據(jù)和改進(jìn)算法，未來的系統(tǒng)可能能夠處理各種角度和光照條件下的屬性轉(zhuǎn)移任務(wù)。

實(shí)時(shí)處理能力也是一個(gè)重要的發(fā)展目標(biāo)。當(dāng)前的系統(tǒng)需要一定的計(jì)算時(shí)間來生成視頻，如果能夠?qū)崿F(xiàn)實(shí)時(shí)或近實(shí)時(shí)的處理，將大大提升用戶體驗(yàn)，使得這項(xiàng)技術(shù)能夠應(yīng)用于直播、視頻會(huì)議等實(shí)時(shí)場(chǎng)景。

研究團(tuán)隊(duì)還計(jì)劃探索更精細(xì)的屬性控制功能。例如，不僅能夠轉(zhuǎn)移屬性的基本形狀和顏色，還能控制屬性的材質(zhì)、透明度等更細(xì)致的特征。這將為用戶提供更加豐富和個(gè)性化的定制選項(xiàng)。

人工智能倫理和安全問題也是未來需要重點(diǎn)關(guān)注的領(lǐng)域。隨著這類技術(shù)的成熟和普及，如何防止惡意使用、保護(hù)用戶隱私、確保生成內(nèi)容的可識(shí)別性等問題將變得越來越重要。

說到底，Durian技術(shù)代表了人工智能在圖像和視頻處理領(lǐng)域的一個(gè)重要突破。它不僅解決了長(zhǎng)期困擾研究者的技術(shù)難題，還為普通用戶提供了一個(gè)強(qiáng)大而易用的工具。雖然目前還存在一些局限性，但技術(shù)的快速發(fā)展讓我們有理由相信，在不遠(yuǎn)的將來，這樣的AI換裝技術(shù)將變得更加完美和普及。無論是幫助人們做造型決策，還是為創(chuàng)意產(chǎn)業(yè)提供新的工具，Durian都展示了人工智能技術(shù)改善我們生活的巨大潛力。對(duì)于那些想要深入了解技術(shù)細(xì)節(jié)的讀者，強(qiáng)烈建議訪問項(xiàng)目主頁https://hyunsoocha.github.io/durian查看更多演示和詳細(xì)信息。

Q&A

Q1：Durian技術(shù)具體能做什么？和普通的換臉技術(shù)有什么區(qū)別？

A：Durian技術(shù)可以給照片中的人換發(fā)型、戴眼鏡、加胡須等，最重要的是它能生成動(dòng)態(tài)視頻，讓人物自然地做表情和動(dòng)作。與普通換臉技術(shù)不同，Durian不改變?nèi)说纳矸?，只改變外觀屬性，而且能保持屬性在動(dòng)作中的自然變化，比如轉(zhuǎn)頭時(shí)眼鏡位置會(huì)相應(yīng)調(diào)整。

Q2：使用Durian需要什么樣的輸入材料？操作復(fù)雜嗎？

A：用戶只需要提供兩張照片：一張是想要修改的人物肖像，另一張是展示目標(biāo)屬性（如某種發(fā)型或眼鏡）的參考圖片。系統(tǒng)會(huì)自動(dòng)處理其余工作，包括屬性識(shí)別、空間對(duì)齊和視頻生成，用戶無需進(jìn)行復(fù)雜的手工標(biāo)注或參數(shù)調(diào)整。

Q3：Durian技術(shù)的準(zhǔn)確性如何？生成的視頻看起來真實(shí)嗎？

A：根據(jù)研究測(cè)試，Durian在多項(xiàng)評(píng)估指標(biāo)上都優(yōu)于現(xiàn)有技術(shù)，生成的視頻在保真度、清晰度和自然度方面表現(xiàn)出色。系統(tǒng)能夠智能處理屬性間的相互關(guān)系和遮擋效果，使最終結(jié)果看起來自然可信。不過在極端光照條件或特殊角度下可能還存在一些小瑕疵。