這項(xiàng)由南京大學(xué)人工智能學(xué)院的傅明昊和阿里巴巴國際數(shù)字商業(yè)集團(tuán)的王國華等研究人員共同完成的研究發(fā)表于2025年7月，論文題為"TeEFusion: Blending Text Embeddings to Distill Classifier-Free Guidance"。有興趣深入了解的讀者可以通過論文代碼庫github.com/AIDC-AI/TeEFusion訪問完整的研究成果。

當(dāng)下最先進(jìn)的AI繪畫系統(tǒng)就像一位極其挑剔的藝術(shù)家，為了創(chuàng)作出一幅完美的畫作，它需要反復(fù)思考、不斷修正。具體來說，這些系統(tǒng)會同時考慮兩個問題：一是"這幅畫應(yīng)該包含什么內(nèi)容"（根據(jù)你給出的文字描述），二是"這幅畫不應(yīng)該包含什么內(nèi)容"（避免生成無關(guān)或低質(zhì)量的內(nèi)容）。通過對比這兩種思考結(jié)果，系統(tǒng)最終能夠生成高質(zhì)量的圖像。

然而，這種"雙重思考"機(jī)制雖然效果出眾，卻帶來了一個嚴(yán)重問題：計(jì)算速度極其緩慢。每生成一幅圖像，系統(tǒng)都需要進(jìn)行兩次完整的計(jì)算過程，這就像一個人每做一個決定都要在心里反復(fù)權(quán)衡兩遍一樣費(fèi)時費(fèi)力。更糟糕的是，當(dāng)使用更復(fù)雜的優(yōu)化算法時，這種重復(fù)計(jì)算的負(fù)擔(dān)會進(jìn)一步加重，導(dǎo)致生成一幅圖像的時間成本高得令人難以接受。

為了解決這個問題，研究團(tuán)隊(duì)提出了一種名為TeEFusion（文本嵌入融合）的創(chuàng)新方法。這種方法的核心思想非常巧妙：既然"雙重思考"的本質(zhì)是將兩種不同的信息進(jìn)行對比和融合，那么為什么不在更早的階段就完成這種融合呢？就像一個經(jīng)驗(yàn)豐富的廚師能夠憑直覺調(diào)配出完美的調(diào)料比例，而不需要每次都分別嘗試每種調(diào)料的味道一樣。

TeEFusion的工作原理可以用一個簡單的比喻來理解。傳統(tǒng)方法就像兩個翻譯員分別翻譯同一段文字的正面含義和反面含義，然后將兩個翻譯結(jié)果進(jìn)行對比整合。而TeEFusion則相當(dāng)于訓(xùn)練出一個"超級翻譯員"，它能夠直接理解文字的完整含義，包括正面和反面的信息，從而一次性給出最佳的翻譯結(jié)果。

這種方法的技術(shù)實(shí)現(xiàn)非常優(yōu)雅。研究團(tuán)隊(duì)發(fā)現(xiàn)，在文本編碼的數(shù)學(xué)空間中，可以通過簡單的線性運(yùn)算來融合不同類型的語義信息。他們通過實(shí)驗(yàn)驗(yàn)證了這樣一個有趣的現(xiàn)象：當(dāng)你將描述某個概念的文本編碼與描述相關(guān)概念的文本編碼進(jìn)行數(shù)學(xué)運(yùn)算時，得到的結(jié)果能夠準(zhǔn)確表達(dá)這兩個概念的組合語義。這就像在顏料調(diào)色盤上，紅色顏料加上藍(lán)色顏料能夠自然地產(chǎn)生紫色一樣直觀。

基于這個發(fā)現(xiàn)，TeEFusion將傳統(tǒng)方法中后期的信息融合過程前移到了文本編碼階段。系統(tǒng)不再需要分別處理?xiàng)l件信息和無條件信息，而是直接處理融合后的綜合信息。這種設(shè)計(jì)不僅大大減少了計(jì)算量，還保持了原有的圖像生成質(zhì)量。

更令人印象深刻的是，TeEFusion能夠從使用復(fù)雜采樣策略的"教師模型"中學(xué)習(xí)經(jīng)驗(yàn)。這個過程類似于一個年輕廚師通過觀察資深大廚的烹飪過程，學(xué)會了如何用更簡單的方法做出同樣美味的菜肴。教師模型雖然烹飪過程復(fù)雜，但最終的成品質(zhì)量極高。學(xué)生模型通過學(xué)習(xí)這些高質(zhì)量的"成品"，掌握了用簡化流程制作類似水準(zhǔn)菜肴的技巧。

研究團(tuán)隊(duì)在多個權(quán)威數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)驗(yàn)證。他們測試了兩個大型的文本生成圖像模型：公開可用的SD3模型（擁有20億參數(shù)）和他們自主開發(fā)的專門針對電商場景優(yōu)化的In-house T2I模型（擁有10億參數(shù)）。實(shí)驗(yàn)結(jié)果顯示，TeEFusion在保持圖像質(zhì)量基本不變的前提下，將推理速度提升了6倍。

在美學(xué)質(zhì)量評估中，TeEFusion表現(xiàn)尤為出色。研究團(tuán)隊(duì)使用了HPS（人類偏好評分）這一廣泛認(rèn)可的評估標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)涵蓋了動漫、概念藝術(shù)、繪畫和攝影四個不同風(fēng)格類別，每個類別包含800個測試提示詞。結(jié)果顯示，TeEFusion不僅在所有類別中都超越了基線方法，甚至在某些情況下超越了使用復(fù)雜采樣策略的教師模型。

在物體構(gòu)圖能力測試中，研究團(tuán)隊(duì)使用了DPG-Bench基準(zhǔn)，該基準(zhǔn)包含1065個描述多個物體及其相互關(guān)系的復(fù)雜提示詞。TeEFusion在實(shí)體識別、屬性匹配、空間關(guān)系理解等多個維度都展現(xiàn)出了優(yōu)異的性能，證明了它不僅能夠快速生成圖像，還能準(zhǔn)確理解和表達(dá)復(fù)雜的視覺概念。

特別值得一提的是，TeEFusion在處理不同引導(dǎo)強(qiáng)度時表現(xiàn)出了良好的穩(wěn)定性和靈活性。引導(dǎo)強(qiáng)度可以理解為系統(tǒng)對文本描述的"重視程度"——數(shù)值越高，生成的圖像就越嚴(yán)格地遵循文本描述。傳統(tǒng)方法在高引導(dǎo)強(qiáng)度下容易出現(xiàn)圖像質(zhì)量下降或者生成失敗的問題，而TeEFusion能夠在廣泛的引導(dǎo)強(qiáng)度范圍內(nèi)保持穩(wěn)定的性能。

從實(shí)用角度來看，TeEFusion的優(yōu)勢非常明顯。對于需要大量圖像生成的應(yīng)用場景，比如電商平臺的商品展示、游戲開發(fā)中的素材制作、或者創(chuàng)意設(shè)計(jì)工作，6倍的速度提升意味著成本的大幅降低和效率的顯著提高。以往需要數(shù)小時才能完成的批量圖像生成任務(wù)，現(xiàn)在可能只需要幾十分鐘就能完成。

研究團(tuán)隊(duì)還進(jìn)行了深入的消融實(shí)驗(yàn)，驗(yàn)證了方法中每個組件的貢獻(xiàn)。他們發(fā)現(xiàn)，文本嵌入融合的核心思想確實(shí)是性能提升的關(guān)鍵因素。同時，他們還測試了從不同復(fù)雜度教師模型學(xué)習(xí)的效果，結(jié)果表明TeEFusion能夠有效地從任何高質(zhì)量的教師模型中學(xué)習(xí)，這為未來的擴(kuò)展應(yīng)用提供了廣闊的空間。

在訓(xùn)練效率方面，TeEFusion也展現(xiàn)出了令人滿意的表現(xiàn)。整個蒸餾訓(xùn)練過程在16塊A100 GPU上僅需4小時就能完成，這相比其他復(fù)雜的蒸餾方法來說是一個巨大的優(yōu)勢?？焖俚挠?xùn)練過程不僅降低了研究成本，也使得這種方法更容易被其他研究團(tuán)隊(duì)采用和改進(jìn)。

當(dāng)然，TeEFusion也存在一些限制。研究團(tuán)隊(duì)誠實(shí)地指出，該方法在處理某些語義上相互矛盾的描述時可能會出現(xiàn)困難，比如"冷火"或"不是貓"這樣的描述。這是因?yàn)槲谋厩度肴诤弦蕾囉谡Z義向量的線性組合，而矛盾概念的向量可能無法通過簡單的線性運(yùn)算得到合理的融合結(jié)果。

此外，雖然TeEFusion在大多數(shù)情況下能夠很好地保持圖像質(zhì)量，但在某些特定場景下，生成的圖像可能與教師模型的輸出存在細(xì)微差別。這種差別通常不會影響圖像的整體質(zhì)量和可用性，但對于要求極度精確的應(yīng)用場景來說，可能需要進(jìn)一步的優(yōu)化。

從技術(shù)發(fā)展的角度來看，TeEFusion代表了AI圖像生成領(lǐng)域的一個重要進(jìn)步方向。它不是通過增加模型復(fù)雜度或計(jì)算資源來提升性能，而是通過更智能的方法設(shè)計(jì)來實(shí)現(xiàn)效率和質(zhì)量的雙重優(yōu)化。這種思路對整個人工智能領(lǐng)域都具有啟發(fā)意義：有時候，解決問題的最佳方案不是"做得更多"，而是"做得更聰明"。

研究團(tuán)隊(duì)已經(jīng)將TeEFusion的代碼和預(yù)訓(xùn)練模型開放給學(xué)術(shù)界和工業(yè)界使用，這將有助于推動相關(guān)技術(shù)的進(jìn)一步發(fā)展?？梢灶A(yù)見，基于這項(xiàng)工作的改進(jìn)和擴(kuò)展研究將會陸續(xù)出現(xiàn)，進(jìn)一步推動AI圖像生成技術(shù)的實(shí)用化進(jìn)程。

說到底，TeEFusion解決的是一個非常實(shí)際的問題：如何讓AI繪畫系統(tǒng)既能保持高質(zhì)量，又能提高生成速度。通過巧妙的算法設(shè)計(jì)，研究團(tuán)隊(duì)找到了一個優(yōu)雅的解決方案。這項(xiàng)工作不僅在技術(shù)上具有創(chuàng)新性，在實(shí)用性方面也有著廣闊的應(yīng)用前景。對于普通用戶而言，這意味著未來的AI繪畫工具將會更加快速和便捷。對于開發(fā)者和研究人員來說，這提供了一個新的思路來平衡AI系統(tǒng)的性能和效率。

Q&A

Q1：TeEFusion具體是什么？它是如何工作的？ A：TeEFusion是一種讓AI繪畫系統(tǒng)變快的新方法。傳統(tǒng)AI繪畫需要"雙重思考"——同時考慮要畫什么和不要畫什么，然后對比兩個結(jié)果。TeEFusion則像訓(xùn)練一個"超級翻譯員"，能直接理解文字的完整含義，一次性給出最佳結(jié)果，從而將速度提升6倍。

Q2：這種方法會不會影響AI繪畫的質(zhì)量？ A：研究結(jié)果顯示基本不會。在多項(xiàng)測試中，TeEFusion生成的圖像質(zhì)量與傳統(tǒng)復(fù)雜方法基本相當(dāng)，在某些評估標(biāo)準(zhǔn)上甚至略有提升。這就像一個經(jīng)驗(yàn)豐富的廚師用簡化流程做出同樣美味的菜肴一樣。

Q3：普通用戶什么時候能用上這種技術(shù)？ A：研究團(tuán)隊(duì)已經(jīng)開源了代碼，技術(shù)公司可以直接采用。這意味著未來的AI繪畫應(yīng)用將會更快、更便宜。對于需要大量圖像生成的場景，比如電商、游戲開發(fā)等，這種6倍的速度提升將帶來顯著的成本節(jié)約。