這項由清華大學(xué)的夏翀、張勝軍、劉方福、劉暢、Khodchaphun Hirunyaratsameewong和段越旗（通訊作者）領(lǐng)導(dǎo)的研究發(fā)表于2025年7月25日，論文題目為"ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment"。有興趣深入了解的讀者可以通過arXiv:2507.19058v1 [cs.CV]訪問完整論文，項目主頁：https://xiac20.github.io/ScenePainter/。

你有沒有想過，如果有一天AI能像畫家一樣，僅僅從一張照片開始，就能為你畫出一整個連續(xù)的3D世界旅程？比如從一張森林小徑的照片開始，AI能為你展示沿著這條小徑一直走下去會看到什么樣的風(fēng)景 - 也許是一座古老的木橋，橋后是一片開闊的草地，草地盡頭又是另一片更加茂密的森林。而且這個過程可以無限延續(xù)下去，就像你真的在這個世界里漫步一樣。

清華大學(xué)的研究團(tuán)隊最近就開發(fā)出了這樣一個神奇的"場景畫家"系統(tǒng)，取名叫ScenePainter。這個系統(tǒng)能夠從一張普通的照片開始，為你生成一段連續(xù)且一致的3D場景序列，就像是為你量身定制了一部3D電影。更令人驚喜的是，這些生成的場景不僅在視覺上保持一致，還能展現(xiàn)出豐富的多樣性，避免了千篇一律的單調(diào)感。

要理解這項技術(shù)的突破性，我們可以把它比作連環(huán)畫創(chuàng)作。傳統(tǒng)的AI系統(tǒng)就像是一個健忘的畫家，每次畫新的一頁時都會忘記前面畫了什么，結(jié)果就是故事前后不搭調(diào) - 上一頁還是晴朗的夏日森林，下一頁可能就變成了雪花紛飛的冬日荒原。這種現(xiàn)象在學(xué)術(shù)界被稱為"語義漂移"問題，就像故事的主題在不知不覺中偏離了原來的軌道。

而ScenePainter就像是一個有著超強(qiáng)記憶力和理解力的畫家，它不僅記得每個場景的細(xì)節(jié)，還深刻理解場景中各種元素之間的關(guān)系。這個系統(tǒng)的核心創(chuàng)新在于引入了一個叫做"場景概念圖"的結(jié)構(gòu)，就像是為整個場景建立了一個詳細(xì)的"關(guān)系族譜"。在這個族譜里，系統(tǒng)會記錄下場景的整體風(fēng)格（比如是神秘的森林還是繁華的城市），各個區(qū)域之間的關(guān)系（比如湖泊和周圍山巒的空間布局），以及具體物體的特征（比如那棵特別的橡樹或者那座古老的石橋）。

**一、理解場景的"DNA密碼"**

ScenePainter的工作原理可以比作基因分析專家的工作方式。當(dāng)我們要了解一個人的特征時，基因?qū)＜視治鏊腄NA，從中讀取各種遺傳信息。同樣地，ScenePainter面對一個場景圖像時，也會進(jìn)行類似的"基因分析"，提取出這個場景的"DNA密碼"。

這個分析過程分為三個層次，就像解析一個家庭的族譜結(jié)構(gòu)一樣。最頂層是"家族長老"，代表整個場景的總體風(fēng)格和氛圍 - 是溫馨的鄉(xiāng)村小鎮(zhèn)，還是神秘的古代遺跡，或者是繁華的現(xiàn)代都市。中間層是"家族分支"，包含場景中的各個主要區(qū)域，比如一片森林、一條河流、一群建筑物等。最底層是"家族成員"，指的是場景中的具體物體，比如某一棵樹、某一朵云彩、某一扇窗戶等。

更重要的是，系統(tǒng)不僅識別這些元素，還會分析它們之間的關(guān)系。就像家族成員之間有著錯綜復(fù)雜的親戚關(guān)系一樣，場景中的各個元素也有著空間位置關(guān)系、風(fēng)格一致性關(guān)系、以及語義連接關(guān)系。比如，那座石橋不僅僅是一個獨立的物體，它還與下方的小溪、兩岸的樹木、遠(yuǎn)處的山峰形成了一個和諧的整體畫面。

為了讓AI真正"理解"這些關(guān)系，研究團(tuán)隊采用了一種巧妙的訓(xùn)練方法。他們讓AI系統(tǒng)反復(fù)練習(xí)一個任務(wù)：給定場景中某些元素及其關(guān)系，系統(tǒng)需要準(zhǔn)確地重建出對應(yīng)的圖像區(qū)域。這就像讓一個學(xué)畫畫的孩子通過不斷的臨摹練習(xí)來掌握各種繪畫技巧。通過這種方式，系統(tǒng)逐漸學(xué)會了如何準(zhǔn)確把握場景的精髓，為后續(xù)的場景擴(kuò)展奠定了堅實的基礎(chǔ)。

**二、場景擴(kuò)展的藝術(shù)**

有了對原始場景的深度理解，ScenePainter就可以開始它的"繪畫創(chuàng)作"了。這個過程就像是一個經(jīng)驗豐富的導(dǎo)游，帶著你在一個未知的世界里探險。每當(dāng)你想要看看前方或者轉(zhuǎn)個彎會有什么風(fēng)景時，這個AI導(dǎo)游都能為你描繪出合理且引人入勝的場景。

整個擴(kuò)展過程采用了經(jīng)典的"導(dǎo)航-想象"模式，可以比作拍攝一部VR電影的過程。首先，系統(tǒng)會根據(jù)預(yù)設(shè)的攝像機(jī)軌跡，將當(dāng)前的2D圖像"立體化"成3D空間中的點云或網(wǎng)格結(jié)構(gòu)，就像是為場景搭建了一個立體的舞臺。然后，從新的視角渲染出部分可見的場景，這時候畫面中通常會有一些空白區(qū)域，就像是舞臺上還沒有布景的地方。

關(guān)鍵的創(chuàng)新就在接下來的"補全"步驟。傳統(tǒng)方法就像是臨時請來的替補演員，雖然能填補空白，但往往與整體劇情格格不入。而ScenePainter則像是深度了解整個劇本的專業(yè)演員，它會根據(jù)之前建立的場景概念圖，確保新生成的內(nèi)容與整體場景保持高度一致。

比如說，如果原始場景是一個秋日的小鎮(zhèn)街道，那么當(dāng)攝像機(jī)向前移動時，新出現(xiàn)的建筑應(yīng)該保持相似的建筑風(fēng)格，街道兩旁應(yīng)該繼續(xù)是金黃色的秋葉，天空應(yīng)該保持那種秋日特有的清澈藍(lán)色。系統(tǒng)會像一個細(xì)心的藝術(shù)指導(dǎo)一樣，確保每一個新增的元素都符合整體的藝術(shù)風(fēng)格和邏輯連貫性。

更令人驚喜的是，ScenePainter還具備了"即興創(chuàng)作"的能力。在場景擴(kuò)展的過程中，系統(tǒng)可以根據(jù)用戶的指令動態(tài)地調(diào)整場景內(nèi)容。用戶可以說"我想看到一只小貓出現(xiàn)在窗臺上"，或者"讓這片森林變得更加神秘一些"，系統(tǒng)就會在保持整體一致性的前提下，巧妙地融入這些新的元素。這就像是一個既會嚴(yán)格按照劇本演出，又能根據(jù)觀眾反應(yīng)進(jìn)行即興表演的天才演員。

**三、技術(shù)創(chuàng)新的核心密碼**

ScenePainter的技術(shù)核心可以比作一套精密的"記憶傳承系統(tǒng)"。這個系統(tǒng)的巧妙之處在于，它不僅能夠記住場景的外觀特征，更重要的是能夠理解和傳承場景的"精神內(nèi)核"。

這種傳承是通過一種叫做"概念-關(guān)系對"的特殊編碼方式實現(xiàn)的。每當(dāng)系統(tǒng)識別出場景中的一個重要關(guān)系時，比如"古老的橡樹位于石橋左側(cè)，兩者共同營造出寧靜的鄉(xiāng)村氛圍"，它就會將這種關(guān)系轉(zhuǎn)化為一種特殊的"文本密碼"。這些密碼就像是場景的基因片段，包含了場景的核心信息。

訓(xùn)練過程采用了一種漸進(jìn)式的策略，類似于學(xué)習(xí)一門外語的過程。首先，系統(tǒng)學(xué)習(xí)如何理解單個詞匯（對應(yīng)于單個概念），然后學(xué)習(xí)如何理解句子結(jié)構(gòu)（對應(yīng)于概念間的關(guān)系），最后學(xué)習(xí)如何進(jìn)行創(chuàng)意表達(dá)（對應(yīng)于場景的創(chuàng)新擴(kuò)展）。在第一階段，系統(tǒng)專注于優(yōu)化這些文本編碼，確保它們能夠準(zhǔn)確地代表對應(yīng)的視覺內(nèi)容。在第二階段，系統(tǒng)會調(diào)整整個生成模型的參數(shù)，讓它能夠根據(jù)這些編碼生成高質(zhì)量的圖像。

為了確保生成質(zhì)量，研究團(tuán)隊設(shè)計了一套三重?fù)p失函數(shù)，就像是為系統(tǒng)配備了三個不同的"質(zhì)量檢查員"。第一個檢查員專注于重建質(zhì)量，確保生成的內(nèi)容在指定區(qū)域內(nèi)與原始場景高度一致。第二個檢查員關(guān)注風(fēng)格保持，確保新生成的內(nèi)容保持原始場景的整體風(fēng)格特征。第三個檢查員負(fù)責(zé)注意力對齊，確保系統(tǒng)在生成特定內(nèi)容時能夠正確地關(guān)注到相應(yīng)的圖像區(qū)域。

在場景擴(kuò)展階段，系統(tǒng)會動態(tài)地調(diào)整這個概念圖結(jié)構(gòu)。當(dāng)需要添加新元素時，系統(tǒng)會為其分配新的概念節(jié)點，并建立與現(xiàn)有概念的關(guān)系連接。當(dāng)需要修改現(xiàn)有元素時，系統(tǒng)會更新對應(yīng)的概念編碼。這個過程就像是在一個活的家族族譜中添加新成員或者更新成員信息，既保持了整體結(jié)構(gòu)的穩(wěn)定性，又允許了靈活的變化和發(fā)展。

**四、實驗驗證與效果展示**

為了驗證ScenePainter的效果，研究團(tuán)隊進(jìn)行了全方位的測試，就像是為一個新演員安排各種不同類型的角色試戲。他們收集了30個不同類型的場景，包括自然風(fēng)光、鄉(xiāng)村小鎮(zhèn)、繁華都市、室內(nèi)空間以及奇幻場景等，涵蓋了現(xiàn)實世界中最常見的各種環(huán)境類型。

在單圖像定制任務(wù)的測試中，ScenePainter展現(xiàn)出了出色的場景理解能力。與其他主流的定制化方法相比，比如InstantBooth、IP-Adapter、Custom Diffusion和Break-A-Scene，ScenePainter能夠更好地保持場景的整體特征和細(xì)節(jié)特色。其他方法往往要么過度修改了原始場景的特征，要么生成了與原場景過于相似的內(nèi)容，缺乏創(chuàng)新性。而ScenePainter就像是一個既尊重原作又有創(chuàng)新精神的藝術(shù)家，既保持了原始場景的核心特色，又能夠生成富有變化的新內(nèi)容。

在3D場景生成任務(wù)的比較中，ScenePainter的優(yōu)勢更加明顯。傳統(tǒng)方法如SceneScape雖然能夠保持一定的一致性，但生成的場景往往內(nèi)容單調(diào)，缺乏豐富的細(xì)節(jié)變化。WonderJourney雖然能夠生成多樣化的內(nèi)容，但經(jīng)常出現(xiàn)嚴(yán)重的語義漂移問題，就像是一個容易跑題的講故事的人，開始講森林探險，講著講著就變成了海底世界。

通過用戶調(diào)研的結(jié)果更是令人鼓舞。在視覺質(zhì)量方面，89.3%的用戶更偏好ScenePainter生成的場景；在多樣性方面，83.4%的用戶認(rèn)為ScenePainter的結(jié)果更加豐富有趣；在一致性方面，更是有高達(dá)92.6%的用戶認(rèn)為ScenePainter的表現(xiàn)更優(yōu)秀。這些數(shù)據(jù)就像是觀眾對一部電影的評分，清楚地表明了ScenePainter在各個方面的優(yōu)秀表現(xiàn)。

研究團(tuán)隊還展示了一些令人印象深刻的應(yīng)用案例。比如，從一張雨后街道的照片開始，ScenePainter能夠生成一段完整的街道漫步體驗，街道兩旁的建筑風(fēng)格保持一致，路面的積水反射效果自然延續(xù)，甚至連天空中云彩的形態(tài)都保持了合理的連續(xù)性。更有趣的是，用戶還可以通過簡單的文本指令來影響場景的發(fā)展，比如添加一些行人，改變某些建筑的顏色，或者讓場景逐漸過渡到不同的時間段。

**五、技術(shù)細(xì)節(jié)與實現(xiàn)方案**

ScenePainter的實現(xiàn)方案體現(xiàn)了研究團(tuán)隊在工程實踐方面的深厚功力。整個系統(tǒng)基于Stable Diffusion模型構(gòu)建，這就像是在一個成熟的繪畫工具基礎(chǔ)上開發(fā)專業(yè)的藝術(shù)創(chuàng)作軟件。為了實現(xiàn)精確的區(qū)域分割，系統(tǒng)集成了SAM（Segment Anything Model）分割模型，這相當(dāng)于為AI配備了一雙能夠精確識別物體邊界的"慧眼"。

訓(xùn)練過程采用了兩階段策略，整個過程的設(shè)計體現(xiàn)了研究團(tuán)隊對效率和效果平衡的深度思考。在概念關(guān)系構(gòu)建階段，系統(tǒng)首先通過文本反演方法訓(xùn)練文本編碼器，使用較小的學(xué)習(xí)率進(jìn)行400步迭代，這個過程大約需要5分鐘。然后采用DreamBooth方法對整個擴(kuò)散模型進(jìn)行微調(diào)，同樣進(jìn)行400步訓(xùn)練。這種漸進(jìn)式的訓(xùn)練策略就像是學(xué)習(xí)一門藝術(shù)技能的過程，先掌握基礎(chǔ)理論，再進(jìn)行實踐練習(xí)。

在概念關(guān)系優(yōu)化階段，為了保證實時性能，系統(tǒng)只需要進(jìn)行50步的快速調(diào)整，整個過程僅需25秒就能完成。這種設(shè)計使得用戶可以在場景擴(kuò)展過程中實時地添加新的元素或者修改現(xiàn)有內(nèi)容，大大提升了系統(tǒng)的實用性和交互體驗。

整個系統(tǒng)在單個NVIDIA A6000 GPU上就能流暢運行，這意味著這項技術(shù)已經(jīng)具備了實際應(yīng)用的硬件條件。相比于一些需要大量計算資源的AI系統(tǒng)，ScenePainter在保證高質(zhì)量輸出的同時，也考慮了實際部署的可行性。

為了將文本到圖像生成模型轉(zhuǎn)換為場景擴(kuò)展模型，研究團(tuán)隊采用了Blended Latent Diffusion技術(shù)。這種轉(zhuǎn)換就像是將一個專業(yè)的肖像畫家培訓(xùn)成能夠繪制連續(xù)漫畫的插畫師，需要在保持原有繪畫技能的基礎(chǔ)上，增加對場景連續(xù)性和一致性的把握能力。

**六、深度分析與啟示意義**

ScenePainter的成功不僅僅是一個技術(shù)突破，更像是打開了通向數(shù)字世界創(chuàng)作新紀(jì)元的大門。這項技術(shù)的意義可以從多個維度來理解。

從技術(shù)發(fā)展的角度來看，ScenePainter代表了AI系統(tǒng)從"模仿者"向"創(chuàng)作者"的重要轉(zhuǎn)變。傳統(tǒng)的AI系統(tǒng)往往只能完成單一的任務(wù)，比如識別圖像中的物體，或者根據(jù)描述生成一張圖片。而ScenePainter展現(xiàn)了AI系統(tǒng)進(jìn)行復(fù)雜創(chuàng)意工作的能力，它不僅要理解靜態(tài)的視覺內(nèi)容，還要把握動態(tài)的空間關(guān)系和時間連續(xù)性。這就像是從會背誦詩歌的學(xué)生進(jìn)化成了能夠即興創(chuàng)作的詩人。

從應(yīng)用前景的角度來看，這項技術(shù)可能會revolutionize多個行業(yè)領(lǐng)域。在游戲開發(fā)領(lǐng)域，ScenePainter可以幫助開發(fā)者快速生成大規(guī)模的游戲世界，大大降低內(nèi)容創(chuàng)作的成本和時間。在電影制作領(lǐng)域，導(dǎo)演可以用這項技術(shù)快速預(yù)覽不同的場景設(shè)計方案，或者為動畫電影生成連續(xù)的背景場景。在建筑設(shè)計和城市規(guī)劃領(lǐng)域，專業(yè)人士可以用這項技術(shù)來可視化不同的設(shè)計方案，幫助客戶更好地理解設(shè)計意圖。

更有趣的是，ScenePainter還可能開啟全新的娛樂和教育方式。普通用戶可以用一張照片作為起點，創(chuàng)造屬于自己的虛擬世界探險之旅。教育工作者可以利用這項技術(shù)來創(chuàng)建沉浸式的學(xué)習(xí)環(huán)境，比如讓學(xué)生"參觀"古代羅馬城市，或者"探索"深海世界。這種技術(shù)讓創(chuàng)意表達(dá)變得更加民主化，每個人都可能成為數(shù)字世界的建筑師。

從學(xué)術(shù)研究的角度來看，ScenePainter為場景級別的AI理解和生成開辟了新的研究方向。傳統(tǒng)的計算機(jī)視覺研究主要關(guān)注物體級別的識別和生成，而這項工作證明了AI系統(tǒng)在理解和創(chuàng)造復(fù)雜場景關(guān)系方面的巨大潛力。這可能會催生更多關(guān)于空間智能、場景理解和創(chuàng)意生成的研究工作。

研究團(tuán)隊通過詳細(xì)的消融實驗驗證了系統(tǒng)各個組件的重要性。實驗結(jié)果顯示，去除重建損失會導(dǎo)致視覺質(zhì)量顯著下降，去除先驗保持損失會影響內(nèi)容的多樣性，去除注意力對齊損失則會導(dǎo)致物體分布的混亂。這些發(fā)現(xiàn)不僅驗證了設(shè)計方案的合理性，也為后續(xù)的改進(jìn)工作提供了明確的方向。

同時，對場景概念圖結(jié)構(gòu)的分析也揭示了有趣的洞察。去除第一層概念（整體環(huán)境）會導(dǎo)致風(fēng)格轉(zhuǎn)移問題，去除第三層概念（具體物體）會導(dǎo)致過度擬合，去除關(guān)系連接則會產(chǎn)生混亂的幾何結(jié)構(gòu)。這些發(fā)現(xiàn)深化了我們對場景理解層次性的認(rèn)識，也為構(gòu)建更加智能的場景理解系統(tǒng)提供了寶貴的經(jīng)驗。

說到底，ScenePainter代表的不僅僅是一個技術(shù)工具的進(jìn)步，更像是人工智能向著真正理解和創(chuàng)造視覺世界邁出的重要一步。它展示了AI系統(tǒng)在處理復(fù)雜創(chuàng)意任務(wù)時的巨大潛力，也預(yù)示著未來數(shù)字內(nèi)容創(chuàng)作可能發(fā)生的深刻變化。雖然目前這項技術(shù)還處于研究階段，但它所展現(xiàn)的能力已經(jīng)讓我們看到了一個充滿可能性的未來，在那個未來里，人工智能將成為我們探索和創(chuàng)造數(shù)字世界的得力助手。

當(dāng)然，這項技術(shù)也面臨著一些挑戰(zhàn)和限制。比如，生成的場景質(zhì)量很大程度上依賴于初始圖像的質(zhì)量和復(fù)雜度，對于過于簡單或者過于復(fù)雜的場景，系統(tǒng)的表現(xiàn)可能不夠理想。此外，長距離的場景擴(kuò)展仍然可能出現(xiàn)累積誤差，特別是在處理大幅度視角變化的情況下。這些問題為未來的研究工作指明了方向，也提醒我們在應(yīng)用這項技術(shù)時需要考慮其適用范圍和限制條件。

不管怎樣，ScenePainter為我們打開了一扇通向數(shù)字創(chuàng)意新世界的大門，讓我們對人工智能在藝術(shù)創(chuàng)作和內(nèi)容生成領(lǐng)域的未來充滿了期待。隨著技術(shù)的不斷完善和優(yōu)化，我們有理由相信，這樣的AI創(chuàng)作工具將會變得越來越強(qiáng)大，也越來越容易被普通用戶使用，最終真正實現(xiàn)讓每個人都能成為數(shù)字世界創(chuàng)造者的美好愿景。

Q&A

Q1：ScenePainter是什么？它能做什么？ A：ScenePainter是清華大學(xué)開發(fā)的AI系統(tǒng)，能夠從一張普通照片開始，生成連續(xù)一致的3D場景序列。就像一個AI畫家，它不僅能擴(kuò)展場景，還能保持前后的風(fēng)格統(tǒng)一，避免傳統(tǒng)AI容易出現(xiàn)的"畫風(fēng)突變"問題，可以用于游戲開發(fā)、電影制作等領(lǐng)域。

Q2：這個技術(shù)會不會取代人工的場景設(shè)計師？ A：目前不會完全取代，更像是為設(shè)計師提供了一個強(qiáng)大的輔助工具。ScenePainter能夠快速生成場景草圖和創(chuàng)意方案，但最終的藝術(shù)判斷、創(chuàng)意指導(dǎo)和細(xì)節(jié)優(yōu)化仍然需要人工完成。它更像是讓設(shè)計師從繁重的基礎(chǔ)工作中解放出來，專注于更有創(chuàng)意的部分。

Q3：普通人可以使用ScenePainter嗎？ A：目前這項技術(shù)還處于研究階段，普通用戶暫時無法直接使用。不過研究團(tuán)隊已經(jīng)公開了項目主頁（https://xiac20.github.io/ScenePainter/），未來隨著技術(shù)成熟，很可能會開發(fā)出面向普通用戶的應(yīng)用工具，讓每個人都能創(chuàng)造屬于自己的數(shù)字世界。