這項由香港科技大學(xué)方川、李恒、梁藝恂等研究人員與Manycore Tech Inc.公司合作完成的研究發(fā)表于2025年9月，論文編號為arXiv:2509.14981v2。有興趣深入了解的讀者可以通過該編號查詢完整論文。

想象一下，你只需要對著電腦說"我想要一個現(xiàn)代簡約風格的客廳"，幾分鐘后，一個完整的3D房間就出現(xiàn)在屏幕上，不僅看起來逼真得像真實拍攝的照片，而且你還能在里面自由"走動"，從各個角度欣賞房間的每一個細節(jié)。這聽起來像科幻電影里的情節(jié)，但香港科技大學(xué)的研究團隊已經(jīng)把它變成了現(xiàn)實。

這項名為SpatialGen的技術(shù)就像是一個超級智能的室內(nèi)設(shè)計師，它不僅能理解你的文字描述，還能根據(jù)房間的基本布局信息，生成出令人驚嘆的3D室內(nèi)場景。更神奇的是，你甚至可以給它看一張照片，它就能以此為靈感，創(chuàng)造出風格相似但布局完全不同的新房間。

傳統(tǒng)的3D建模就像手工雕刻一樣，需要設(shè)計師花費大量時間精心制作每一個細節(jié)。而現(xiàn)在的一些自動生成方法雖然能節(jié)省時間，但生成的場景往往看起來很假，要么像是用積木搭建的玩具房間，要么在不同角度觀看時會出現(xiàn)奇怪的變形。SpatialGen的突破在于它找到了一個巧妙的平衡點：既保持了照片般的真實感，又確保了從任何角度看都完全合理。

為了訓(xùn)練這個"超級設(shè)計師"，研究團隊收集了一個規(guī)模龐大的數(shù)據(jù)集，包含12328個不同的場景、57440個房間和470萬張高質(zhì)量的全景圖像。這就像是給AI看了幾百萬個真實房間的照片，讓它學(xué)會了什么樣的房間布局是合理的，什么樣的裝修風格是協(xié)調(diào)的。

一、解決室內(nèi)設(shè)計的三大難題

室內(nèi)設(shè)計領(lǐng)域長期面臨著一個棘手的三角難題，就像是要在蹺蹺板的三個支點之間找到完美平衡。第一個支點是真實感，也就是生成的場景要看起來像真實拍攝的照片，而不是明顯的電腦制作痕跡。第二個支點是多樣性，意味著系統(tǒng)不能總是生成相似的房間，而要能創(chuàng)造出各種不同風格和布局的空間。第三個支點是用戶控制，用戶需要能夠指定自己想要的風格、布局或特定元素。

傳統(tǒng)的程序化建模方法就像是按照固定食譜做菜的廚師，雖然能做出看起來很棒的菜品，但菜單永遠是那幾道，缺乏創(chuàng)新和變化。這些方法使用預(yù)設(shè)的規(guī)則和幾何約束來生成場景，確實能產(chǎn)生非常逼真和物理合理的室內(nèi)環(huán)境，但生成的場景往往大同小異，缺乏創(chuàng)意和多樣性。

相比之下，最新的3D生成方法就像是剛學(xué)會做菜的新手廚師，雖然敢于嘗試各種新奇的組合，但往往做出來的菜品看起來就不太對勁。這些方法可以自動生成場景布局或其他3D表示，但由于缺乏足夠的訓(xùn)練數(shù)據(jù)，生成的結(jié)果在布局合理性和外觀真實感方面都存在明顯不足。

基于圖像的方法則找到了一個中間路徑，它們就像是善于模仿的廚師，通過學(xué)習(xí)大量成功菜品的照片來改進自己的技藝。這些方法利用強大的2D圖像生成模型來創(chuàng)建全景圖或多視角圖像，然后通過3D重建技術(shù)將這些圖像轉(zhuǎn)換為3D場景。由于能夠利用在大量圖像數(shù)據(jù)上訓(xùn)練的強大模型，這些方法在真實感和多樣性之間取得了更好的平衡。

然而，基于圖像的方法面臨著一個新的挑戰(zhàn)：多視角語義一致性。簡單來說，就是當你從不同角度觀看同一個房間時，所有的物品和布局都應(yīng)該保持一致，不能出現(xiàn)從正面看是沙發(fā)，從側(cè)面看卻變成了桌子的情況。雖然最近的視頻生成技術(shù)在時間連貫性方面有所改進，但在探索超出輸入視角的區(qū)域時，要保持語義一致性仍然是一個巨大挑戰(zhàn)。

為了解決這些問題，研究人員引入了3D語義布局作為先驗信息來指導(dǎo)生成過程。這就像是給廚師提供了一張詳細的食材清單和基本的擺盤指導(dǎo)，讓他們在創(chuàng)作時有據(jù)可依。然而，由于缺乏大規(guī)模的配對3D布局和圖像數(shù)據(jù)集，現(xiàn)有的布局條件方法不得不采用兩種妥協(xié)策略。

第一種策略是分數(shù)蒸餾方法，這就像是讓一個從未真正做過菜的人通過看菜譜來指導(dǎo)廚師做菜。這種方法直接從強大的2D預(yù)訓(xùn)練模型中提取知識來創(chuàng)建3D內(nèi)容，避免了對大規(guī)模訓(xùn)練數(shù)據(jù)的需求。但由于SDS方法本身的局限性，生成的結(jié)果往往存在嚴重的視覺偽影，比如過度飽和、缺乏細節(jié)等問題。

第二種策略是全景代理方法，這種方法就像是只會做一道菜的專業(yè)廚師，雖然這道菜做得很好，但適用范圍有限。這些方法利用全景圖像數(shù)據(jù)集進行訓(xùn)練，因為全景數(shù)據(jù)集相對容易獲得且標注豐富。然而，由于全景圖像是在固定攝像機位置拍攝的，基于這些數(shù)據(jù)訓(xùn)練的模型在推廣到新視角時能力有限，限制了它們在實際應(yīng)用中的效果。

二、構(gòu)建史上最大室內(nèi)場景數(shù)據(jù)集

要訓(xùn)練一個能夠生成高質(zhì)量3D室內(nèi)場景的AI系統(tǒng)，就像培養(yǎng)一個優(yōu)秀的室內(nèi)設(shè)計師一樣，需要讓它見識足夠多的優(yōu)秀設(shè)計案例。研究團隊面臨的第一個挑戰(zhàn)就是現(xiàn)有數(shù)據(jù)集的局限性?，F(xiàn)實世界的數(shù)據(jù)集雖然提供了真實的外觀觀察，但收集和標注這些數(shù)據(jù)需要大量的成本和人力投入。而合成數(shù)據(jù)集雖然能夠提供豐富的標注信息，但在場景多樣性或攝像機視角方面仍有限制。

為了解決這個問題，研究團隊決定從零開始構(gòu)建一個全新的大規(guī)模數(shù)據(jù)集。他們從一個在線室內(nèi)設(shè)計平臺獲取了大量專業(yè)設(shè)計師創(chuàng)作的房屋設(shè)計，這些設(shè)計大多是為實際生產(chǎn)而創(chuàng)建的真實項目。這就像是收集了全世界最優(yōu)秀設(shè)計師的作品集，為AI提供了豐富的學(xué)習(xí)素材。

數(shù)據(jù)收集過程就像是精心策劃的攝影之旅。研究團隊為每個場景創(chuàng)建了物理上合理的攝像機軌跡，這些軌跡能夠在場景中平滑導(dǎo)航，同時避開障礙物。攝像機每隔0.5米進行一次采樣，確保對空間的全面覆蓋。在每個視點，他們使用業(yè)界領(lǐng)先的渲染引擎生成逼真的全景渲染圖，捕獲顏色、深度、法線、語義和實例分割等多種信息。

為了確保數(shù)據(jù)質(zhì)量和多樣性，研究團隊實施了嚴格的篩選標準。他們根據(jù)專業(yè)設(shè)計師評級、渲染數(shù)量、總建筑面積和獨特物體數(shù)量等四個關(guān)鍵標準來選擇場景。然后，他們從每個選定場景中提取單獨的房間，并應(yīng)用額外的過濾器，只保留那些建筑面積大于8平方米且包含3個以上獨特物體的房間。這個過程就像是從海量的設(shè)計作品中精選出最具代表性和教育價值的樣本。

最終的數(shù)據(jù)集規(guī)模令人印象深刻：12328個不同場景，57440個獨立房間，470萬張逼真的全景渲染圖。數(shù)據(jù)集涵蓋了各種房間類型，包括12592個客廳和餐廳、2179個客廳、2524個書房、8540個廚房、8460個浴室、1464個陽臺、9049個主臥室、8603個次臥室、2793個兒童房和4418個其他房間類型。這種多樣性確保了AI系統(tǒng)能夠?qū)W習(xí)到各種不同類型空間的設(shè)計規(guī)律。

在物體類別方面，原始在線設(shè)計最初包含大約65000個物體類別。研究團隊過濾掉了室內(nèi)設(shè)計特有的小眾物體類別，并將剩余物體映射到ADE20K的62個常見類別。他們還根據(jù)嚴格的標準篩選物體邊界框：丟棄房間布局外的物體，排除任何邊長短于0.1米或長于1.8米的物體。這個過程產(chǎn)生了總計1046637個物體邊界框，為AI提供了豐富的物體識別和布局學(xué)習(xí)素材。

三、革命性的多視角多模態(tài)生成技術(shù)

SpatialGen的核心技術(shù)就像是一個具有超強空間想象力的設(shè)計師，它不僅能理解文字描述和參考圖像，還能同時處理多種不同類型的信息。傳統(tǒng)的方法往往只能處理單一類型的輸入，比如只能理解文字或只能分析圖像，而SpatialGen則能夠同時理解和生成RGB彩色圖像、場景坐標圖和語義分割圖三種不同的表示方式。

這種多模態(tài)處理能力的關(guān)鍵在于一個創(chuàng)新的交替注意力機制。這個機制就像是一個經(jīng)驗豐富的指揮家，能夠協(xié)調(diào)不同樂器組之間的配合。它通過兩種互補的注意力路徑來工作：跨視角注意力和跨模態(tài)注意力?？缫暯亲⒁饬ω撠熖幚聿煌暯侵g的信息整合，確保從不同角度看到的同一個物體保持一致。跨模態(tài)注意力則在每個視角內(nèi)部工作，協(xié)調(diào)顏色、幾何和語義信息之間的精確對齊。

為了處理場景坐標圖這種特殊的幾何信息，研究團隊開發(fā)了一個專門的場景坐標圖變分自編碼器（SCM-VAE）。標準的圖像VAE雖然在RGB圖像和語義圖上表現(xiàn)良好，但在重建場景坐標圖時會失敗，導(dǎo)致幾何保真度差。SCM-VAE通過引入額外的幾何特定損失函數(shù)來解決這個問題，包括多尺度梯度損失來改善解碼場景坐標圖中的邊界清晰度。

整個生成過程采用了迭代密集視角生成策略，這就像是逐步完善一幅巨大拼圖的過程。由于GPU內(nèi)存限制，系統(tǒng)無法一次生成所有視角的圖像，因此采用增量方式維護場景的全局彩色點云，以確保迭代之間的外觀一致性。在每次迭代中，點云被投影到目標視角上，為一致生成提供像素對齊的指導(dǎo)。通過結(jié)合不確定性圖，系統(tǒng)還能過濾掉不確定性低于預(yù)定閾值的3D點，產(chǎn)生更清晰的變形圖像。

四、從2D圖像到3D場景的神奇轉(zhuǎn)換

生成了多視角的圖像后，SpatialGen需要將這些2D圖像重建為完整的3D場景，這個過程就像是考古學(xué)家根據(jù)發(fā)掘出的文物碎片重建古代建筑的全貌。系統(tǒng)采用了基于RaDe-GS的3D重建方法，這是一種先進的3D高斯濺射技術(shù)，能夠從密集生成的顏色、幾何和語義圖像中重建出3D場景表示。

這個重建過程的巧妙之處在于它不僅重建了場景的外觀，還保留了語義信息。系統(tǒng)為每個3D高斯點增加了語義特征，這意味著重建出的3D場景不僅知道每個位置的顏色和形狀，還知道那里放的是什么物體。場景從預(yù)測的點云開始初始化，然后在可微分渲染優(yōu)化過程中，利用預(yù)測的場景坐標圖進行深度監(jiān)督，使得系統(tǒng)能夠在僅僅7000步內(nèi)快速收斂。

最終生成的3D場景具有高保真度的RGB渲染和幾何精確的深度重建能力。用戶可以在這個虛擬環(huán)境中自由移動視角，就像在真實房間中走動一樣，從任何角度觀看都能看到合理且一致的場景內(nèi)容。這種能力為虛擬現(xiàn)實、增強現(xiàn)實、室內(nèi)設(shè)計和機器人仿真等應(yīng)用開辟了新的可能性。

五、全面超越現(xiàn)有技術(shù)的實驗驗證

為了驗證SpatialGen的性能，研究團隊設(shè)計了一系列全面的實驗，就像是對新產(chǎn)品進行嚴格的質(zhì)量檢測。他們不僅在自己構(gòu)建的數(shù)據(jù)集上進行測試，還在現(xiàn)有的標準數(shù)據(jù)集如Hypersim和Structured3D上進行了對比實驗。

在文本到3D場景生成任務(wù)中，SpatialGen與兩類主要的競爭方法進行了比較。第一類是分數(shù)蒸餾方法，包括Set-the-Scene和SceneCraft。實驗結(jié)果顯示，當僅在Hypersim數(shù)據(jù)集上訓(xùn)練時，SpatialGen的表現(xiàn)略遜于SceneCraft，這主要是因為Hypersim數(shù)據(jù)集規(guī)模太小，無法充分發(fā)揮強大的多視角擴散模型的潛力。然而，當在Hypersim和新數(shù)據(jù)集的組合上訓(xùn)練時，SpatialGen在所有指標上都超越了SDS方法，特別是在圖像獎勵分數(shù)上取得了顯著提升，驗證了大規(guī)模數(shù)據(jù)集對高質(zhì)量3D場景生成的重要性。

第二類競爭方法是全景代理方法，以Ctrl-Room為代表。在Structured3D數(shù)據(jù)集上，SpatialGen取得了具有競爭力的性能，雖然分數(shù)相對較低，但這是可以理解的，因為Ctrl-Room專門針對固定攝像機位置的單一全景圖合成進行了優(yōu)化。然而，SpatialGen的關(guān)鍵優(yōu)勢在于它不局限于單一攝像機位置，能夠?qū)崿F(xiàn)高質(zhì)量的全景生成，同時還支持逼真的新視角合成。

在圖像到3D場景生成實驗中，研究團隊設(shè)計了四種不同的攝像機軌跡來測試系統(tǒng)的生成能力：前進軌跡模擬穩(wěn)定的攝像機運動，內(nèi)向軌道確保輸入和輸出視角都朝向房間中心，外向軌道中輸入和輸出視角位于相同位置但朝向不同，隨機游走軌跡中輸入和輸出視角從連續(xù)的隨機游走路徑中采樣。實驗結(jié)果表明，在所有軌跡下，語義布局都顯著改善了結(jié)果，特別是FID分數(shù)的提升表明帶有布局指導(dǎo)的方法能夠更有效地捕獲潛在的數(shù)據(jù)分布。

六、技術(shù)創(chuàng)新的深層價值與廣闊前景

SpatialGen的技術(shù)突破不僅僅是一個學(xué)術(shù)成果，它代表了人工智能在創(chuàng)意設(shè)計領(lǐng)域的一次重要跨越。這項技術(shù)的價值就像是給每個人都配備了一個專業(yè)的室內(nèi)設(shè)計師，無論是普通消費者想要重新裝修自己的家，還是專業(yè)設(shè)計師需要快速生成設(shè)計方案，都能從中受益。

對于室內(nèi)設(shè)計行業(yè)而言，SpatialGen可能會帶來革命性的變化。傳統(tǒng)的設(shè)計流程往往需要設(shè)計師花費大量時間制作效果圖和3D模型，而現(xiàn)在只需要簡單的文字描述或參考圖片，就能在幾分鐘內(nèi)生成高質(zhì)量的3D場景。這不僅大大提高了設(shè)計效率，還降低了設(shè)計成本，使得高質(zhì)量的室內(nèi)設(shè)計服務(wù)能夠惠及更多普通消費者。

在虛擬現(xiàn)實和增強現(xiàn)實領(lǐng)域，SpatialGen為內(nèi)容創(chuàng)作提供了強大的工具。游戲開發(fā)者可以快速生成各種室內(nèi)環(huán)境，電影制作人可以創(chuàng)建虛擬場景進行預(yù)覽，教育工作者可以構(gòu)建沉浸式的學(xué)習(xí)環(huán)境。這種技術(shù)的普及將大大降低VR/AR內(nèi)容的制作門檻，推動這些技術(shù)在更多領(lǐng)域的應(yīng)用。

對于機器人研究而言，SpatialGen提供了生成多樣化訓(xùn)練環(huán)境的新途徑。研究人員可以快速創(chuàng)建各種室內(nèi)場景來訓(xùn)練導(dǎo)航算法、物體識別系統(tǒng)和人機交互模型。這種能力對于推進家庭服務(wù)機器人、清潔機器人和陪伴機器人的發(fā)展具有重要意義。

然而，這項技術(shù)也面臨著一些挑戰(zhàn)和限制。跨視角和跨模態(tài)注意力機制雖然提高了生成質(zhì)量，但也增加了計算成本，限制了系統(tǒng)一次能夠生成的圖像數(shù)量。此外，攝像機采樣策略可能會影響生成質(zhì)量，這需要在未來的研究中進一步優(yōu)化。

研究團隊已經(jīng)將數(shù)據(jù)集和模型開源，這為學(xué)術(shù)界和工業(yè)界的進一步研究提供了寶貴資源。這種開放的態(tài)度不僅能夠加速技術(shù)的發(fā)展，還能促進更多創(chuàng)新應(yīng)用的出現(xiàn)。我們可以預(yù)期，在不久的將來，基于SpatialGen技術(shù)的各種應(yīng)用將會涌現(xiàn)，從簡單的家裝設(shè)計工具到復(fù)雜的虛擬世界構(gòu)建平臺。

說到底，SpatialGen代表了人工智能技術(shù)在理解和創(chuàng)造三維空間方面的重大進步。它不僅解決了現(xiàn)有技術(shù)在真實感、多樣性和用戶控制之間的平衡問題，還為未來的研究指明了方向。隨著計算能力的不斷提升和算法的進一步優(yōu)化，我們有理由相信，這種技術(shù)將會變得更加強大和易用，最終改變我們設(shè)計、體驗和交互三維空間的方式。對于那些對這項技術(shù)感興趣的讀者，可以通過論文編號arXiv:2509.14981v2查詢完整的技術(shù)細節(jié)和實驗結(jié)果。

Q&A

Q1：SpatialGen技術(shù)是如何工作的？它需要什么樣的輸入？
A：SpatialGen就像一個智能室內(nèi)設(shè)計師，它需要兩種主要輸入：一個3D房間布局（告訴它房間的基本結(jié)構(gòu)和物品位置）和一個參考信息（可以是文字描述如"現(xiàn)代簡約客廳"，也可以是一張圖片）。系統(tǒng)會根據(jù)這些信息生成多個角度的房間圖像，然后將這些2D圖像重建成完整的3D場景，用戶可以在其中自由移動視角觀看。

Q2：這項技術(shù)相比傳統(tǒng)的3D建模有什么優(yōu)勢？
A：傳統(tǒng)3D建模就像手工雕刻，需要設(shè)計師花費大量時間精心制作每個細節(jié)。而SpatialGen能在幾分鐘內(nèi)自動生成高質(zhì)量的3D室內(nèi)場景，不僅大大提高了效率，還能保證生成的場景從任何角度看都真實合理。更重要的是，它能根據(jù)簡單的文字描述或圖片生成多樣化的設(shè)計方案，為用戶提供了前所未有的創(chuàng)作自由度。

Q3：SpatialGen生成的3D場景能用在哪些實際應(yīng)用中？
A：這項技術(shù)的應(yīng)用前景非常廣闊。在室內(nèi)設(shè)計領(lǐng)域，可以幫助設(shè)計師快速生成效果圖和方案預(yù)覽；在游戲和影視制作中，可以快速創(chuàng)建各種室內(nèi)場景；在VR/AR應(yīng)用中，可以構(gòu)建沉浸式的虛擬環(huán)境；在機器人研究中，可以生成多樣化的訓(xùn)練環(huán)境；對于普通消費者，未來可能通過手機應(yīng)用就能設(shè)計自己的理想家居空間。