在數(shù)字內(nèi)容創(chuàng)作領(lǐng)域，一項(xiàng)來(lái)自中國(guó)浙江大學(xué)和西湖大學(xué)的突破性研究正在改變我們欣賞3D世界的方式。這項(xiàng)名為"Styl3R"的研究由浙江大學(xué)的王鵬和西湖大學(xué)的劉祥與劉培東（通訊作者）共同完成，并發(fā)表于2025年5月的arXiv預(yù)印本平臺(tái)（arXiv:2505.21060v1）。這項(xiàng)研究解決了3D藝術(shù)風(fēng)格化中的一個(gè)核心挑戰(zhàn)：如何在不到一秒的時(shí)間內(nèi)，僅從幾張普通照片和一張藝術(shù)風(fēng)格圖片中，創(chuàng)建出風(fēng)格一致、結(jié)構(gòu)完整的3D藝術(shù)場(chǎng)景。

一、為什么3D風(fēng)格化如此困難？

想象一下，你有幾張普通的房間照片，還有一幅梵高的《星空》作為風(fēng)格參考。你希望將這個(gè)普通房間變成一個(gè)充滿梵高筆觸的3D藝術(shù)空間，讓你可以從任何角度欣賞這個(gè)梵高風(fēng)格的房間。聽(tīng)起來(lái)很簡(jiǎn)單？實(shí)際上，這個(gè)過(guò)程充滿了技術(shù)挑戰(zhàn)。

現(xiàn)有的3D風(fēng)格化技術(shù)面臨兩大難題。首先，雖然2D圖像風(fēng)格化（比如Instagram濾鏡）已經(jīng)相當(dāng)成熟，但當(dāng)我們想把這種技術(shù)應(yīng)用到3D空間時(shí)，問(wèn)題就變得復(fù)雜了。如果簡(jiǎn)單地對(duì)每個(gè)視角單獨(dú)應(yīng)用2D風(fēng)格化，當(dāng)你在3D空間中移動(dòng)時(shí)，墻壁上的藝術(shù)紋理會(huì)忽然變化，給人一種不協(xié)調(diào)的感覺(jué)——就像一個(gè)視頻中的貼紙?jiān)诓粩喽秳?dòng)一樣。

其次，現(xiàn)有的3D風(fēng)格化方法（如StyleRF、StyleGaussian或ARF）雖然能保持多視角一致性，但它們需要大量的已知相機(jī)位置的照片，以及每個(gè)場(chǎng)景或每種風(fēng)格都需要耗時(shí)的優(yōu)化過(guò)程，通常需要數(shù)小時(shí)甚至更長(zhǎng)時(shí)間。想象一下，你每次想嘗試一種新風(fēng)格，都要等上幾個(gè)小時(shí)，這顯然不夠?qū)嵱谩?/p>

二、Styl3R：藝術(shù)與技術(shù)的完美結(jié)合

Styl3R的名字本身就透露了它的目標(biāo)：Style（風(fēng)格）+ 3R（3D重建）。這個(gè)系統(tǒng)的神奇之處在于，它只需要2到8張普通的、未標(biāo)注相機(jī)位置的照片，再加上一張任意的風(fēng)格圖像，就能在不到一秒的時(shí)間內(nèi)創(chuàng)建出風(fēng)格化的3D場(chǎng)景。

王鵬和劉祥團(tuán)隊(duì)的關(guān)鍵創(chuàng)新在于他們?cè)O(shè)計(jì)了一個(gè)"雙分支"網(wǎng)絡(luò)架構(gòu)，就像一個(gè)有兩個(gè)專(zhuān)業(yè)分工的團(tuán)隊(duì)：一個(gè)"結(jié)構(gòu)團(tuán)隊(duì)"專(zhuān)注于理解場(chǎng)景的3D幾何結(jié)構(gòu)，另一個(gè)"外觀團(tuán)隊(duì)"則負(fù)責(zé)根據(jù)參考圖像添加藝術(shù)風(fēng)格。這種分離設(shè)計(jì)確保了風(fēng)格化過(guò)程不會(huì)破壞原始場(chǎng)景的結(jié)構(gòu)完整性。

具體來(lái)說(shuō)，這個(gè)系統(tǒng)使用了被稱(chēng)為"3D高斯飛濺"（3D Gaussian Splatting）的技術(shù)來(lái)表示3D場(chǎng)景。如果將3D場(chǎng)景想象成由無(wú)數(shù)小氣球組成，每個(gè)氣球都有特定的位置、大小、方向和顏色，那么結(jié)構(gòu)分支就負(fù)責(zé)確定這些氣球的位置、大小和方向，而外觀分支則決定這些氣球的顏色。

通過(guò)這種設(shè)計(jì)，系統(tǒng)可以在保持場(chǎng)景幾何結(jié)構(gòu)不變的同時(shí)，根據(jù)參考圖像調(diào)整場(chǎng)景的視覺(jué)風(fēng)格，就像給房子換了一層漆，但沒(méi)有改變房子的結(jié)構(gòu)。

三、獨(dú)特的訓(xùn)練方法：從現(xiàn)實(shí)到藝術(shù)的平滑過(guò)渡

研究團(tuán)隊(duì)采用了一種創(chuàng)新的兩階段訓(xùn)練策略，就像先教會(huì)孩子認(rèn)識(shí)現(xiàn)實(shí)世界，再教他如何創(chuàng)作藝術(shù)作品。

在第一階段，系統(tǒng)學(xué)習(xí)如何從少量照片準(zhǔn)確重建真實(shí)世界的3D場(chǎng)景。這相當(dāng)于讓系統(tǒng)掌握基本的"素描"技能，學(xué)會(huì)理解空間和物體的結(jié)構(gòu)。在這個(gè)階段，系統(tǒng)的目標(biāo)是生成看起來(lái)盡可能真實(shí)的3D場(chǎng)景。

一旦系統(tǒng)掌握了這種基礎(chǔ)能力，研究團(tuán)隊(duì)就進(jìn)入了第二階段：風(fēng)格化訓(xùn)練。在這個(gè)階段，結(jié)構(gòu)分支被凍結(jié)（就像保護(hù)好已經(jīng)畫(huà)好的素描輪廓），只訓(xùn)練外觀分支來(lái)學(xué)習(xí)如何根據(jù)參考風(fēng)格圖像調(diào)整場(chǎng)景的視覺(jué)風(fēng)格。

這個(gè)過(guò)程中使用了一個(gè)巧妙的"身份損失"技術(shù)。簡(jiǎn)單來(lái)說(shuō)，系統(tǒng)被隨機(jī)訓(xùn)練以處理兩種情況：有時(shí)接收藝術(shù)風(fēng)格圖像進(jìn)行風(fēng)格化，有時(shí)接收原始場(chǎng)景照片保持真實(shí)外觀。這就像教一個(gè)畫(huà)家既能畫(huà)寫(xiě)實(shí)畫(huà)，也能畫(huà)印象派作品，靈活切換不同風(fēng)格。

通過(guò)這種訓(xùn)練方法，Styl3R不僅能夠創(chuàng)建風(fēng)格化的3D場(chǎng)景，還能在需要時(shí)還原場(chǎng)景的原始真實(shí)外觀，這使它成為一個(gè)真正靈活的系統(tǒng)。

四、突破性的實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)使用了RealEstate10K和DL3DV兩個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)集包含了各種室內(nèi)和室外場(chǎng)景的視頻。對(duì)于風(fēng)格參考，他們使用了WikiArt數(shù)據(jù)集中的藝術(shù)作品。為了測(cè)試系統(tǒng)的泛化能力，他們還在完全不同的Tanks and Temples數(shù)據(jù)集上進(jìn)行了評(píng)估。

實(shí)驗(yàn)結(jié)果令人印象深刻。在定量評(píng)估中，Styl3R在短距離和長(zhǎng)距離一致性測(cè)試中都優(yōu)于所有現(xiàn)有方法。簡(jiǎn)單來(lái)說(shuō)，當(dāng)你在風(fēng)格化的3D場(chǎng)景中移動(dòng)時(shí)，墻壁上的藝術(shù)紋理會(huì)保持穩(wěn)定，不會(huì)像某些方法那樣忽然變化。

在視覺(jué)質(zhì)量方面，Styl3R生成的結(jié)果展現(xiàn)了風(fēng)格和內(nèi)容之間的完美平衡。與StyleRF和StyleGaussian相比，它更好地捕捉了參考風(fēng)格圖像的色調(diào)和紋理；與ARF相比，它更好地保留了原始場(chǎng)景的結(jié)構(gòu)細(xì)節(jié)。例如，在一個(gè)客廳場(chǎng)景中，ARF方法使家具因過(guò)度風(fēng)格化而幾乎無(wú)法辨認(rèn)，而Styl3R則保持了家具的清晰形狀，同時(shí)成功應(yīng)用了藝術(shù)風(fēng)格。

最令人驚嘆的是處理速度：Styl3R只需0.147秒即可完成風(fēng)格化過(guò)程，而現(xiàn)有的3D方法需要12分鐘到2小時(shí)不等。這相當(dāng)于將處理時(shí)間從喝一杯咖啡的時(shí)間縮短到眨眼的瞬間。

五、實(shí)際應(yīng)用：風(fēng)格插值的魔力

除了基本的風(fēng)格化功能，研究團(tuán)隊(duì)還展示了一個(gè)有趣的應(yīng)用：風(fēng)格插值。想象你有兩幅不同風(fēng)格的藝術(shù)作品，比如梵高的《星空》和畢加索的《格爾尼卡》。Styl3R可以在這兩種風(fēng)格之間創(chuàng)建平滑過(guò)渡，生成一系列混合風(fēng)格的3D場(chǎng)景。

實(shí)際操作很簡(jiǎn)單：系統(tǒng)會(huì)從兩幅風(fēng)格圖像中提取特征，然后按照不同比例混合這些特征，從而創(chuàng)建風(fēng)格過(guò)渡序列。這就像一個(gè)DJ混合不同的音樂(lè)風(fēng)格，創(chuàng)造出全新的聽(tīng)覺(jué)體驗(yàn)。

這種技術(shù)為創(chuàng)意專(zhuān)業(yè)人士提供了強(qiáng)大的工具，他們可以探索不同藝術(shù)風(fēng)格的混合效果，發(fā)現(xiàn)可能從未見(jiàn)過(guò)的視覺(jué)表現(xiàn)形式。

六、靈活性：適應(yīng)不同數(shù)量的輸入圖像

Styl3R的另一個(gè)顯著特點(diǎn)是其靈活性。雖然系統(tǒng)在訓(xùn)練時(shí)使用了4張輸入圖像，但實(shí)際使用時(shí)可以處理2到8張不等的輸入圖像。

當(dāng)只有2張輸入圖像時(shí)，系統(tǒng)仍能生成令人滿意的風(fēng)格化結(jié)果。更有趣的是，當(dāng)提供8張輸入圖像時(shí)，雖然系統(tǒng)從未見(jiàn)過(guò)這么多輸入，它仍然能夠出色地處理，證明了其泛化能力。

相比之下，只用2張圖像訓(xùn)練的模型在處理8張輸入圖像時(shí)會(huì)出現(xiàn)問(wèn)題，如重復(fù)的柱子或沙發(fā)，這表明它無(wú)法正確對(duì)齊來(lái)自多個(gè)視角的信息。

這種靈活性使Styl3R特別適合實(shí)際應(yīng)用場(chǎng)景，因?yàn)橛脩艨赡苡胁煌瑪?shù)量的可用照片，系統(tǒng)能夠適應(yīng)這種變化。

七、與現(xiàn)有方法的對(duì)比：快速、高質(zhì)量、易使用

為了全面評(píng)估Styl3R的性能，研究團(tuán)隊(duì)將其與多種現(xiàn)有方法進(jìn)行了比較。

在2D方法方面，他們選擇了AdaIN、AdaAttN和StyTr2作為基準(zhǔn)。這些方法首先提取地面真實(shí)的新視角圖像，然后對(duì)每個(gè)圖像單獨(dú)應(yīng)用風(fēng)格化。雖然這些方法能快速處理單個(gè)圖像，但它們無(wú)法保證多視角一致性，導(dǎo)致在3D場(chǎng)景中移動(dòng)時(shí)出現(xiàn)視覺(jué)不連貫。

在3D方法方面，他們比較了ARF、StyleRF和StyleGaussian。這些方法雖然能夠保持多視角一致性，但都需要密集的已知相機(jī)位置的輸入圖像和每個(gè)場(chǎng)景的優(yōu)化過(guò)程，處理時(shí)間從12分鐘到2小時(shí)不等。

在直觀的比較中，2D方法（如StyTr2）在單個(gè)圖像上產(chǎn)生了視覺(jué)上令人愉悅的結(jié)果，但在不同視角之間缺乏一致性——例如，一個(gè)燈或床單的顏色會(huì)在不同視角下顯著變化。而3D方法雖然保持了一致性，但StyleRF和StyleGaussian往往產(chǎn)生過(guò)度平滑的結(jié)果，無(wú)法準(zhǔn)確捕捉參考風(fēng)格的色調(diào)；ARF雖然能捕捉風(fēng)格顏色，但往往過(guò)度風(fēng)格化，掩蓋了場(chǎng)景細(xì)節(jié)。

Styl3R則達(dá)到了完美的平衡：它既保持了多視角一致性，又準(zhǔn)確捕捉了參考風(fēng)格，同時(shí)保留了原始場(chǎng)景的結(jié)構(gòu)細(xì)節(jié)，最重要的是，它在不到一秒的時(shí)間內(nèi)完成了這一切。

八、局限性與未來(lái)發(fā)展方向

盡管Styl3R展現(xiàn)了令人印象深刻的性能，研究團(tuán)隊(duì)也坦誠(chéng)承認(rèn)了其局限性。當(dāng)前版本僅支持靜態(tài)場(chǎng)景，無(wú)法處理動(dòng)態(tài)對(duì)象，如移動(dòng)的人或動(dòng)物。在未來(lái)的工作中，擴(kuò)展系統(tǒng)以支持動(dòng)態(tài)場(chǎng)景將是一個(gè)重要方向。

另一個(gè)可能的改進(jìn)方向是進(jìn)一步增強(qiáng)系統(tǒng)的靈活性，使其能夠處理更極端的場(chǎng)景和風(fēng)格組合，或者實(shí)現(xiàn)更精細(xì)的風(fēng)格控制，比如只對(duì)場(chǎng)景的特定部分應(yīng)用特定風(fēng)格。

研究團(tuán)隊(duì)相信，隨著這些改進(jìn)的實(shí)現(xiàn)，Styl3R將成為內(nèi)容創(chuàng)作者、設(shè)計(jì)師和游戲開(kāi)發(fā)者的強(qiáng)大工具，幫助他們更快、更容易地創(chuàng)建風(fēng)格化的3D內(nèi)容。

這項(xiàng)研究的意義遠(yuǎn)不止于學(xué)術(shù)界。它為虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、游戲設(shè)計(jì)和電影制作等領(lǐng)域提供了一種快速、高質(zhì)量的3D風(fēng)格化解決方案。想象一下，游戲設(shè)計(jì)師可以在幾秒鐘內(nèi)將普通場(chǎng)景轉(zhuǎn)換為各種藝術(shù)風(fēng)格；電影制作人可以快速探索不同的視覺(jué)風(fēng)格；甚至普通用戶也可以將自己的家轉(zhuǎn)換為梵高或莫奈風(fēng)格的虛擬空間。

Styl3R代表了人工智能和計(jì)算機(jī)圖形學(xué)結(jié)合的未來(lái)方向，它不僅提高了內(nèi)容創(chuàng)作的效率，也擴(kuò)展了創(chuàng)意表達(dá)的可能性。正如研究團(tuán)隊(duì)所展示的，技術(shù)與藝術(shù)的結(jié)合可以創(chuàng)造出令人驚嘆的新體驗(yàn)，而這僅僅是開(kāi)始。