近日，由孫中山大學(xué)傅川宇、陳冠穎等研究人員聯(lián)合FNii-深圳和香港中文大學(xué)（深圳）科學(xué)與工程學(xué)院的研究團隊在arXiv上發(fā)表了一篇題為"RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS"的論文（arXiv:2506.02751v1 [cs.CV]，2025年6月3日）。這項研究針對當(dāng)下最熱門的3D場景重建技術(shù)——3D高斯飛濺（3D Gaussian Splatting，簡稱3DGS）存在的一個關(guān)鍵問題提出了創(chuàng)新解決方案。

想象一下，你正試圖用手機拍攝一座建筑物的多個角度，希望能將它重建成一個精美的3D模型。但問題來了：拍攝過程中，畫面里不可避免地會出現(xiàn)路人、車輛等移動物體（研究中稱為"瞬態(tài)物體"）。這些移動的干擾物會導(dǎo)致最終的3D重建效果出現(xiàn)奇怪的"幽靈"或模糊區(qū)域，嚴重影響視覺質(zhì)量。

現(xiàn)有的解決方案往往依賴復(fù)雜的特征提取和掩碼生成技術(shù)，但在重建的早期階段，由于場景表示尚未完全優(yōu)化，渲染質(zhì)量較差，導(dǎo)致無法準確區(qū)分靜態(tài)和動態(tài)區(qū)域。這就像你在暗室里試圖分辨物體形狀，但光線太弱，看不清楚是貓還是狗。

研究團隊深入分析后發(fā)現(xiàn)了一個關(guān)鍵問題：3DGS的"密度增長"過程雖然能提高場景細節(jié)捕捉能力，但同時也無意中促進了對瞬態(tài)干擾物的擬合。這就像一個過于熱情的學(xué)習(xí)者，不加分辨地記住了所有信息，包括那些應(yīng)該被忽略的錯誤內(nèi)容。

基于這一發(fā)現(xiàn)，研究團隊提出了"RobustSplat"方法，它包含兩個核心設(shè)計：一是"延遲高斯增長策略"，優(yōu)先優(yōu)化靜態(tài)場景結(jié)構(gòu)，再允許高斯分裂/克隆，從而減少早期優(yōu)化中對瞬態(tài)物體的過度擬合；二是"尺度級聯(lián)掩碼引導(dǎo)方法"，先利用低分辨率特征相似度監(jiān)督進行可靠的初始瞬態(tài)掩碼估計，然后逐步過渡到高分辨率監(jiān)督，實現(xiàn)更精確的掩碼預(yù)測。

在多個具有挑戰(zhàn)性的數(shù)據(jù)集上的大量實驗表明，RobustSplat比現(xiàn)有方法表現(xiàn)更優(yōu)，明顯展示了該方法的魯棒性和有效性。簡而言之，這項技術(shù)讓3D場景重建在充滿移動干擾物的真實世界環(huán)境中變得更加可靠和高質(zhì)量。

一、從3D高斯飛濺到魯棒重建：理解問題的本質(zhì)

想象你正試圖拼一幅拼圖，但有人不斷地偷走一些拼圖塊又放入一些不屬于這幅拼圖的塊。這就是3D高斯飛濺（3DGS）技術(shù)在處理包含移動物體的場景時面臨的挑戰(zhàn)。3DGS是一種近期備受關(guān)注的技術(shù)，它能夠?qū)崿F(xiàn)實時、逼真的3D場景渲染，特別適合用于新視角合成和3D建模。

3DGS的工作原理是從多角度拍攝的照片中，通過結(jié)構(gòu)運動（SfM）算法獲取稀疏的3D點云，然后將這些點表示為3D空間中的高斯分布（想象成3D空間中的小氣泡），并通過優(yōu)化這些高斯分布的位置、形狀、顏色等參數(shù)，逐漸構(gòu)建出完整的3D場景。為了捕捉細節(jié)，當(dāng)某個高斯分布的位置梯度累積超過預(yù)設(shè)閾值時，它會分裂或克隆，從而增加場景的表現(xiàn)力。

然而，現(xiàn)有方法通常假設(shè)場景是靜態(tài)的，這在現(xiàn)實世界中幾乎不可能實現(xiàn)。街道上行走的路人、駛過的汽車、搖曳的樹枝，這些瞬態(tài)物體破壞了多視角一致性的要求，導(dǎo)致重建結(jié)果出現(xiàn)嚴重的偽影和質(zhì)量下降。

當(dāng)前解決這個問題的方法主要有三種：一是基于特定類別的語義掩碼（如人和車輛），但這種方法難以泛化到多樣化的瞬態(tài)物體；二是基于不確定性的掩碼，通過考慮光度重建損失最小化中的不確定性，但通常無法可靠地預(yù)測運動掩碼；三是基于學(xué)習(xí)的運動掩碼，使用神經(jīng)網(wǎng)絡(luò)預(yù)測運動掩碼，以光度殘差或特征相似度作為監(jiān)督信號。

雖然基于學(xué)習(xí)的方法在瞬態(tài)物體過濾方面表現(xiàn)出色，但它們面臨一個關(guān)鍵限制：在訓(xùn)練初期，3DGS表示尚未充分優(yōu)化，導(dǎo)致渲染結(jié)果過度平滑，無論是動態(tài)區(qū)域還是靜態(tài)區(qū)域都存在較大的光度殘差和較弱的特征相似性。使用這些不可靠的信號來監(jiān)督掩碼估計會導(dǎo)致不準確的瞬態(tài)掩碼，小掩碼無法完全移除瞬態(tài)物體，而過度平滑的早期重建則可能誤將靜態(tài)區(qū)域分類為動態(tài)區(qū)域，阻礙優(yōu)化并導(dǎo)致欠重建。

研究團隊通過詳細分析3DGS方法，發(fā)現(xiàn)高斯密度增長過程（默認在500次迭代后開始）雖然增強了場景細節(jié)捕捉，但無意中也引入了偽影。最初，3DGS能很好地擬合場景的靜態(tài)部分；然而，隨著密度增長的進行，它傾向于過度擬合動態(tài)區(qū)域，導(dǎo)致被移動物體影響的區(qū)域出現(xiàn)偽影。令人驚訝的是，研究團隊發(fā)現(xiàn)，在普通3DGS中顯式禁用密度增長過程能有效緩解這些偽影，產(chǎn)生的結(jié)果甚至可與最近的魯棒方法SpotLessSplats相媲美，而無需任何專門設(shè)計。

這是因為，如果沒有密度增長，圖像重建損失為3D高斯提供的位置梯度有限，主要優(yōu)化它們的形狀和顏色而非位置。因此，初始放置的高斯在位置上保持穩(wěn)定，降低了過度擬合瞬態(tài)元素的風(fēng)險。然而，沒有密度增長也意味著高斯數(shù)量不足以表示細節(jié)，導(dǎo)致渲染圖像在點初始化稀疏的區(qū)域顯得過于平滑。

二、RobustSplat：智能解鎖3D場景中的瞬態(tài)干擾

基于上述分析，研究團隊提出了一種簡單而有效的方法——RobustSplat，用于在充滿瞬態(tài)物體的真實場景中優(yōu)化3DGS。這個方法的核心思想可以比作一種"先定大局再增加細節(jié)"的策略，就像一位藝術(shù)家先勾勒出畫作的基本輪廓，確定無誤后再逐步添加精細細節(jié)。

RobustSplat引入了兩個關(guān)鍵設(shè)計。首先是"延遲高斯增長策略"，它優(yōu)先重建3D場景的全局結(jié)構(gòu)，同時明確避免對動態(tài)區(qū)域進行過早擬合。這就像是先確保拼圖的框架正確無誤，再考慮添加更多細節(jié)。其次，為了改善對重建不足區(qū)域的掩碼監(jiān)督信號，同時保持對瞬態(tài)區(qū)域的敏感性，團隊引入了"尺度級聯(lián)掩碼引導(dǎo)方法"。這種方法逐步增加監(jiān)督分辨率，利用低分辨率特征能更有效地捕捉全局一致性并在早期優(yōu)化階段抑制局部噪聲的觀察結(jié)果。

想象一下，當(dāng)你遠離一幅馬賽克畫時，你更容易看出整體圖案；而當(dāng)你靠近時，你能注意到更多細節(jié)但可能失去對整體的把握。同樣，低分辨率特征有助于理解場景的整體結(jié)構(gòu)，而高分辨率特征則能捕捉更精細的細節(jié)。RobustSplat正是利用了這一特性，在優(yōu)化的不同階段使用不同分辨率的特征來指導(dǎo)瞬態(tài)掩碼的生成。

具體來說，RobustSplat的工作流程是這樣的：首先，它基于3DGS框架，從多視角圖像中提取場景表示。然后，使用一個神經(jīng)網(wǎng)絡(luò)（MLP）根據(jù)圖像特征預(yù)測每個圖像中的瞬態(tài)掩碼。這些掩碼用于在訓(xùn)練過程中過濾掉動態(tài)區(qū)域，使模型能夠?qū)Ｗ⒂陟o態(tài)場景的優(yōu)化。

在優(yōu)化過程中，RobustSplat采用延遲高斯增長策略，將密度增長的起始時間從默認的500次迭代推遲到10000次迭代。這樣做的好處是，模型有足夠的時間先優(yōu)化靜態(tài)場景的全局結(jié)構(gòu)，再考慮增加更多高斯來表示細節(jié)。同時，在早期階段，為了促進靜態(tài)區(qū)域的優(yōu)化，掩碼MLP被鼓勵將所有區(qū)域初始分類為靜態(tài)，然后逐漸過濾出瞬態(tài)物體。

另一個創(chuàng)新點是尺度級聯(lián)掩碼引導(dǎo)方法。在高斯密度增長開始之前，RobustSplat使用低分辨率渲染圖像計算低分辨率圖像殘差和特征一致性來監(jiān)督掩碼MLP。一旦密度增長開始，它切換到高分辨率殘差和高分辨率特征之間的余弦相似度，確保對瞬態(tài)和靜態(tài)區(qū)域進行更精細的區(qū)分。

這種方法的優(yōu)勢在于，它能夠在保持對瞬態(tài)區(qū)域敏感的同時，更好地處理早期階段重建不足的靜態(tài)區(qū)域。低分辨率特征天然地抑制了細節(jié)，導(dǎo)致更平滑的顏色殘差和特征相似度，這表明在早期階段使用較低分辨率的殘差和特征相似度評估可以提高魯棒性，允許保留重建不足的靜態(tài)區(qū)域，同時保持對瞬態(tài)區(qū)域的敏感。

三、實驗驗證：在真實場景中的卓越表現(xiàn)

研究團隊在多個具有挑戰(zhàn)性的基準數(shù)據(jù)集上對RobustSplat進行了廣泛評估，以驗證其有效性和魯棒性。他們選擇了兩個主要數(shù)據(jù)集：NeRF On-the-go和RobustNeRF。NeRF On-the-go數(shù)據(jù)集包含12個場景，具有不同的遮擋水平（5%~30%）。其中六個場景被廣泛使用，而其余六個是更復(fù)雜的場景，在論文中稱為NeRF On-the-go II。RobustNeRF數(shù)據(jù)集則包含四個人工設(shè)計的室內(nèi)場景，每個場景都包含各種類型的干擾物，這些干擾物挑戰(zhàn)重建的保真度。

在實現(xiàn)細節(jié)方面，RobustSplat沿用了官方3DGS的代碼庫。在訓(xùn)練過程中，采用與3DGS相同的學(xué)習(xí)率設(shè)置，總訓(xùn)練迭代次數(shù)為30000次。MLP由兩個線性層組成，使用Adam優(yōu)化器進行優(yōu)化（學(xué)習(xí)率設(shè)為0.001）。所有實驗都使用固定參數(shù)。延遲迭代開始設(shè)為10000次，MLP監(jiān)督項的權(quán)重分別為λresidual = 0.5，λcos = 0.5和λreg = 2.0。掩碼正則化系數(shù)為βreg = 2000。MLP使用的特征從DINOv2中提取，使用ViT-S/14蒸餾的預(yù)訓(xùn)練權(quán)重。

在掩碼引導(dǎo)過程中，最低空間分辨率特征從大小為(224 × 224)的圖像中提取，而最高空間分辨率特征則從大小為(504 × 504)的圖像中提取。根據(jù)現(xiàn)有方法，在NeRF On-the-go和RobustNeRF數(shù)據(jù)集上應(yīng)用了因子為8的下采樣（在特定場景如arcdetriomphe和patio中為4）。低分辨率殘差進一步按額外因子4進行下采樣。

研究團隊將RobustSplat與多個基線進行了比較，包括原始3D高斯飛濺[16]以及最近的魯棒方法，如SpotLessSplat[34]、WildGaussians[18]、Robust3DGS[39]和T-3DGS[30]。為確保公平比較，他們使用了這些方法的公開實現(xiàn)，并在所有實驗中使用相同的相機矩陣進行評估。性能評估通過視覺比較和定量指標進行，采用PSNR、SSIM和LPIPS來衡量重建質(zhì)量。

在NeRF On-the-go數(shù)據(jù)集上的評估結(jié)果顯示，RobustSplat在所有六個場景的PSNR、SSIM和LPIPS指標上都取得了最佳結(jié)果，清晰地證明了該方法的有效性。質(zhì)量比較顯示，基線方法展現(xiàn)出明顯的偽影，而RobustSplat成功消除了這些偽影，并實現(xiàn)了更好的細節(jié)表現(xiàn)（例如，Patio-high中的窗戶以及Fountain中的建筑物）。

在RobustNeRF數(shù)據(jù)集上的進一步驗證顯示，RobustSplat在平均指標上取得了最佳性能。雖然在Android場景的PSNR和SSIM指標上略遜于最先進的方法，但仍然保持競爭力。在RobustNeRF數(shù)據(jù)集的其余三個場景中，RobustSplat顯著優(yōu)于現(xiàn)有方法。質(zhì)量比較表明，RobustSplat實現(xiàn)了無瞬態(tài)的重建，同時保持了清晰的細節(jié)。

為了評估RobustSplat方法中每個組件的有效性，研究團隊基于3DGS[16]構(gòu)建了不同組件的模型進行分析。結(jié)果顯示，與完整模型相比，沒有延遲高斯增長的模型在所有平均指標上都出現(xiàn)了明顯下降，這再次證明了延遲高斯增長策略在防止3DGS在早期優(yōu)化階段擬合瞬態(tài)區(qū)域方面的有效性。

同樣，移除提出的尺度級聯(lián)掩碼引導(dǎo)方法也導(dǎo)致了整體性能的下降。這種下降在Mountain場景中特別明顯，這是一個包含大比例天空區(qū)域和稀疏初始化點的無界環(huán)境，導(dǎo)致早期優(yōu)化期間的重建過度平滑。研究團隊的掩碼引導(dǎo)提供了更穩(wěn)健的監(jiān)督，從而實現(xiàn)了更準確的重建。

四、深入理解：技術(shù)細節(jié)與創(chuàng)新點

為了更深入地理解RobustSplat的工作原理，讓我們詳細探討一下其核心組件和創(chuàng)新點。首先，3D高斯飛濺（3DGS）的基礎(chǔ)是將場景表示為一組3D高斯分布G={gi}Ni=1，其中每個高斯基元gi具有可學(xué)習(xí)參數(shù)，包括平均位置μi、協(xié)方差矩陣Σi（用于形狀）、不透明度αi以及球諧系數(shù)shi（用于視角依賴的顏色）。對于新視角合成，3D高斯被投影到2D并通過可微分光柵化使用alpha混合進行渲染。最終的像素顏色ck通過alpha混合計算：

ck = ∑i=1N ci αi G2Di ∏j=1i-1(1 - αj G2Dj)

其中ci是從球諧系數(shù)與視角方向計算得到的顏色。

3DGS通過最小化渲染圖像與捕獲圖像之間的L1損失和SSIM損失進行優(yōu)化：L = (1 - λ)L1 + λLD-SSIM。在優(yōu)化過程中，自適應(yīng)密度控制會根據(jù)累積位置梯度幅度周期性地克隆/修剪高斯。

為了處理瞬態(tài)物體，RobustSplat遵循最近的工作，使用MLP預(yù)測每個圖像的瞬態(tài)掩碼Mt，條件是圖像特征ft：Mt = Sigmoid(MLPmask(ft))。估計的掩碼隨后用于應(yīng)用排除瞬態(tài)區(qū)域的掩碼光度損失。

最近的工作使用包含強語義信息的特征作為MLP輸入（例如，DINOv2、StableDiffusion、SAM）。研究團隊的初步實驗發(fā)現(xiàn)，StableDiffusion特征提供了更強的語義信息，但提取特征的計算成本較高。雖然SAM特征更好地生成具有更準確邊界的掩碼，但它在定位陰影區(qū)域方面存在困難，導(dǎo)致掩碼預(yù)測不完整。因此，研究團隊采用DINOv2特征作為MLP的輸入，因為它在計算效率和語義提取能力之間保持了良好的平衡。

MLP權(quán)重的優(yōu)化需要適當(dāng)?shù)谋O(jiān)督。研究團隊采用了[34]中引入的基于圖像殘差信息的圖像魯棒損失Lresidual作為監(jiān)督之一。為了更好地利用從圖像中提取的深度高維特征信息（具有與圖像殘差不同的特性），他們采用了特征魯棒損失Lcos，利用渲染圖像和捕獲圖像之間的特征相似度信息。具體來說，他們提取真實圖像ft和渲染圖像f't的DINOv2特征，并計算它們的余弦相似度圖。然后，他們將余弦相似度圖轉(zhuǎn)換為[0, 1]范圍的值，遵循[18]：Mcos = max(2cos(ft, f't) - 1, 0)，其中如果特征余弦相似度為1，則Mcos將為1；如果相似度小于0.5，則為0。然后，特征魯棒損失表示為：Lcos = ||Mt - Mcos||。

MLP使用以下?lián)p失進行優(yōu)化：LMLP = λresidualLresidual + λcosLcos，其中λresidual、λcos是圖像魯棒監(jiān)督和特征魯棒損失的相應(yīng)權(quán)重。

延遲高斯增長是RobustSplat的第一個關(guān)鍵創(chuàng)新。受觀察到在3DGS中禁用高斯密度增長顯著改善了低頻靜態(tài)成分學(xué)習(xí)的啟發(fā)，RobustSplat引入了延遲高斯增長策略，修改3DGS[16]以延遲優(yōu)化過程中的高斯密度增長。

為了評估3DGS中高斯密度增長起始時間的影響，研究團隊在保持密度增長間隔固定為10000次迭代的情況下，變化了初始密度增長迭代。結(jié)果顯示，延遲密度增長允許3DGS在早期訓(xùn)練階段專注于重建靜態(tài)場景。然而，一旦密度增長開始，新引入的高斯傾向于擬合瞬態(tài)物體，導(dǎo)致PSNR指標下降。值得注意的是，較早密度增長的模型表現(xiàn)更差，表明過早的密度增長促進了瞬態(tài)物體的擬合。這些結(jié)果表明，推遲密度增長有助于模型在適應(yīng)動態(tài)元素之前更好地捕捉靜態(tài)組件。

將瞬態(tài)掩碼學(xué)習(xí)整合到延遲密度增長過程中，可以顯著提高重建準確性，利用掩碼預(yù)測來調(diào)節(jié)高斯擴展。通過利用掩碼預(yù)測來調(diào)節(jié)高斯擴展，這種方法有效地抑制了瞬態(tài)偽影并增強了場景保真度。特別是，較晚密度增長開始的變體實現(xiàn)了更準確的結(jié)果。這些結(jié)果表明，瞬態(tài)掩碼學(xué)習(xí)和延遲密度增長協(xié)同工作，以增強3DGS優(yōu)化的穩(wěn)定性和準確性。

應(yīng)用瞬態(tài)掩碼過濾在3DGS中的時機是一個關(guān)鍵方面。在初始訓(xùn)練階段，渲染圖像展現(xiàn)出低質(zhì)量，具有大的圖像殘差和較差的特征相似性，導(dǎo)致不準確的掩碼估計。為了緩解這一問題，先前的方法要么在預(yù)熱期后延遲掩碼學(xué)習(xí)（例如，1500次迭代），要么采用隨機掩碼采樣策略。然而，延遲掩碼應(yīng)用會導(dǎo)致瞬態(tài)物體被納入場景，使它們在后期更難以移除。

得益于高斯增長的延遲策略，RobustSplat確保早期階段的優(yōu)化僅關(guān)注靜態(tài)場景。為了促進整個場景的靜態(tài)區(qū)域優(yōu)化，鼓勵掩碼MLP最初將所有區(qū)域分類為靜態(tài)，并逐漸過濾出瞬態(tài)物體。為此，研究團隊在掩碼MLP的監(jiān)督中引入了一個正則化項：Lreg = e(- i/βreg)||1 - Mt||，其中i是訓(xùn)練的迭代次數(shù)，如果i = 0，則右項為1，并隨著i增加而減少。

掩碼優(yōu)化的整體損失表示為：LMLP = λresidualLresidual + λcosLcos + λregLreg，其中λreg是正則化的相應(yīng)權(quán)重。

尺度級聯(lián)掩碼引導(dǎo)是RobustSplat的另一個關(guān)鍵創(chuàng)新。雖然延遲高斯增長策略通過專注于靜態(tài)區(qū)域的優(yōu)化有效地減輕了瞬態(tài)區(qū)域的影響，但靜態(tài)場景在早期階段的欠重建仍然是一個問題。這個問題源于初始高斯點的稀疏性，特別是在大規(guī)模無界室外場景中。因此，這些區(qū)域的渲染輸出顯得過度平滑，導(dǎo)致大的圖像殘差和低的特征相似性。這反過來又導(dǎo)致掩碼MLP將欠重建的靜態(tài)區(qū)域誤分類為動態(tài)區(qū)域。

為了解決這個問題，研究團隊旨在使監(jiān)督信號在早期優(yōu)化階段更能容忍欠重建區(qū)域。他們觀察到，雖然從高分辨率圖像提取的高分辨率特征提供了精細的空間細節(jié)，但它們受限于有限的接受域和對局部噪聲的增加敏感性。相比之下，低分辨率特征更有效地捕捉全局一致性，因為每個補丁集成了更廣泛的上下文信息，本質(zhì)上抑制了特征表示中的局部噪聲。

如圖6所示，與高分辨率圖像相比，低分辨率圖像自然地抑制了細節(jié)，導(dǎo)致更平滑的顏色殘差和特征相似性。這表明，在早期階段評估較低分辨率的殘差和特征相似性可以提高魯棒性——允許保留欠重建的靜態(tài)區(qū)域，同時保持對瞬態(tài)區(qū)域的敏感。

基于這一見解，研究團隊提出了一種分辨率級聯(lián)方法，通過從低分辨率到高分辨率的信號過渡逐步細化掩碼監(jiān)督。這種方法有助于掩碼MLP在早期優(yōu)化階段保留更多的靜態(tài)區(qū)域。

具體來說，在高斯密度增長開始之前，研究團隊從3DGS渲染低分辨率圖像，計算低分辨率圖像殘差和特征一致性來監(jiān)督掩碼MLP。一旦密度增長開始，他們切換到高分辨率殘差和高分辨率特征之間的余弦相似度，確保對瞬態(tài)和靜態(tài)區(qū)域進行更精細的區(qū)分。

這些改進共同構(gòu)成了RobustSplat，一種能夠在充滿瞬態(tài)干擾的真實場景中實現(xiàn)高質(zhì)量3D場景重建的魯棒方法。

五、結(jié)論與展望：邁向更真實的3D世界

在這項研究中，研究團隊引入了RobustSplat，這是一個用于無瞬態(tài)3D高斯飛濺的魯棒框架，有效減輕了動態(tài)場景中瞬態(tài)物體引起的偽影?；趯Ω咚姑芏仍鲩L與瞬態(tài)物體引起的偽影之間關(guān)系的分析，研究團隊的方法集成了延遲高斯增長策略（優(yōu)先考慮靜態(tài)場景優(yōu)化）和尺度級聯(lián)掩碼引導(dǎo)方法（用于可靠的瞬態(tài)物體抑制）。

通過多個具有挑戰(zhàn)性的數(shù)據(jù)集上的廣泛實驗，RobustSplat展示了比現(xiàn)有方法更優(yōu)越的魯棒性和渲染質(zhì)量。簡而言之，這項技術(shù)讓3D場景重建在真實世界環(huán)境中變得更加可靠和高質(zhì)量，即使存在各種移動干擾物也能保持清晰細節(jié)。

然而，研究團隊也指出了當(dāng)前方法的局限性。RobustSplat目前僅專注于瞬態(tài)物體移除，而沒有明確處理照明變化，這限制了該方法在更不受控制的環(huán)境中的適用性。在未來的工作中，研究團隊計劃研究照明感知解決方案，通過整合高斯密度增長過程的特性來模擬照明變化。

此外，當(dāng)前的掩碼預(yù)測使用DINOv2特征，雖然效率高且在相似對象類別內(nèi)特征一致性可靠，但其基于補丁的性質(zhì)在擴展到高分辨率設(shè)置時在邊緣處引入了不一致性，限制了掩碼預(yù)測器的有效性。在本研究中，研究團隊通過應(yīng)用核大小為7的膨脹略微擴展了掩碼。未來，研究團隊將探索集成更具表現(xiàn)力和高效的特征提取器用于掩碼學(xué)習(xí)。

總的來說，RobustSplat為解決真實世界場景中的瞬態(tài)干擾問題提供了一個強大的解決方案，為3D高斯飛濺技術(shù)在更廣泛的實際應(yīng)用中的部署鋪平了道路。隨著這一領(lǐng)域的繼續(xù)發(fā)展，我們可以期待看到更多創(chuàng)新，使3D場景重建技術(shù)變得更加魯棒、高效和易于使用，最終為各種應(yīng)用（從虛擬現(xiàn)實和增強現(xiàn)實到電影制作和游戲開發(fā)）提供更真實、更沉浸式的體驗。