這項(xiàng)由中科院智能信息處理重點(diǎn)實(shí)驗(yàn)室的劉陽、張朝陽等研究者主導(dǎo)的研究發(fā)表于2025年10月，論文編號為arXiv:2509.25191v2。有興趣深入了解的讀者可以通過該編號查詢完整論文。

想象一下，你用手機(jī)給一個(gè)房間拍了上千張照片，然后電腦就能自動(dòng)把這些平面照片變成一個(gè)三維的虛擬房間，讓你可以從任何角度觀看，就像真的在里面走動(dòng)一樣。這聽起來很神奇，但確實(shí)是現(xiàn)在科技能做到的事情。不過，要讓這個(gè)過程真正實(shí)用，還面臨著很多技術(shù)難題。

傳統(tǒng)的方法就像是讓電腦當(dāng)一個(gè)超級仔細(xì)的偵探，要花很長時(shí)間分析每張照片中的線索，找出相機(jī)的位置和房間的結(jié)構(gòu)。這個(gè)過程叫做"結(jié)構(gòu)光運(yùn)動(dòng)恢復(fù)"，通常需要幾分鐘到幾小時(shí)才能完成。而且就像偵探破案一樣，如果線索不夠清晰（比如房間里紋理不明顯，或者照片之間重疊不夠），整個(gè)推理過程就可能失敗。

最近幾年，人工智能領(lǐng)域出現(xiàn)了一些"超級助手"，被稱為3D基礎(chǔ)模型。這些AI就像是訓(xùn)練有素的專家，能夠快速識別照片中的三維信息。比如一個(gè)叫VGGT的模型，可以在10秒內(nèi)處理200張照片，比傳統(tǒng)方法快了幾十倍。但是這些AI專家有個(gè)局限性：它們主要在相對簡單的場景中訓(xùn)練，當(dāng)面對真正復(fù)雜的現(xiàn)實(shí)場景，特別是需要處理上千張照片時(shí)，就會(huì)遇到困難。

研究團(tuán)隊(duì)發(fā)現(xiàn)了兩個(gè)主要問題。第一個(gè)問題就像是計(jì)算機(jī)的"大腦過載"。當(dāng)照片數(shù)量從幾十張?jiān)黾拥缴锨垥r(shí)，AI模型需要的計(jì)算資源呈指數(shù)級增長。舉個(gè)例子，處理20張照片只需要5.6GB內(nèi)存，但處理200張照片就需要40.6GB內(nèi)存，這已經(jīng)超過了大多數(shù)普通電腦的承受能力。這就像是讓一個(gè)人同時(shí)記住幾千件事情，大腦會(huì)承受不了一樣。

第二個(gè)問題是AI的"判斷不夠精準(zhǔn)"。雖然這些AI專家能快速給出答案，但答案的準(zhǔn)確度還不如傳統(tǒng)的慢方法。當(dāng)后續(xù)的3D重建過程依賴這些不夠精準(zhǔn)的初始信息時(shí)，就像是在不穩(wěn)固的地基上蓋房子，最終的效果會(huì)大打折扣。

為了解決這些問題，研究團(tuán)隊(duì)開發(fā)了一套名為VGGT-X的新系統(tǒng)。這個(gè)系統(tǒng)就像是給原來的AI專家配備了更高效的工具和更智能的工作方法。

一、讓AI專家更高效工作的優(yōu)化策略

研究團(tuán)隊(duì)首先解決了計(jì)算資源的問題。他們發(fā)現(xiàn)原來的VGGT模型在工作時(shí)會(huì)產(chǎn)生很多"中間產(chǎn)品"，這些產(chǎn)品在最終結(jié)果中其實(shí)用不上，但卻占用了大量內(nèi)存。這就像是一個(gè)廚師在做菜時(shí)把每個(gè)步驟的半成品都保留著，結(jié)果廚房里堆滿了用不上的東西。

研究人員仔細(xì)分析了VGGT的工作流程，發(fā)現(xiàn)它有24個(gè)處理層，但只有第4、11、17、23層的輸出真正有用。于是他們做了一個(gè)簡單但有效的改進(jìn)：只保留有用的中間結(jié)果，丟棄其他無用的數(shù)據(jù)。這個(gè)改進(jìn)被稱為VGGT-，讓系統(tǒng)能夠處理的照片數(shù)量從150張?jiān)黾拥?00張。

接下來，他們發(fā)現(xiàn)了另一個(gè)資源浪費(fèi)的地方：數(shù)據(jù)精度。原來的系統(tǒng)使用高精度的32位浮點(diǎn)數(shù)進(jìn)行計(jì)算，這就像是用精確到毫米的尺子去測量足球場的長度，雖然精確但實(shí)際上沒必要。研究人員將大部分計(jì)算改為16位浮點(diǎn)數(shù)，在幾乎不影響準(zhǔn)確性的前提下，將內(nèi)存使用量減少了74%。

最后，他們采用了"分批處理"的策略。就像是餐廳不會(huì)同時(shí)為所有顧客上菜，而是分批次處理訂單一樣，新系統(tǒng)將大量照片分成小批次依次處理。這樣做的好處是可以控制每次處理時(shí)的內(nèi)存使用量，從而讓系統(tǒng)能夠處理1000張以上的照片而不會(huì)出現(xiàn)內(nèi)存不足的問題。

這些優(yōu)化措施組合起來，創(chuàng)造出了VGGT--版本，它能夠在保持原有準(zhǔn)確性的同時(shí)，將處理能力提升到1000張照片以上，而且在40GB顯存的GPU上穩(wěn)定運(yùn)行。

二、提升AI判斷精準(zhǔn)度的全局對齊技術(shù)

解決了計(jì)算資源問題后，研究團(tuán)隊(duì)開始著手提高AI輸出結(jié)果的準(zhǔn)確性。他們開發(fā)了一種叫做"全局對齊"的技術(shù)，這就像是給AI專家配備了一個(gè)經(jīng)驗(yàn)豐富的顧問，幫助它糾正和完善初步判斷。

全局對齊的工作原理基于一個(gè)幾何學(xué)原理：在同一個(gè)三維場景中拍攝的照片之間存在著嚴(yán)格的幾何關(guān)系。這就像是從不同角度拍攝同一個(gè)雕塑，雖然每張照片看起來不同，但它們之間必須遵循一定的幾何規(guī)律。如果AI給出的相機(jī)位置和角度信息違反了這些規(guī)律，就說明存在錯(cuò)誤需要修正。

但是要找到照片之間的對應(yīng)關(guān)系并不容易。研究團(tuán)隊(duì)發(fā)現(xiàn)VGGT自帶的特征匹配功能還不夠可靠，就像是一個(gè)不太熟練的導(dǎo)游可能會(huì)指錯(cuò)路一樣。為了解決這個(gè)問題，他們采用了一個(gè)更可靠的特征匹配工具XFeat，這個(gè)工具在識別照片間對應(yīng)點(diǎn)方面更加準(zhǔn)確。

然而，僅僅找到對應(yīng)點(diǎn)還不夠，還需要判斷哪些對應(yīng)關(guān)系是可靠的，哪些可能是錯(cuò)誤的。研究團(tuán)隊(duì)開發(fā)了一種"自適應(yīng)加權(quán)"策略，這個(gè)策略的核心思想很直觀：如果AI的初步判斷是正確的，那么大部分對應(yīng)點(diǎn)之間的幾何關(guān)系應(yīng)該是協(xié)調(diào)的。相反，如果某些對應(yīng)點(diǎn)的幾何關(guān)系看起來很奇怪，那么這些點(diǎn)很可能是匹配錯(cuò)誤的。

這個(gè)策略的工作方式類似于民意調(diào)查。當(dāng)大多數(shù)證據(jù)都指向同一個(gè)結(jié)論時(shí)，我們更傾向于相信這個(gè)結(jié)論是正確的。而那些與主流意見相悖的證據(jù)，可能是由于錯(cuò)誤或噪音造成的，應(yīng)該被降低權(quán)重。

此外，研究團(tuán)隊(duì)還實(shí)現(xiàn)了一個(gè)自適應(yīng)的學(xué)習(xí)率控制機(jī)制。這就像是一個(gè)智能的駕駛系統(tǒng)，當(dāng)路況良好時(shí)可以快速行駛，但在復(fù)雜路段會(huì)自動(dòng)減速以確保安全。當(dāng)AI的初步判斷已經(jīng)比較準(zhǔn)確時(shí)，系統(tǒng)使用較小的調(diào)整幅度進(jìn)行精細(xì)調(diào)節(jié)。但當(dāng)初步判斷存在較大偏差時(shí)，系統(tǒng)會(huì)加大調(diào)整力度，確保能夠收斂到正確的結(jié)果。

通過這套全局對齊技術(shù)，系統(tǒng)能夠顯著提高相機(jī)姿態(tài)估計(jì)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果顯示，在MipNeRF360數(shù)據(jù)集上，全局對齊后的旋轉(zhuǎn)誤差從1.094度降低到0.678度，平移誤差從1.759度降低到0.686度，整體性能指標(biāo)AUC@30從0.951提升到0.986。

三、適應(yīng)不完美初始化的3D重建訓(xùn)練策略

即使經(jīng)過全局對齊的改進(jìn)，AI給出的相機(jī)姿態(tài)和三維信息仍然不如傳統(tǒng)方法那樣精確。這就帶來了一個(gè)新的挑戰(zhàn)：如何讓3D重建算法能夠容忍這些不完美的初始信息，并最終產(chǎn)生高質(zhì)量的渲染效果。

傳統(tǒng)的3D高斯?jié)姙R算法就像是一個(gè)對初始條件要求很嚴(yán)格的精密儀器，如果輸入的相機(jī)姿態(tài)有偏差，最終的重建效果就會(huì)出現(xiàn)明顯的偽影和錯(cuò)誤。為了解決這個(gè)問題，研究團(tuán)隊(duì)采用了一種更加魯棒的算法變體：MCMC-3DGS。

MCMC-3DGS的工作原理可以比作一個(gè)更加寬容和自適應(yīng)的學(xué)習(xí)過程。傳統(tǒng)算法就像是嚴(yán)格按照食譜做菜的廚師，如果某個(gè)食材的分量稍有偏差，整道菜就可能失敗。而MCMC-3DGS更像是一個(gè)經(jīng)驗(yàn)豐富的廚師，能夠在料理過程中不斷品嘗和調(diào)整，即使初始的食材配比不完美，也能做出美味的菜肴。

具體來說，MCMC-3DGS在優(yōu)化過程中會(huì)添加一些隨機(jī)性，這種隨機(jī)性幫助算法跳出局部最優(yōu)解，找到更好的全局解決方案。這就像是在尋找山峰最高點(diǎn)時(shí)，不是嚴(yán)格按照最陡峭的路徑攀登（這可能導(dǎo)致困在小山包上），而是偶爾允許一些看似"倒退"的探索，最終找到真正的最高峰。

除了使用更魯棒的基礎(chǔ)算法外，研究團(tuán)隊(duì)還實(shí)現(xiàn)了聯(lián)合優(yōu)化策略。這個(gè)策略同時(shí)調(diào)整3D場景的幾何結(jié)構(gòu)和相機(jī)的姿態(tài)信息，就像是一個(gè)雕塑家在塑造作品的同時(shí)，也在調(diào)整自己的觀察角度，確保最終的作品從各個(gè)角度看起來都是協(xié)調(diào)的。

在初始化點(diǎn)云的選擇上，研究團(tuán)隊(duì)也做了細(xì)致的優(yōu)化。他們利用之前全局對齊步驟中得到的對應(yīng)點(diǎn)可靠性權(quán)重，優(yōu)先選擇那些置信度高的點(diǎn)作為3D重建的起始點(diǎn)。這就像是在建造房屋時(shí)，優(yōu)先選擇最堅(jiān)固可靠的地基點(diǎn)，確保整個(gè)結(jié)構(gòu)的穩(wěn)定性。

通過這些策略的組合應(yīng)用，新系統(tǒng)能夠在使用不完美初始化的情況下，仍然產(chǎn)生接近傳統(tǒng)方法質(zhì)量的渲染效果。實(shí)驗(yàn)顯示，在MipNeRF360數(shù)據(jù)集上，該方法達(dá)到了26.40 dB的PSNR值，相比直接使用VGGT初始化的22.19 dB有了顯著提升。

四、全面的實(shí)驗(yàn)驗(yàn)證和性能分析

為了全面驗(yàn)證新方法的有效性，研究團(tuán)隊(duì)在三個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集上進(jìn)行了詳盡的實(shí)驗(yàn)：MipNeRF360、Tanks and Temple和CO3Dv2。這些數(shù)據(jù)集就像是不同類型的考試，分別測試算法在室內(nèi)場景、室外復(fù)雜環(huán)境和日常物體上的表現(xiàn)能力。

在渲染質(zhì)量方面，VGGT-X在所有數(shù)據(jù)集上都取得了當(dāng)前最佳的無傳統(tǒng)重建方法輔助的結(jié)果。在MipNeRF360數(shù)據(jù)集上，該方法達(dá)到了0.7821的SSIM值、26.40 dB的PSNR值和0.1774的LPIPS值。雖然與使用傳統(tǒng)COLMAP初始化的方法相比仍有差距（COLMAP方法的SSIM為0.8148），但這個(gè)差距已經(jīng)大大縮小，特別是考慮到速度上的巨大優(yōu)勢。

在相機(jī)姿態(tài)估計(jì)的準(zhǔn)確性上，新方法同樣表現(xiàn)出色。在三個(gè)數(shù)據(jù)集上的AUC@30指標(biāo)分別達(dá)到了0.992、0.971和0.909，顯著超越了其他無傳統(tǒng)方法輔助的競爭算法。特別值得注意的是，該方法在處理大規(guī)模場景時(shí)的穩(wěn)定性很好，即使面對1000張以上的輸入圖像，仍能保持高質(zhì)量的結(jié)果。

計(jì)算效率方面的提升更是顯著。通過內(nèi)存優(yōu)化，系統(tǒng)的峰值內(nèi)存使用量從原來的40.6 GB降低到9.66 GB，降幅達(dá)到76%。這意味著原本需要昂貴的高端GPU才能處理的任務(wù)，現(xiàn)在在相對普通的硬件上就能完成。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，就像是拆解一個(gè)復(fù)雜機(jī)器來理解每個(gè)部件的作用一樣。實(shí)驗(yàn)發(fā)現(xiàn)，去除冗余特征和精度優(yōu)化帶來了主要的內(nèi)存節(jié)省，分批處理進(jìn)一步提升了可擴(kuò)展性，而全局對齊和聯(lián)合優(yōu)化則是提高準(zhǔn)確性的關(guān)鍵因素。

值得一提的是，研究團(tuán)隊(duì)誠實(shí)地分析了方法的局限性。他們發(fā)現(xiàn)雖然在訓(xùn)練集上的表現(xiàn)甚至超過了傳統(tǒng)方法，但在測試集上仍有差距，這暗示存在過擬合的問題。這就像是一個(gè)學(xué)生在練習(xí)題上表現(xiàn)很好，但在考試中成績略差，說明學(xué)習(xí)方法還有改進(jìn)空間。

此外，通過對學(xué)習(xí)到的相機(jī)姿態(tài)殘差的分析，研究團(tuán)隊(duì)發(fā)現(xiàn)算法在處理小幅度偏差時(shí)效果很好，但對于較大的姿態(tài)偏差，糾正能力仍然有限。這為未來的改進(jìn)方向提供了明確的指導(dǎo)。

五、技術(shù)創(chuàng)新的深層影響和未來展望

VGGT-X的技術(shù)突破不僅僅是算法層面的改進(jìn)，更代表了3D重建領(lǐng)域的一個(gè)重要轉(zhuǎn)折點(diǎn)。就像是從手工制作到工業(yè)化生產(chǎn)的轉(zhuǎn)變，這項(xiàng)技術(shù)讓高質(zhì)量的3D重建從需要專業(yè)軟件和大量計(jì)算資源的專業(yè)任務(wù)，變成了可以在普通設(shè)備上快速完成的日常操作。

這種轉(zhuǎn)變的意義是深遠(yuǎn)的。在建筑和房地產(chǎn)行業(yè)，銷售人員可以現(xiàn)場拍攝房屋照片，幾分鐘內(nèi)就生成虛擬漫游效果，讓遠(yuǎn)程客戶身臨其境地體驗(yàn)房屋內(nèi)部。在電商領(lǐng)域，商家可以快速為商品創(chuàng)建3D展示效果，消費(fèi)者能夠從各個(gè)角度查看商品細(xì)節(jié)。在文化遺產(chǎn)保護(hù)方面，考古學(xué)家和博物館工作者可以更方便地?cái)?shù)字化保存珍貴文物和歷史建筑。

研究團(tuán)隊(duì)在論文中也坦率地討論了目前方法的不足之處。最主要的挑戰(zhàn)是3D基礎(chǔ)模型的泛化能力問題。就像是一個(gè)只在特定環(huán)境中訓(xùn)練的AI，當(dāng)面對截然不同的新場景時(shí)可能表現(xiàn)不佳。例如，VGGT在MipNeRF360數(shù)據(jù)集上表現(xiàn)優(yōu)于π?模型，但在CO3Dv2數(shù)據(jù)集上卻落后很多，這說明不同模型適應(yīng)的場景類型存在差異。

另一個(gè)重要發(fā)現(xiàn)是優(yōu)化過程的敏感性問題。雖然MCMC-3DGS比傳統(tǒng)方法更加魯棒，但在面對嚴(yán)重偏差的初始化時(shí)，仍然可能陷入不理想的局部解。這就像是即使有了更好的導(dǎo)航系統(tǒng)，在極端惡劣的天氣條件下，駕駛?cè)匀怀錆M挑戰(zhàn)。

基于這些分析，研究團(tuán)隊(duì)提出了幾個(gè)值得探索的未來方向。首先是開發(fā)更通用的3D基礎(chǔ)模型，這些模型應(yīng)該能夠處理更廣泛的場景類型和拍攝條件。其次是改進(jìn)3D重建算法的魯棒性，讓它們能夠更好地處理不完美的初始化。最后是探索新的監(jiān)督信號，比如深度信息或語義標(biāo)簽，來指導(dǎo)重建過程。

從技術(shù)發(fā)展的歷史角度來看，VGGT-X代表了從"手工精雕細(xì)琢"向"智能自動(dòng)化"轉(zhuǎn)變的一個(gè)重要里程碑。就像是攝影技術(shù)從需要專業(yè)暗房技術(shù)的膠片時(shí)代，發(fā)展到人人都能拍出好照片的數(shù)碼時(shí)代一樣，3D重建技術(shù)也正在經(jīng)歷類似的民主化過程。

這項(xiàng)研究的價(jià)值不僅在于解決了當(dāng)前的技術(shù)問題，更在于為整個(gè)領(lǐng)域指明了發(fā)展方向。它證明了通過巧妙的工程優(yōu)化和算法改進(jìn)，可以大幅提升現(xiàn)有技術(shù)的實(shí)用性，同時(shí)也揭示了需要進(jìn)一步突破的關(guān)鍵瓶頸。

說到底，VGGT-X并不是一個(gè)完美的解決方案，但它代表了向完美解決方案邁進(jìn)的重要一步。就像是橋梁建設(shè)中的一個(gè)關(guān)鍵支撐點(diǎn)，它連接了學(xué)術(shù)研究和實(shí)際應(yīng)用之間的鴻溝，讓更多人能夠享受到先進(jìn)3D技術(shù)帶來的便利。隨著硬件性能的持續(xù)提升和算法的不斷優(yōu)化，我們有理由相信，高質(zhì)量、快速、易用的3D重建技術(shù)將很快成為日常生活的一部分，就像今天的拍照和錄像一樣普遍和簡單。

Q&A

Q1：VGGT-X是什么技術(shù)？它能解決什么問題？

A：VGGT-X是中科院開發(fā)的3D重建技術(shù)，它能讓電腦用上千張普通照片快速重建出三維場景。主要解決了傳統(tǒng)方法速度慢、AI方法處理大量照片時(shí)內(nèi)存不足和精度不夠的問題，讓3D重建從專業(yè)任務(wù)變成普通設(shè)備就能完成的日常操作。

Q2：VGGT-X比傳統(tǒng)3D重建方法有什么優(yōu)勢？

A：VGGT-X的最大優(yōu)勢是速度快和設(shè)備要求低。傳統(tǒng)COLMAP方法需要幾分鐘到幾小時(shí)處理照片，而VGGT-X只需要幾秒到幾分鐘。同時(shí)內(nèi)存使用量減少了76%，普通GPU就能處理1000張以上照片，而傳統(tǒng)方法需要昂貴的專業(yè)設(shè)備。

Q3：VGGT-X技術(shù)有什么實(shí)際應(yīng)用前景？

A：VGGT-X可以廣泛應(yīng)用于房地產(chǎn)虛擬看房、電商3D商品展示、文物數(shù)字化保護(hù)等領(lǐng)域。房產(chǎn)銷售可以現(xiàn)場拍照幾分鐘內(nèi)生成虛擬漫游，電商可以快速為商品制作360度展示效果，博物館可以更便捷地保存珍貴文物的數(shù)字副本。