這項(xiàng)由浙江大學(xué)計(jì)算機(jī)學(xué)院周曉巍教授領(lǐng)導(dǎo)的研究團(tuán)隊(duì)完成的工作，發(fā)表于2025年7月，論文編號(hào)為arXiv:2507.13344v1。團(tuán)隊(duì)成員包括金雨東、彭思達(dá)、王軒等多位研究者，其中部分成員來自螞蟻集團(tuán)。有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過論文編號(hào)在arXiv平臺(tái)上找到完整論文。

在電影制作、體育直播和虛擬現(xiàn)實(shí)等領(lǐng)域，我們經(jīng)常需要從多個(gè)角度同時(shí)拍攝人物表演，然后重建出可以從任意角度觀看的三維視頻。傳統(tǒng)方法就像用密集的攝像頭陣列把表演者團(tuán)團(tuán)圍住，需要幾十臺(tái)攝像頭同時(shí)工作才能捕捉到足夠的細(xì)節(jié)。但這種方式成本高昂，普通人根本無法承擔(dān)，就像需要一個(gè)完整的攝影棚才能拍攝一段簡(jiǎn)單的表演視頻。

浙大團(tuán)隊(duì)提出的Diffuman4D系統(tǒng)徹底改變了這個(gè)局面。他們的系統(tǒng)就像一個(gè)神奇的"視角補(bǔ)全師"，只需要四臺(tái)攝像頭從不同角度拍攝，就能自動(dòng)生成其他幾十個(gè)角度的高質(zhì)量視頻，最終重建出完整的三維人物表演。這就好比你只需要從房間的四個(gè)角落拍攝一個(gè)舞蹈表演，系統(tǒng)就能自動(dòng)"想象"出從天花板、地板以及其他任何角度看到的畫面。

這項(xiàng)技術(shù)的核心突破在于解決了稀疏視頻重建中的一致性問題。當(dāng)攝像頭數(shù)量不足時(shí)，傳統(tǒng)方法生成的視頻往往會(huì)出現(xiàn)"時(shí)空不一致"的問題，比如人物在相鄰時(shí)間點(diǎn)的動(dòng)作不連貫，或者從不同角度看到的同一個(gè)動(dòng)作出現(xiàn)明顯差異。研究團(tuán)隊(duì)創(chuàng)造性地提出了"滑動(dòng)迭代去噪"機(jī)制，配合人體骨骼信息作為輔助，確保生成的視頻在時(shí)間和空間上都保持高度一致。

一、從稀疏到密集：重新定義視頻重建的可能性

傳統(tǒng)的人物表演重建技術(shù)面臨著一個(gè)根本矛盾：要獲得高質(zhì)量的三維重建效果，需要大量同步攝像頭提供足夠的視角信息，但這種配置在實(shí)際應(yīng)用中幾乎不可行。就像制作一道精美的菜肴，傳統(tǒng)方法要求你必須擁有一個(gè)裝備齊全的專業(yè)廚房，但大多數(shù)人只能在家庭廚房里完成烹飪。

浙大團(tuán)隊(duì)的解決方案相當(dāng)于設(shè)計(jì)了一套"智能烹飪助手"，能夠根據(jù)你現(xiàn)有的基礎(chǔ)食材和工具，自動(dòng)推斷出制作完整菜肴所需的其他成分和步驟。具體來說，他們的系統(tǒng)接收來自少量攝像頭的視頻輸入，然后利用人工智能模型生成其他角度的視頻內(nèi)容，最終組合成一個(gè)完整的多視角視頻數(shù)據(jù)集。

這種方法的關(guān)鍵在于理解人體運(yùn)動(dòng)的內(nèi)在規(guī)律。人體不是隨意變形的物體，而是遵循特定的生物力學(xué)約束。當(dāng)一個(gè)人舉起手臂時(shí)，我們可以根據(jù)肩膀、肘部和手腕的關(guān)節(jié)結(jié)構(gòu)，合理推斷出從其他角度看到的動(dòng)作形態(tài)。研究團(tuán)隊(duì)正是利用了這種先驗(yàn)知識(shí)，讓AI模型學(xué)會(huì)了如何在有限信息的基礎(chǔ)上進(jìn)行合理的視角補(bǔ)全。

系統(tǒng)的工作流程可以比作一個(gè)經(jīng)驗(yàn)豐富的導(dǎo)演在指導(dǎo)多機(jī)位拍攝。導(dǎo)演只需要看到幾個(gè)關(guān)鍵機(jī)位的畫面，就能在腦海中構(gòu)建出完整的三維場(chǎng)景，并指導(dǎo)其他攝像師如何調(diào)整角度和時(shí)機(jī)。Diffuman4D系統(tǒng)扮演的就是這樣一個(gè)"AI導(dǎo)演"的角色，它能夠理解場(chǎng)景的三維結(jié)構(gòu)和人物的運(yùn)動(dòng)軌跡，然后生成其他視角的合理內(nèi)容。

二、時(shí)空一致性挑戰(zhàn)：讓AI生成的視頻"天衣無縫"

在視頻生成領(lǐng)域，最大的挑戰(zhàn)之一就是確保生成內(nèi)容的時(shí)空一致性。這個(gè)問題就像制作一部電影時(shí)，確保同一個(gè)場(chǎng)景在不同鏡頭切換時(shí)保持連貫性。如果處理不當(dāng)，觀眾會(huì)立即察覺到不自然的跳躍或矛盾。

傳統(tǒng)的擴(kuò)散模型在生成長序列視頻時(shí)，由于GPU內(nèi)存限制，往往需要將視頻分成多個(gè)片段分別處理，然后再拼接起來。這種方法就像分別烹飪一道菜的不同部分，最后組合時(shí)很容易出現(xiàn)口味不協(xié)調(diào)的問題。每個(gè)片段在生成時(shí)都帶有一定的隨機(jī)性，導(dǎo)致最終結(jié)果在時(shí)間維度上出現(xiàn)明顯的不連貫。

浙大團(tuán)隊(duì)提出的"滑動(dòng)迭代去噪"機(jī)制巧妙地解決了這個(gè)問題。他們的方法就像使用一個(gè)可以滑動(dòng)的窗口，每次處理一小段視頻，但這個(gè)窗口會(huì)與相鄰的片段產(chǎn)生重疊，確保信息能夠在不同片段之間流動(dòng)。更重要的是，他們不是完全獨(dú)立地處理每個(gè)片段，而是讓每個(gè)片段都能感知到周圍片段的信息，就像一個(gè)交響樂團(tuán)中的每個(gè)樂手都能聽到整體的和聲。

這種方法的創(chuàng)新之處在于它不是簡(jiǎn)單地將生成過程分解為獨(dú)立的子任務(wù)，而是在整個(gè)生成過程中維持了全局的信息流動(dòng)。系統(tǒng)在處理每個(gè)時(shí)間點(diǎn)的每個(gè)視角時(shí)，都會(huì)考慮到周圍時(shí)間點(diǎn)和相鄰視角的信息，確保生成的內(nèi)容在四維空間（三維空間加時(shí)間維度）中都保持一致。

三、人體骨骼作為智能向?qū)В航oAI一個(gè)可靠的參考系

人體骨骼信息在這個(gè)系統(tǒng)中扮演著至關(guān)重要的角色，就像建筑師在設(shè)計(jì)房屋時(shí)需要先確定承重結(jié)構(gòu)一樣。雖然攝像頭數(shù)量有限，但人體的骨骼結(jié)構(gòu)是相對(duì)穩(wěn)定和可預(yù)測(cè)的，這為AI提供了一個(gè)可靠的參考框架。

研究團(tuán)隊(duì)首先使用先進(jìn)的人體姿態(tài)估計(jì)技術(shù)，從稀疏的輸入視頻中提取出三維人體骨骼序列。這個(gè)過程就像從幾張照片中推斷出一個(gè)人的身體結(jié)構(gòu)和運(yùn)動(dòng)軌跡。然后，他們將這些骨骼信息轉(zhuǎn)換為二維的彩色圖像，不同的身體部位用不同的顏色標(biāo)記，形成一種特殊的"骨骼地圖"。

這種骨骼地圖為擴(kuò)散模型提供了精確的結(jié)構(gòu)指導(dǎo)。當(dāng)AI需要生成某個(gè)新視角的人物圖像時(shí)，它不是在完全空白的畫布上隨意創(chuàng)作，而是有了一個(gè)明確的"素描稿"作為參考。這就像藝術(shù)家在創(chuàng)作人物畫時(shí)，先用簡(jiǎn)單的線條勾勒出人體的基本比例和姿態(tài)，然后再填充細(xì)節(jié)。

但是，僅僅依賴骨骼信息還不夠，因?yàn)楣趋李A(yù)測(cè)可能存在不完整或不準(zhǔn)確的情況，特別是當(dāng)人物穿著復(fù)雜服裝或做出復(fù)雜動(dòng)作時(shí)。因此，研究團(tuán)隊(duì)還結(jié)合了Plücker坐標(biāo)系統(tǒng)，這是一種用于精確描述攝像頭位置和方向的數(shù)學(xué)工具。通過將骨骼信息和攝像頭參數(shù)結(jié)合起來，系統(tǒng)能夠更準(zhǔn)確地理解空間幾何關(guān)系，生成更加可靠的視頻內(nèi)容。

四、技術(shù)架構(gòu)：四維數(shù)據(jù)網(wǎng)格中的智能導(dǎo)航

Diffuman4D的技術(shù)架構(gòu)可以想象成一個(gè)四維的數(shù)據(jù)網(wǎng)格，其中三個(gè)維度代表空間，第四個(gè)維度代表時(shí)間。每個(gè)網(wǎng)格點(diǎn)都包含了特定時(shí)間點(diǎn)、特定視角的圖像信息以及相應(yīng)的條件信息（包括骨骼數(shù)據(jù)和攝像頭參數(shù)）。

系統(tǒng)的核心是一個(gè)經(jīng)過特殊訓(xùn)練的擴(kuò)散模型，它學(xué)會(huì)了如何在這個(gè)四維網(wǎng)格中進(jìn)行智能導(dǎo)航。當(dāng)給定少量已知的網(wǎng)格點(diǎn)（來自輸入攝像頭的視頻）時(shí)，模型需要推斷出其他網(wǎng)格點(diǎn)的內(nèi)容。這個(gè)過程就像一個(gè)經(jīng)驗(yàn)豐富的導(dǎo)游，即使只看到城市的幾個(gè)地標(biāo)，也能描述出整個(gè)城市的面貌。

滑動(dòng)迭代去噪過程是這個(gè)架構(gòu)的關(guān)鍵創(chuàng)新。系統(tǒng)不是一次性處理整個(gè)四維網(wǎng)格，而是使用一個(gè)可以滑動(dòng)的"觀察窗口"，每次關(guān)注網(wǎng)格的一小部分。這個(gè)窗口會(huì)沿著空間和時(shí)間維度交替滑動(dòng)，確保信息能夠在整個(gè)網(wǎng)格中充分傳播。

在空間維度上，窗口會(huì)圍繞人物進(jìn)行圓周運(yùn)動(dòng)，就像攝像機(jī)沿著圓形軌道拍攝。在時(shí)間維度上，窗口會(huì)前后滑動(dòng)，確保相鄰時(shí)間點(diǎn)的內(nèi)容保持連貫。通過這種交替的滑動(dòng)策略，系統(tǒng)能夠生成既在空間上一致又在時(shí)間上連貫的視頻內(nèi)容。

五、訓(xùn)練數(shù)據(jù)的精心準(zhǔn)備：為AI提供高質(zhì)量的學(xué)習(xí)素材

為了訓(xùn)練這樣一個(gè)復(fù)雜的系統(tǒng)，研究團(tuán)隊(duì)對(duì)DNA-Rendering數(shù)據(jù)集進(jìn)行了全面的預(yù)處理和優(yōu)化。這個(gè)過程就像為一位學(xué)徒準(zhǔn)備最優(yōu)質(zhì)的學(xué)習(xí)材料，確保他能夠?qū)W到最純正的技藝。

原始的DNA-Rendering數(shù)據(jù)集包含了超過2000個(gè)人物表演序列，但原始數(shù)據(jù)在攝像頭標(biāo)定、顏色一致性和前景分割等方面存在一些問題。研究團(tuán)隊(duì)首先重新標(biāo)定了所有攝像頭的參數(shù)，確保幾何關(guān)系的準(zhǔn)確性。然后，他們優(yōu)化了不同攝像頭之間的顏色校正矩陣，解決了由于不同攝像頭的色彩響應(yīng)差異導(dǎo)致的顏色不一致問題。

前景分割是另一個(gè)關(guān)鍵步驟。團(tuán)隊(duì)使用了三種不同的背景去除算法，包括RMBG-2.0、BiRefNet-Portrait和BackgroundMattingV2，然后通過投票機(jī)制整合這些算法的結(jié)果。這種方法就像請(qǐng)三位專家分別給出意見，然后綜合考慮他們的建議，最終得出最可靠的結(jié)論。

骨骼信息的提取使用了最新的Sapiens模型，這是一個(gè)專門為人體姿態(tài)估計(jì)設(shè)計(jì)的先進(jìn)系統(tǒng)。團(tuán)隊(duì)不僅提取了二維骨骼信息，還通過三角測(cè)量技術(shù)重建了三維骨骼序列，為后續(xù)的視角投影提供了精確的三維參考。

六、實(shí)驗(yàn)驗(yàn)證：在真實(shí)場(chǎng)景中的卓越表現(xiàn)

研究團(tuán)隊(duì)在兩個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上驗(yàn)證了他們的方法：DNA-Rendering和ActorsHQ。這些數(shù)據(jù)集包含了各種復(fù)雜的人物表演，從簡(jiǎn)單的日常動(dòng)作到復(fù)雜的舞蹈表演，從緊身服裝到寬松的傳統(tǒng)服飾。

實(shí)驗(yàn)結(jié)果顯示，Diffuman4D在多個(gè)關(guān)鍵指標(biāo)上都顯著超越了現(xiàn)有的最先進(jìn)方法。在PSNR（峰值信噪比）指標(biāo)上，該方法比次優(yōu)方法提高了約15%，在SSIM（結(jié)構(gòu)相似性）指標(biāo)上提高了約7%，在LPIPS（感知相似性）指標(biāo)上的表現(xiàn)也有顯著提升。這些數(shù)字背后代表著視頻質(zhì)量的顯著改善，特別是在細(xì)節(jié)保留和視覺一致性方面。

更重要的是，該方法在處理復(fù)雜服裝和動(dòng)態(tài)運(yùn)動(dòng)時(shí)表現(xiàn)出了強(qiáng)大的魯棒性。傳統(tǒng)方法在面對(duì)飄逸的裙擺、寬松的袖子或復(fù)雜的頭發(fā)運(yùn)動(dòng)時(shí)往往會(huì)產(chǎn)生明顯的偽影或不一致性，而Diffuman4D能夠很好地處理這些挑戰(zhàn)性場(chǎng)景。

在計(jì)算效率方面，雖然生成過程需要約2分鐘來處理一個(gè)長度為48幀的序列，但相比于傳統(tǒng)方法需要幾十臺(tái)攝像頭同時(shí)工作的成本，這種時(shí)間開銷是完全可以接受的。而且，系統(tǒng)支持多GPU并行處理，可以進(jìn)一步提高生成速度。

七、消融實(shí)驗(yàn)：每個(gè)組件的獨(dú)特貢獻(xiàn)

為了驗(yàn)證系統(tǒng)各個(gè)組件的有效性，研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)。這就像拆解一臺(tái)精密機(jī)器，逐個(gè)檢查每個(gè)零件的作用，確保整體設(shè)計(jì)的合理性。

在去噪策略的對(duì)比實(shí)驗(yàn)中，團(tuán)隊(duì)比較了三種不同的方法：多組獨(dú)立去噪、中值濾波去噪和滑動(dòng)迭代去噪。結(jié)果顯示，滑動(dòng)迭代去噪在所有評(píng)估指標(biāo)上都表現(xiàn)最優(yōu)，特別是在長序列的一致性保持方面優(yōu)勢(shì)明顯。多組獨(dú)立去噪方法會(huì)在不同組之間產(chǎn)生明顯的不連續(xù)性，就像電影中的跳切過于生硬。中值濾波方法雖然能夠緩解這種不連續(xù)性，但計(jì)算成本很高，而且在重疊區(qū)域不足時(shí)仍會(huì)出現(xiàn)不一致問題。

在條件信息的消融實(shí)驗(yàn)中，團(tuán)隊(duì)分別測(cè)試了僅使用Plücker坐標(biāo)、僅使用骨骼信息以及兩者結(jié)合的效果。結(jié)果表明，僅使用Plücker坐標(biāo)的方法在相機(jī)控制方面表現(xiàn)良好，但在處理復(fù)雜人體姿態(tài)時(shí)容易出現(xiàn)前后混淆的問題。僅使用骨骼信息的方法能夠很好地控制人體姿態(tài)，但在處理復(fù)雜服裝或部分遮擋時(shí)容易出現(xiàn)控制信號(hào)不完整的問題。兩者結(jié)合的方法則能夠充分發(fā)揮各自的優(yōu)勢(shì)，產(chǎn)生最一致和最可控的生成結(jié)果。

八、技術(shù)局限與未來展望

盡管Diffuman4D在稀疏視頻重建方面取得了顯著進(jìn)展，但研究團(tuán)隊(duì)也誠實(shí)地指出了當(dāng)前方法的一些局限性。首先，由于基礎(chǔ)擴(kuò)散模型的限制，系統(tǒng)目前還無法處理4K等超高分辨率視頻。這就像一個(gè)優(yōu)秀的畫家，雖然技藝精湛，但受限于畫布尺寸，無法創(chuàng)作巨幅作品。

其次，當(dāng)場(chǎng)景中涉及復(fù)雜的人物-物體交互時(shí)，系統(tǒng)的表現(xiàn)還有待提高。因?yàn)橛?xùn)練數(shù)據(jù)主要關(guān)注人物表演，對(duì)于復(fù)雜的道具操作或環(huán)境交互的理解還不夠深入。這就像一個(gè)專精于人物肖像的畫家，在處理復(fù)雜的場(chǎng)景構(gòu)圖時(shí)可能會(huì)遇到挑戰(zhàn)。

第三，當(dāng)前方法還無法實(shí)現(xiàn)真正的新姿態(tài)生成，即生成訓(xùn)練數(shù)據(jù)中沒有出現(xiàn)過的全新動(dòng)作。系統(tǒng)需要輸入視頻來約束生成過程，確保空間一致性，因此無法完全自由地創(chuàng)造新的動(dòng)作序列。

不過，這些局限性也為未來的研究指明了方向。研究團(tuán)隊(duì)正在探索如何擴(kuò)展到更高分辨率的視頻生成，如何更好地處理復(fù)雜的場(chǎng)景交互，以及如何實(shí)現(xiàn)更加靈活的姿態(tài)控制。隨著基礎(chǔ)模型的不斷進(jìn)步和訓(xùn)練數(shù)據(jù)的豐富，這些挑戰(zhàn)有望在不久的將來得到解決。

九、實(shí)際應(yīng)用的廣闊前景

Diffuman4D技術(shù)的應(yīng)用前景非常廣闊，幾乎涉及所有需要人物視頻內(nèi)容的領(lǐng)域。在電影制作方面，該技術(shù)可以大大降低多機(jī)位拍攝的成本，讓獨(dú)立制片人也能制作出具有好萊塢級(jí)別視覺效果的作品。導(dǎo)演只需要用幾臺(tái)攝像機(jī)拍攝關(guān)鍵場(chǎng)景，就能后期生成任意角度的鏡頭，為創(chuàng)意表達(dá)提供了更大的自由度。

在體育直播領(lǐng)域，這項(xiàng)技術(shù)可以revolutionize觀賽體驗(yàn)。觀眾可以選擇任意角度觀看比賽，就像擁有一個(gè)私人的攝像團(tuán)隊(duì)。特別是在一些空間受限的體育場(chǎng)館中，無法部署大量攝像頭的情況下，這種技術(shù)可以提供豐富的視角選擇。

虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用也將從這項(xiàng)技術(shù)中受益匪淺。在VR社交平臺(tái)中，用戶可以用普通的攝像頭錄制自己的動(dòng)作，然后生成高質(zhì)量的三維化身，與其他用戶進(jìn)行自然的互動(dòng)。這種技術(shù)可以讓VR內(nèi)容創(chuàng)作變得更加普及和便捷。

在教育和培訓(xùn)領(lǐng)域，這項(xiàng)技術(shù)可以用于創(chuàng)建交互式的教學(xué)內(nèi)容。比如，舞蹈教師可以錄制一段教學(xué)視頻，然后學(xué)生可以從任意角度觀看和學(xué)習(xí)，更好地理解動(dòng)作的細(xì)節(jié)和要領(lǐng)。

十、技術(shù)影響與社會(huì)意義

Diffuman4D不僅僅是一項(xiàng)技術(shù)突破，它還代表著人工智能在理解和重建現(xiàn)實(shí)世界方面的重要進(jìn)展。這項(xiàng)技術(shù)展示了AI如何能夠從有限的信息中推斷出豐富的細(xì)節(jié)，這種能力在許多其他領(lǐng)域也有重要應(yīng)用價(jià)值。

從技術(shù)發(fā)展的角度來看，這項(xiàng)工作推動(dòng)了多個(gè)研究方向的融合，包括計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、圖形學(xué)和人體建模等。這種跨學(xué)科的整合為解決復(fù)雜的現(xiàn)實(shí)世界問題提供了新的思路和方法。

從社會(huì)影響的角度來看，這項(xiàng)技術(shù)的普及可能會(huì)大大降低高質(zhì)量視頻內(nèi)容制作的門檻，讓更多的創(chuàng)作者能夠表達(dá)自己的想法和創(chuàng)意。這種技術(shù)的民主化可能會(huì)催生新的內(nèi)容創(chuàng)作形式和商業(yè)模式。

當(dāng)然，像所有強(qiáng)大的技術(shù)一樣，這項(xiàng)技術(shù)也需要謹(jǐn)慎使用，特別是在涉及人物形象時(shí)，需要考慮隱私保護(hù)和道德使用的問題。研究團(tuán)隊(duì)也意識(shí)到了這些挑戰(zhàn)，并呼吁在技術(shù)發(fā)展的同時(shí)建立相應(yīng)的倫理框架和使用規(guī)范。

這項(xiàng)來自浙江大學(xué)的研究成果，不僅在技術(shù)上實(shí)現(xiàn)了重要突破，更為未來的數(shù)字內(nèi)容創(chuàng)作開辟了新的可能性。隨著技術(shù)的不斷完善和應(yīng)用的不斷擴(kuò)展，我們有理由相信，高質(zhì)量的三維視頻內(nèi)容將變得越來越容易獲得，為我們的數(shù)字生活帶來更加豐富和沉浸的體驗(yàn)。

Q&A

Q1：Diffuman4D技術(shù)需要多少臺(tái)攝像頭才能工作？ A：Diffuman4D只需要4臺(tái)攝像頭就能重建高質(zhì)量的三維人物表演視頻，相比傳統(tǒng)方法需要幾十臺(tái)攝像頭的要求，大大降低了設(shè)備成本和技術(shù)門檻。這使得普通用戶也能制作出專業(yè)級(jí)別的多視角視頻內(nèi)容。

Q2：這項(xiàng)技術(shù)生成的視頻質(zhì)量如何？會(huì)不會(huì)看起來很假？ A：實(shí)驗(yàn)結(jié)果顯示，Diffuman4D生成的視頻在多個(gè)質(zhì)量指標(biāo)上都顯著超越了現(xiàn)有方法，特別是在細(xì)節(jié)保留和視覺一致性方面表現(xiàn)出色。雖然仍然是AI生成的內(nèi)容，但已經(jīng)達(dá)到了相當(dāng)高的真實(shí)感，特別是在處理復(fù)雜服裝和動(dòng)態(tài)運(yùn)動(dòng)時(shí)表現(xiàn)穩(wěn)定。

Q3：普通人能使用這項(xiàng)技術(shù)嗎？有什么限制？ A：目前這項(xiàng)技術(shù)主要面向研究和專業(yè)應(yīng)用，普通用戶還無法直接使用。主要限制包括：需要專業(yè)的GPU設(shè)備支持、處理時(shí)間較長（約2分鐘生成48幀視頻）、暫時(shí)無法支持4K高分辨率視頻。不過隨著技術(shù)發(fā)展，未來有望開發(fā)出更適合普通用戶的版本。