這項(xiàng)由伊利諾伊大學(xué)厄巴納-香檳分校的張浩、徐浩蘭、馮春以及Stability AI的Varun Jampani和伊利諾伊大學(xué)的Narendra Ahuja共同完成的研究發(fā)表于2025年6月26日的arXiv預(yù)印本平臺(tái),論文編號(hào)為arXiv:2506.20936v1。有興趣深入了解的讀者可以通過(guò)arXiv平臺(tái)搜索該編號(hào)訪問(wèn)完整論文。
當(dāng)我們看動(dòng)畫電影或玩游戲時(shí),是否注意過(guò)那些角色的動(dòng)作有時(shí)看起來(lái)有些不自然?比如關(guān)節(jié)彎曲時(shí)會(huì)出現(xiàn)奇怪的扭曲,或者角色的某些部位會(huì)突然變形?這些問(wèn)題背后其實(shí)隱藏著一個(gè)技術(shù)難題,而現(xiàn)在,研究團(tuán)隊(duì)提出了一個(gè)革命性的解決方案,名為PhysRig。
要理解這項(xiàng)研究的重要性,我們首先需要了解傳統(tǒng)動(dòng)畫技術(shù)的工作原理。目前業(yè)界廣泛使用的技術(shù)叫做線性混合蒙皮,就像給角色穿上一件緊身衣,然后通過(guò)拉扯這件衣服來(lái)讓角色做出各種動(dòng)作。這種方法雖然簡(jiǎn)單高效,但就像用橡皮筋控制木偶一樣,經(jīng)常會(huì)產(chǎn)生不自然的變形。當(dāng)角色需要做出復(fù)雜動(dòng)作時(shí),比如大象擺動(dòng)鼻子、人類的軟組織運(yùn)動(dòng)或者柔軟附屬物的擺動(dòng),傳統(tǒng)方法就會(huì)露出馬腳,產(chǎn)生體積縮小、不自然彎曲等問(wèn)題。
研究團(tuán)隊(duì)開(kāi)發(fā)的PhysRig系統(tǒng)就像是給虛擬角色植入了一個(gè)真實(shí)的物理身體。不同于傳統(tǒng)方法只是簡(jiǎn)單地拉扯表面,PhysRig把角色想象成一個(gè)充滿彈性材料的立體結(jié)構(gòu),就像一個(gè)裝滿果凍的容器。當(dāng)骨骼系統(tǒng)驅(qū)動(dòng)角色運(yùn)動(dòng)時(shí),這些內(nèi)部的"果凍"會(huì)根據(jù)真實(shí)的物理法則發(fā)生變形,從而產(chǎn)生更加逼真的表面效果。
這種方法的核心在于將角色的骨骼系統(tǒng)嵌入到一個(gè)體積表示中,可以理解為在角色內(nèi)部建立了一個(gè)三維網(wǎng)格結(jié)構(gòu)。這個(gè)網(wǎng)格就像是角色的內(nèi)臟器官,當(dāng)骨骼移動(dòng)時(shí),它們會(huì)根據(jù)物理定律產(chǎn)生相應(yīng)的變形。系統(tǒng)通過(guò)計(jì)算材料的應(yīng)力應(yīng)變關(guān)系和動(dòng)態(tài)響應(yīng)來(lái)確保變形的真實(shí)性,就像真實(shí)世界中的物體受力后會(huì)產(chǎn)生的反應(yīng)一樣。
為了讓這個(gè)系統(tǒng)能夠?qū)嶋H應(yīng)用,研究團(tuán)隊(duì)面臨的一個(gè)重大挑戰(zhàn)是如何處理大量的材料參數(shù)和復(fù)雜的粒子相互作用。他們創(chuàng)造性地提出了"材料原型"的概念,這就像是建立了一個(gè)材料特性的詞匯表。不同于為每個(gè)點(diǎn)單獨(dú)設(shè)定材料屬性,系統(tǒng)使用少數(shù)幾個(gè)典型的材料原型,然后通過(guò)智能混合的方式來(lái)表示整個(gè)角色的材料分布。這種方法大大減少了需要學(xué)習(xí)的參數(shù)數(shù)量,同時(shí)保持了材料表現(xiàn)的豐富性。
在具體實(shí)現(xiàn)上,PhysRig采用了材料點(diǎn)方法來(lái)進(jìn)行物理模擬。這種方法將角色離散化為嵌入在歐拉背景網(wǎng)格中的粒子,就像是把角色想象成無(wú)數(shù)個(gè)微小的粒子組成的云團(tuán)。這些粒子之間通過(guò)物理力相互作用,當(dāng)驅(qū)動(dòng)點(diǎn)施加速度時(shí),力會(huì)通過(guò)整個(gè)粒子系統(tǒng)傳播,最終在表面產(chǎn)生自然的變形效果。整個(gè)過(guò)程完全可微分,這意味著系統(tǒng)可以通過(guò)梯度下降等方法進(jìn)行優(yōu)化學(xué)習(xí)。
系統(tǒng)的工作流程可以比作一個(gè)精密的工程項(xiàng)目。首先,研究團(tuán)隊(duì)會(huì)獲取一個(gè)三維角色模型,如果輸入的是網(wǎng)格或高斯表示,系統(tǒng)會(huì)首先進(jìn)行填充操作來(lái)獲得實(shí)體體積。接著,系統(tǒng)會(huì)計(jì)算粗略的蒙皮權(quán)重,用于初始化嵌入式驅(qū)動(dòng)點(diǎn)的位置。這些驅(qū)動(dòng)點(diǎn)就像是角色內(nèi)部的控制節(jié)點(diǎn),負(fù)責(zé)將骨骼運(yùn)動(dòng)傳遞到周圍的體積區(qū)域。
在材料屬性方面,PhysRig使用兩個(gè)關(guān)鍵參數(shù)來(lái)描述不同區(qū)域的物理特性:楊氏模量和泊松比。楊氏模量決定了材料的硬度,就像是區(qū)分鋼鐵和橡膠的硬度差異。泊松比則描述了材料在拉伸時(shí)的橫向收縮特性。系統(tǒng)通過(guò)優(yōu)化這些參數(shù)來(lái)學(xué)習(xí)角色不同部位的材料特性,從而實(shí)現(xiàn)更真實(shí)的變形效果。
為了初始化驅(qū)動(dòng)點(diǎn)的位置,研究團(tuán)隊(duì)開(kāi)發(fā)了一套基于蒙皮權(quán)重的粗到細(xì)策略。系統(tǒng)首先使用現(xiàn)有的綁定模型獲得粗略的蒙皮權(quán)重,然后通過(guò)譜聚類分析來(lái)識(shí)別角色的剛性區(qū)域。在相鄰剛性組件的交界處,系統(tǒng)會(huì)檢測(cè)關(guān)節(jié)位置并在每個(gè)關(guān)節(jié)均勻放置多個(gè)驅(qū)動(dòng)點(diǎn),確保對(duì)附近體積區(qū)域的精細(xì)控制。
在優(yōu)化策略上,PhysRig采用了迭代訓(xùn)練方法來(lái)確保穩(wěn)定性。系統(tǒng)交替優(yōu)化材料參數(shù)和驅(qū)動(dòng)點(diǎn)速度,就像是分別調(diào)節(jié)樂(lè)器的不同部件來(lái)達(dá)到最佳演奏效果。材料參數(shù)的優(yōu)化需要跨多個(gè)幀的信息,因?yàn)椴牧咸匦杂绊懡巧娜中袨?。相比之下,?qū)動(dòng)點(diǎn)速度的優(yōu)化必須按幀順序進(jìn)行,因?yàn)橹挥星懊娴膸瑑?yōu)化好了,后續(xù)幀的模擬才有意義。
為了驗(yàn)證PhysRig的有效性,研究團(tuán)隊(duì)構(gòu)建了一個(gè)全面的合成數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包含了來(lái)自O(shè)bjaverse、神奇動(dòng)物園和Mixamo的17個(gè)結(jié)構(gòu)不同的對(duì)象,涵蓋了人形角色、四足動(dòng)物和其他實(shí)體等多種類型。每個(gè)對(duì)象都配有1到4個(gè)運(yùn)動(dòng)序列,總共包含40個(gè)運(yùn)動(dòng)序列,每個(gè)序列包含20到100幀。為了進(jìn)一步評(píng)估系統(tǒng)學(xué)習(xí)材料屬性的能力,團(tuán)隊(duì)為每個(gè)運(yùn)動(dòng)序列提供了兩種不同的材料配置:均質(zhì)材料對(duì)象和異質(zhì)材料對(duì)象,最終形成了包含120個(gè)案例的完整數(shù)據(jù)集。
在實(shí)驗(yàn)結(jié)果方面,PhysRig在各項(xiàng)評(píng)估指標(biāo)上都顯著優(yōu)于傳統(tǒng)的線性混合蒙皮方法。在用戶研究評(píng)分中,PhysRig在人形角色上達(dá)到了4.7分(滿分5分),在四足動(dòng)物上達(dá)到了4.45到4.8分的高分。在幾何保真度方面,PhysRig的倒角距離誤差也遠(yuǎn)低于傳統(tǒng)方法,表明其生成的變形更接近真實(shí)情況。
研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)來(lái)驗(yàn)證各個(gè)組件的重要性。實(shí)驗(yàn)表明,基于原型的材料表示方法相比直接學(xué)習(xí)每點(diǎn)材料屬性或使用三平面材料場(chǎng)都有顯著優(yōu)勢(shì)。驅(qū)動(dòng)點(diǎn)的關(guān)節(jié)定位和速度初始化策略也被證明對(duì)優(yōu)化效率和準(zhǔn)確性至關(guān)重要。在材料原型數(shù)量的選擇上,研究發(fā)現(xiàn)25到200個(gè)原型之間都能取得良好效果,其中100個(gè)原型在性能和收斂時(shí)間之間達(dá)到了最佳平衡。
除了逆向蒙皮任務(wù),PhysRig還展示了在姿態(tài)轉(zhuǎn)移應(yīng)用中的潛力。系統(tǒng)可以從輸入網(wǎng)格序列中提取骨骼信息,然后將骨骼角度轉(zhuǎn)移到生成的對(duì)象上。通過(guò)計(jì)算連續(xù)幀之間的關(guān)節(jié)速度,系統(tǒng)可以驅(qū)動(dòng)生成網(wǎng)格的變形。與依賴蒙皮權(quán)重的傳統(tǒng)方法相比,PhysRig實(shí)現(xiàn)了更真實(shí)的變形效果,同時(shí)顯著提高了泛化能力。
這項(xiàng)研究的意義遠(yuǎn)超技術(shù)層面的改進(jìn)。在動(dòng)畫制作領(lǐng)域,PhysRig能夠幫助動(dòng)畫師創(chuàng)造更加逼真的角色動(dòng)作,特別是在處理軟組織變形、布料擺動(dòng)或者液體流動(dòng)等復(fù)雜場(chǎng)景時(shí)。在游戲開(kāi)發(fā)中,這種技術(shù)可以讓虛擬角色的動(dòng)作更加自然流暢,提升玩家的沉浸感。在電影特效制作中,PhysRig可以簡(jiǎn)化復(fù)雜角色的綁定和動(dòng)畫流程,同時(shí)提供更高質(zhì)量的視覺(jué)效果。
從更廣闊的視角來(lái)看,這項(xiàng)研究代表了計(jì)算機(jī)圖形學(xué)領(lǐng)域從幾何驅(qū)動(dòng)向物理驅(qū)動(dòng)的重要轉(zhuǎn)變。傳統(tǒng)的圖形學(xué)方法往往側(cè)重于視覺(jué)效果的近似,而PhysRig這樣的方法則追求基于真實(shí)物理法則的準(zhǔn)確模擬。這種轉(zhuǎn)變不僅提高了視覺(jué)質(zhì)量,還為虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和數(shù)字人等新興應(yīng)用奠定了技術(shù)基礎(chǔ)。
當(dāng)然,這項(xiàng)技術(shù)目前還存在一些局限性。計(jì)算復(fù)雜度相比傳統(tǒng)方法有所增加,實(shí)時(shí)應(yīng)用還需要進(jìn)一步優(yōu)化。材料參數(shù)的學(xué)習(xí)過(guò)程需要大量的訓(xùn)練數(shù)據(jù),對(duì)于全新類型的角色可能需要重新訓(xùn)練。此外,系統(tǒng)假設(shè)角色不同組織的泊松比相似,這在某些情況下可能不夠準(zhǔn)確。
展望未來(lái),研究團(tuán)隊(duì)計(jì)劃在幾個(gè)方向上繼續(xù)改進(jìn)PhysRig系統(tǒng)。首先是集成真實(shí)世界的材料屬性數(shù)據(jù),讓虛擬角色的物理特性更接近現(xiàn)實(shí)。其次是優(yōu)化計(jì)算效率,使系統(tǒng)能夠支持實(shí)時(shí)應(yīng)用場(chǎng)景。第三是擴(kuò)展系統(tǒng)的適用范圍,讓它能夠處理更多樣化的角色類型和材料組合。
這項(xiàng)研究還可能催生出新的應(yīng)用領(lǐng)域。在醫(yī)學(xué)模擬中,PhysRig的物理建模能力可以用于創(chuàng)建更準(zhǔn)確的人體組織模型,幫助醫(yī)生進(jìn)行手術(shù)規(guī)劃和培訓(xùn)。在工程設(shè)計(jì)中,類似的技術(shù)可以用于模擬復(fù)雜結(jié)構(gòu)的變形行為。在教育領(lǐng)域,物理準(zhǔn)確的動(dòng)畫可以幫助學(xué)生更好地理解力學(xué)原理和材料特性。
說(shuō)到底,PhysRig代表了一種全新的思維方式,它不再滿足于表面的相似性,而是追求內(nèi)在機(jī)制的準(zhǔn)確性。就像從畫家的寫生轉(zhuǎn)向攝影師的記錄一樣,這種轉(zhuǎn)變標(biāo)志著數(shù)字角色動(dòng)畫從藝術(shù)創(chuàng)作向科學(xué)模擬的演進(jìn)。雖然傳統(tǒng)方法在某些場(chǎng)景下仍然有其價(jià)值,但基于物理的方法無(wú)疑將成為未來(lái)的主流趨勢(shì)。
歸根結(jié)底,這項(xiàng)研究為我們提供了一個(gè)重要啟示:當(dāng)我們?cè)噲D在數(shù)字世界中重現(xiàn)真實(shí)世界的現(xiàn)象時(shí),最好的方法往往是理解和模擬其底層的物理機(jī)制,而不是簡(jiǎn)單地模仿表面現(xiàn)象。PhysRig的成功證明了這一點(diǎn),它通過(guò)引入真實(shí)的物理法則,讓虛擬角色獲得了前所未有的真實(shí)感和表現(xiàn)力。對(duì)于那些希望在動(dòng)畫、游戲或者虛擬現(xiàn)實(shí)領(lǐng)域創(chuàng)造更加逼真體驗(yàn)的開(kāi)發(fā)者來(lái)說(shuō),這項(xiàng)技術(shù)無(wú)疑提供了一個(gè)強(qiáng)有力的工具。感興趣的讀者可以通過(guò)arXiv平臺(tái)訪問(wèn)完整的研究論文,深入了解這一創(chuàng)新技術(shù)的具體實(shí)現(xiàn)細(xì)節(jié)。
Q&A
Q1:PhysRig是什么?它能解決什么問(wèn)題? A:PhysRig是一個(gè)基于物理原理的虛擬角色動(dòng)畫技術(shù),它通過(guò)模擬真實(shí)的材料物理特性來(lái)生成更自然的角色變形。主要解決傳統(tǒng)動(dòng)畫技術(shù)中出現(xiàn)的體積縮小、不自然彎曲等問(wèn)題,特別適用于軟組織、柔軟附屬物的動(dòng)畫制作。
Q2:PhysRig會(huì)不會(huì)取代現(xiàn)有的動(dòng)畫制作技術(shù)? A:目前不會(huì)完全取代,但會(huì)顯著改變動(dòng)畫制作方式。傳統(tǒng)的線性混合蒙皮技術(shù)在簡(jiǎn)單場(chǎng)景下仍然高效,但PhysRig在需要真實(shí)物理效果的復(fù)雜變形中具有明顯優(yōu)勢(shì)。未來(lái)可能會(huì)形成兩種技術(shù)互補(bǔ)使用的局面。
Q3:普通開(kāi)發(fā)者如何使用PhysRig技術(shù)?有什么要求? A:目前PhysRig還是研究階段的技術(shù),普通開(kāi)發(fā)者可以通過(guò)arXiv平臺(tái)獲取論文詳細(xì)了解實(shí)現(xiàn)方法。使用需要一定的計(jì)算機(jī)圖形學(xué)基礎(chǔ)和物理仿真知識(shí),對(duì)計(jì)算資源也有一定要求,預(yù)計(jì)未來(lái)會(huì)有更易用的工具包發(fā)布。
好文章,需要你的鼓勵(lì)
這項(xiàng)研究提出了"高效探測(cè)"方法,解決了掩碼圖像建模AI難以有效評(píng)估的問(wèn)題。通過(guò)創(chuàng)新的多查詢交叉注意力機(jī)制,該方法在減少90%參數(shù)的同時(shí)實(shí)現(xiàn)10倍速度提升,在七個(gè)基準(zhǔn)測(cè)試中均超越傳統(tǒng)方法。研究還發(fā)現(xiàn)注意力質(zhì)量與分類性能的強(qiáng)相關(guān)性,生成可解釋的注意力圖譜,展現(xiàn)出優(yōu)異的跨域適應(yīng)性。團(tuán)隊(duì)承諾開(kāi)源全部代碼,推動(dòng)技術(shù)普及應(yīng)用。
伊利諾伊大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了CLAIMSPECT系統(tǒng),通過(guò)層次化分解復(fù)雜爭(zhēng)議、智能檢索相關(guān)文獻(xiàn)、多角度收集觀點(diǎn)的方法,將傳統(tǒng)的"真假"判斷轉(zhuǎn)變?yōu)槎嗑S度分析。該系統(tǒng)能夠自動(dòng)構(gòu)建爭(zhēng)議話題的分析框架,識(shí)別不同觀點(diǎn)及其支撐證據(jù),為科學(xué)和政治爭(zhēng)議提供更全面客觀的分析,已在生物醫(yī)學(xué)和國(guó)際關(guān)系領(lǐng)域驗(yàn)證有效性。
清華大學(xué)研究團(tuán)隊(duì)首次提出情感認(rèn)知融合網(wǎng)絡(luò)(ECFN),讓AI能像人類一樣理解和表達(dá)情感。該系統(tǒng)通過(guò)多層次情感處理架構(gòu),在情感識(shí)別準(zhǔn)確率上比現(xiàn)有最佳系統(tǒng)提升32%,情感表達(dá)自然度提升45%。研究突破了傳統(tǒng)AI情感理解的局限,實(shí)現(xiàn)了跨模態(tài)情感融合、動(dòng)態(tài)情感追蹤和個(gè)性化情感建模,為醫(yī)療、教育、客服等領(lǐng)域帶來(lái)革命性應(yīng)用前景。
哈佛大學(xué)研究團(tuán)隊(duì)通過(guò)創(chuàng)新的多智能體強(qiáng)化學(xué)習(xí)方法,讓AI在戰(zhàn)略游戲中學(xué)會(huì)復(fù)雜推理。研究發(fā)現(xiàn)AI通過(guò)游戲競(jìng)爭(zhēng)能發(fā)展出類人思維能力,在邏輯推理、創(chuàng)造性解決問(wèn)題等方面表現(xiàn)顯著提升。這項(xiàng)突破性成果為未來(lái)AI在醫(yī)療、教育、城市管理等領(lǐng)域的應(yīng)用奠定基礎(chǔ),展現(xiàn)了通過(guò)模擬人類學(xué)習(xí)過(guò)程培養(yǎng)真正智能AI的新路徑。