這項由香港科技大學的董少聰、許丹教授團隊聯(lián)合中文大學、商湯科技和上海AI實驗室共同完成的研究發(fā)表于2025年7月，論文標題為"From One to More: Contextual Part Latents for 3D Generation"。有興趣深入了解技術細節(jié)的讀者可以通過arXiv:2507.08772v1訪問完整論文。

當我們走進任何一個3D設計工作室，都會看到設計師們專注地在電腦屏幕前工作著。他們創(chuàng)造一個復雜的3D模型時，從不會一下子就捏出整個物體，而是像搭積木一樣，先做出頭部，再做身體，然后是四肢，最后把所有部分組裝起來。這種"化整為零"的創(chuàng)作方式不僅讓設計師能夠精雕細琢每個細節(jié)，還能隨時調整和修改單個部分。

然而，當前的AI 3D生成技術卻像是一個"急性子"的學徒，總想一口氣把整個3D物體"吐"出來。這種做法就像試圖一筆畫完整幅畫一樣，結果往往是整體看起來還行，但細節(jié)模糊不清。特別是當需要生成復雜物體時，比如一個穿著全套裝備的消防員，AI經常會把頭盔和頭部融合在一起，或者把工具和身體搞混，產生一團模糊的東西。

面對這個問題，香港科技大學的研究團隊提出了一個革命性的解決方案：讓AI也學會像人類設計師一樣"分部件"工作。他們開發(fā)了一個名為CoPart的系統(tǒng)，這個名字來自"Contextual Part"（上下文部件）的縮寫。

一、讓AI學會"化整為零"的創(chuàng)作哲學

傳統(tǒng)的AI 3D生成系統(tǒng)就像一個只會畫簡筆畫的機器人，無論你要求它畫什么，它都用同樣粗細的筆，同樣的力度，試圖一筆完成。結果就是簡單的物體還能湊合，復雜的物體就變得面目全非。

CoPart的核心創(chuàng)新在于徹底改變了這種"一鍋煮"的思路。它把3D物體的創(chuàng)建過程分解成了多個獨立但相互關聯(lián)的"部件生成"任務。就像一個經驗豐富的廚師準備一道復雜菜肴時，會分別處理不同的食材，最后巧妙地組合在一起，產生完美的味覺體驗。

這種方法的巧妙之處在于，每個部件都能得到AI的"專門關照"。當AI專注于生成一個消防員的頭盔時，它不需要同時考慮身體、工具和其他復雜因素，可以把全部"注意力"都投入到頭盔的形狀、材質和細節(jié)上。這樣生成出來的頭盔不僅外觀精美，而且具有獨立的語義意義——它就是一個頭盔，而不是某個模糊物體的一部分。

更重要的是，CoPart引入了一個"上下文關聯(lián)"的概念。雖然每個部件是獨立生成的，但它們之間并不是完全孤立的。就像交響樂團中的每個樂器都有自己的旋律，但所有旋律都圍繞著同一個主題展開。AI在生成頭盔時，會"感知"到這個頭盔需要和消防員的制服、工具等其他部件協(xié)調一致，確保整體的和諧統(tǒng)一。

二、雙重編碼：讓AI同時"看得見"和"摸得著"

CoPart的另一個核心創(chuàng)新是采用了"雙重編碼"的策略。如果說傳統(tǒng)AI只會用一種"語言"來描述3D物體，那么CoPart就像一個精通多種語言的翻譯官，能夠同時用兩種不同的"方言"來理解和生成3D內容。

第一種"語言"是幾何語言。AI通過這種語言理解物體的三維形狀、尺寸和空間關系。它就像一個精確的工程制圖員，能夠準確把握每個部件的長寬高、曲面形狀和空間位置。當AI用這種語言描述一個消防員的頭盔時，它關注的是頭盔的圓弧度、厚度、以及與頭部的配合關系。

第二種"語言"是圖像語言。AI通過這種語言理解物體的外觀、顏色、材質和紋理。它就像一個敏銳的攝影師，能夠捕捉到每個部件的視覺特征。當AI用這種語言描述同一個頭盔時，它關注的是頭盔的光澤度、顏色深淺、表面紋理和反光效果。

這兩種"語言"的結合產生了神奇的效果。幾何語言確保了生成的部件在三維空間中是合理的，不會出現(xiàn)物理上不可能的形狀。圖像語言則確保了部件在視覺上是令人信服的，具有逼真的外觀和材質感。

更巧妙的是，CoPart利用了已經訓練好的專業(yè)AI模型。對于幾何語言，它借用了專門處理3D幾何的AI模型的"大腦"。對于圖像語言，它則借用了專門處理2D圖像的AI模型的"眼睛"。這種做法就像讓一個建筑師和一個畫家合作完成同一個項目，建筑師負責確保結構的合理性，畫家負責確保外觀的美觀性。

三、"相互指導"機制：讓部件之間學會協(xié)作

想象一下，如果讓幾個完全不認識的人分別制作一套家具的不同部件，最后很可能會出現(xiàn)桌子太高、椅子太矮、顏色不搭配等問題。CoPart面臨的挑戰(zhàn)也是如此：如何讓獨立生成的各個部件最終能夠完美配合？

研究團隊設計了一個精巧的"相互指導"機制來解決這個問題。這個機制就像一個經驗豐富的項目協(xié)調員，在整個創(chuàng)作過程中不斷地讓各個部件之間"對話"和"協(xié)商"。

在技術層面，這個機制包含了兩種類型的"對話"。第一種是"部件間對話"，讓正在生成的每個部件都能"看到"其他部件的進展情況。比如，當AI在生成消防員的頭盔時，它能夠感知到制服的顏色風格，從而調整頭盔的設計，確保兩者在視覺上協(xié)調一致。

第二種是"語言間對話"，讓同一個部件的幾何描述和圖像描述能夠相互影響。這就像讓建筑師和畫家在工作過程中不斷交流，建筑師的結構設計會影響畫家的色彩選擇，畫家的美學意見也會影響建筑師的細節(jié)調整。

這種相互指導的過程是連續(xù)進行的。在AI生成3D物體的每一個步驟中，所有部件都在相互"傾聽"和"響應"。這確保了最終生成的物體不僅每個部件都精美細致，而且整體上具有強烈的一致性和協(xié)調感。

四、"包圍盒"導航：給AI一個精確的施工圖

在現(xiàn)實世界中，建筑師在開始施工前會先畫出詳細的平面圖，標明每個房間的位置和大小。CoPart也采用了類似的策略，通過"3D包圍盒"來指導AI的創(chuàng)作過程。

這些包圍盒就像一個個透明的"容器"，告訴AI每個部件應該在什么位置，占據(jù)多大的空間。比如，當要生成一個坐著的人物時，系統(tǒng)會先設定一個包圍盒表示頭部的位置，另一個包圍盒表示軀干的位置，還有包圍盒表示四肢的位置。AI就像一個遵循指示的雕塑家，在每個指定的空間內精心創(chuàng)作相應的部件。

這種方法的優(yōu)勢在于提供了精確的空間約束和語義指導?？臻g約束確保了各個部件在三維空間中的位置關系是合理的，避免了部件重疊或分離的問題。語義指導則確保了每個部件都有明確的意義和功能，不會出現(xiàn)無法識別的奇怪形狀。

更重要的是，包圍盒機制使得CoPart具有了強大的可控性。用戶可以通過調整包圍盒的位置和大小來精確控制生成結果。想要一個更大的頭部？調整頭部包圍盒的大小。想要改變手臂的姿勢？移動手臂包圍盒的位置。這種直觀的控制方式讓普通用戶也能輕松操作。

五、"全局監(jiān)督"：確保整體和諧統(tǒng)一

雖然CoPart強調部件化的創(chuàng)作方式，但研究團隊深知，優(yōu)秀的3D作品不僅需要精美的細節(jié)，更需要整體的和諧統(tǒng)一。為此，他們設計了一個"全局監(jiān)督"機制，就像一個總指揮，在關注每個部件的同時，始終把握著整體的方向。

這個機制的工作原理類似于一個經驗豐富的藝術總監(jiān)。它不僅要確保每個演員的表演都很出色，還要確保所有演員的表演風格一致，共同營造出想要的氛圍。在技術實現(xiàn)上，全局監(jiān)督機制會同時生成一個"全局版本"的3D物體，這個版本包含了整體的風格和特征信息。

各個部件在生成過程中會不斷參考這個全局版本，確保自己的風格和特征與整體保持一致。這就像樂隊中的每個樂手都會聽著指揮的節(jié)拍，確保自己的演奏與整體節(jié)奏協(xié)調。

全局監(jiān)督機制還起到了"質量控制"的作用。如果某個部件的生成過程出現(xiàn)了偏差，全局監(jiān)督會及時發(fā)現(xiàn)并進行調整，防止局部問題影響整體效果。這種機制特別重要，因為它確保了CoPart在獲得細節(jié)優(yōu)勢的同時，不會失去整體的協(xié)調性。

六、突破性的應用場景：從編輯到創(chuàng)造

CoPart的部件化設計不僅提高了3D生成的質量，還開啟了許多前所未有的應用可能性。這些應用就像給3D創(chuàng)作工具安裝了各種功能強大的"插件"，讓用戶能夠實現(xiàn)更多創(chuàng)意想法。

部件編輯功能讓用戶能夠像修改文檔一樣輕松修改3D物體。想要給一個角色換個發(fā)型？只需要重新生成頭發(fā)部件，其他部分保持不變。想要給一把武器換個顏色？只需要調整武器部件的材質設置。這種精確的編輯能力在傳統(tǒng)的整體生成方法中是不可能實現(xiàn)的。

關節(jié)物體生成功能讓CoPart能夠創(chuàng)造出可以活動的3D模型。通過結合專門的關節(jié)生成算法，系統(tǒng)能夠創(chuàng)造出具有合理關節(jié)結構的角色模型。這些模型不僅外觀逼真，還能進行各種動作，為游戲開發(fā)和動畫制作提供了強大的工具。

微型場景生成功能則展示了CoPart的另一個驚人能力。系統(tǒng)可以把整個場景中的每個物體都當作一個"部件"來處理，生成包含多個物體的復雜場景。比如，一個餐廳場景可能包含桌子、椅子、餐具、食物等多個物體，每個物體都是獨立生成的，但它們在風格和尺度上完全協(xié)調一致。

這些應用的實現(xiàn)得益于CoPart的靈活架構。由于每個部件都是獨立可控的，用戶可以通過組合不同的部件來實現(xiàn)各種創(chuàng)意想法。這種靈活性就像擁有了一套高質量的3D"樂高積木"，用戶可以根據(jù)自己的需求自由組合搭建。

七、數(shù)據(jù)集建設：為AI準備"營養(yǎng)均衡"的訓練餐

要讓AI學會像人類設計師一樣進行部件化創(chuàng)作，首先需要給它提供大量的"示例"來學習。然而，現(xiàn)有的3D數(shù)據(jù)集在這方面存在明顯的不足。研究團隊面臨的情況就像想要培養(yǎng)一個優(yōu)秀的廚師，但手頭只有一些簡單的食譜和粗糙的食材。

為了解決這個問題，研究團隊構建了一個名為"PartVerse"的大規(guī)模3D部件數(shù)據(jù)集。這個數(shù)據(jù)集包含了來自12000個物體的91000個高質量部件，涵蓋了175個不同的類別。相比之前最大的部件數(shù)據(jù)集PartNet只有24個類別，PartVerse的豐富程度有了質的飛躍。

構建這個數(shù)據(jù)集的過程就像一個精心設計的"食材準備"流程。研究團隊首先從大型3D模型庫Objaverse中選擇了高質量的3D模型作為"原材料"。然后，他們開發(fā)了一個智能分割算法，能夠自動將這些完整的3D模型分解為語義上有意義的部件。這個算法就像一個經驗豐富的解剖師，能夠準確識別出每個部件的邊界和功能。

由于自動分割算法可能會出現(xiàn)過度分割或分割不足的問題，研究團隊還組織了人工標注人員進行質量控制。這些標注人員就像食品質檢員，仔細檢查每個部件的質量，合并過度分割的部分，分離分割不足的區(qū)域，確保每個部件都有清晰的語義意義。

數(shù)據(jù)集建設的另一個重要環(huán)節(jié)是為每個部件生成文字描述。研究團隊利用先進的視覺語言模型，為每個部件生成了詳細的文字描述，包括外觀特征、材質屬性和與整體的關系。這些描述就像給每個部件配上了"身份證"，幫助AI理解每個部件的特點和用途。

八、實驗驗證：讓數(shù)據(jù)說話

為了驗證CoPart的效果，研究團隊進行了全面的實驗評估。這些實驗就像一場嚴格的"考試"，從多個角度檢驗CoPart的能力。

在與現(xiàn)有頂級3D生成系統(tǒng)的對比中，CoPart展現(xiàn)出了顯著的優(yōu)勢。特別是在生成復雜物體時，CoPart生成的模型在細節(jié)精度和部件獨立性方面都明顯優(yōu)于傳統(tǒng)方法。比如，在生成一個全副武裝的士兵時，傳統(tǒng)方法往往會把武器和身體混合在一起，而CoPart能夠清晰地區(qū)分每個裝備部件。

研究團隊還進行了用戶研究，邀請了51名來自不同背景的參與者對生成結果進行評價。結果顯示，在整體質量評估中，54.9%的參與者更偏好CoPart的生成結果。在部件質量評估中，這個比例更是達到了60.8%。這些數(shù)據(jù)客觀地證明了CoPart在用戶體驗方面的優(yōu)勢。

定量評估實驗使用了多個客觀指標來衡量生成質量。在幾何一致性方面，CoPart的得分為0.1607，遠高于其他方法。在圖像質量方面，CoPart的得分為0.1768，同樣領先于競爭對手。這些數(shù)據(jù)表明，CoPart不僅在主觀感受上更好，在客觀指標上也確實更優(yōu)秀。

消融實驗進一步驗證了CoPart各個組件的重要性。當移除全局監(jiān)督機制時，生成結果的整體協(xié)調性明顯下降。當移除相互指導機制時，各個部件之間的一致性出現(xiàn)問題。這些實驗結果證實了CoPart的設計是合理和必要的。

九、未來展望：3D創(chuàng)作的新時代

CoPart的成功不僅僅是一個技術突破，更代表了3D內容創(chuàng)作理念的根本轉變。它展示了"化整為零"的創(chuàng)作方式在AI領域的巨大潛力，為未來的3D內容創(chuàng)作開辟了新的道路。

從技術發(fā)展的角度來看，CoPart為3D生成技術的發(fā)展提供了一個新的方向。傳統(tǒng)的整體生成方法已經接近了其技術極限，而部件化生成方法則為進一步提高生成質量提供了廣闊的空間。隨著算法的不斷優(yōu)化和硬件性能的提升，我們可以期待更加精細、更加可控的3D生成效果。

在應用層面，CoPart的影響可能會擴展到許多行業(yè)。游戲開發(fā)者可以利用CoPart快速生成大量的游戲角色和道具，大大減少建模工作量。影視制作團隊可以用它來創(chuàng)建概念設計和預覽模型，加速創(chuàng)作流程。教育領域也可以利用CoPart來生成教學用的3D模型，讓抽象概念變得更加直觀。

更重要的是，CoPart降低了3D創(chuàng)作的技術門檻。傳統(tǒng)的3D建模需要專業(yè)的技能和經驗，而CoPart的直觀控制界面使得普通用戶也能參與到3D創(chuàng)作中來。這種民主化的趨勢可能會催生全新的創(chuàng)作生態(tài)，讓更多的人能夠表達自己的創(chuàng)意想法。

當然，CoPart目前還存在一些限制。生成時間相對較長，對硬件要求較高，生成的部件數(shù)量也有限制。但隨著技術的不斷進步，這些問題都有望得到解決。

說到底，CoPart的最大價值在于它改變了我們對AI創(chuàng)作的理解。它證明了AI不僅可以模仿人類的創(chuàng)作結果，還可以學習人類的創(chuàng)作過程。這種"過程導向"的AI設計理念可能會在更多領域產生深遠影響。

歸根結底，CoPart為我們展示了一個令人興奮的未來愿景：AI不再是一個冷冰冰的工具，而是一個能夠理解創(chuàng)作邏輯、具備協(xié)作能力的智能伙伴。在這個未來中，人類的創(chuàng)造力和AI的計算能力將實現(xiàn)完美結合，共同創(chuàng)造出前所未有的精彩內容。對于那些對技術細節(jié)和實現(xiàn)方法感興趣的讀者，完整的研究論文可以通過arXiv:2507.08772v1獲取，其中包含了更多深入的技術分析和實驗數(shù)據(jù)。

Q&A

Q1：CoPart是什么？它和傳統(tǒng)3D生成有什么區(qū)別？ A：CoPart是一種新的AI 3D生成技術，它模仿人類設計師的工作方式，把復雜的3D物體分解成多個部件分別生成，然后組裝起來。這與傳統(tǒng)方法一次性生成整個物體不同，能夠產生更精細、更可控的結果。

Q2：普通人能使用CoPart嗎？需要什么技術背景？ A：CoPart的設計目標之一就是降低3D創(chuàng)作的技術門檻。用戶只需要提供文字描述和簡單的3D包圍盒設置，就能生成高質量的3D模型。不過目前這項技術還在研究階段，尚未有面向普通用戶的商業(yè)產品。

Q3：CoPart生成的3D模型能用于游戲開發(fā)或影視制作嗎？ A：是的，CoPart生成的模型具有工業(yè)級的質量，特別適合游戲開發(fā)和影視制作。它能生成可編輯的部件、支持關節(jié)動畫，還能快速生成大量不同的角色和道具，大大提高制作效率。