在視頻內(nèi)容創(chuàng)作成為當(dāng)下熱門趨勢(shì)的背景下，來自字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)的研究者們帶來了一項(xiàng)突破性的技術(shù)——MAGREF（Masked Guidance for Any-Reference Video Generation，基于遮罩引導(dǎo)的任意參考視頻生成）。這項(xiàng)研究于2025年5月29日發(fā)布在arXiv預(yù)印本平臺(tái)（arXiv:2505.23742v1），由Yufan Deng、Xun Guo、Yuanyang Yin、Jacob Zhiyuan Fang、Yiding Yang、Yizhi Wang、Shenghai Yuan、Angtian Wang、Bo Liu、Haibin Huang和Chongyang Ma共同完成。有興趣深入了解的讀者可以通過項(xiàng)目主頁https://magref-video.github.io/magref.github.io/獲取更多信息或訪問GitHub倉庫https://github.com/MAGREF-Video/MAGREF下載代碼和模型。

如果你曾經(jīng)想讓照片中的人物或物體"活起來"，卻發(fā)現(xiàn)現(xiàn)有技術(shù)要么只能處理單一主體，要么生成的視頻質(zhì)量不高，那么MAGREF可能正是你期待已久的解決方案。想象一下，你只需提供幾張照片和一段文字描述，就能生成一段高質(zhì)量的視頻，其中的人物、物體和背景都與照片中的幾乎一模一樣，并且按照你的文字指示自然地動(dòng)起來。這聽起來是不是很神奇？

傳統(tǒng)的視頻生成技術(shù)主要分為兩大類：文本到視頻（T2V）和圖像到視頻（I2V）。前者根據(jù)文字描述生成視頻，后者則從一張靜態(tài)圖像（通常是第一幀）出發(fā)創(chuàng)建動(dòng)態(tài)畫面。但隨著用戶需求的不斷演變，人們?cè)絹碓较Ｍ軌蚴褂枚鄰垍⒖紙D像來精確控制視頻中的視覺外觀和身份特征。這就帶來了兩個(gè)關(guān)鍵挑戰(zhàn)：一是如何在各種參考圖像組合下保持生成的穩(wěn)定性，避免主體與背景之間的語義不匹配或由于參考輸入沖突導(dǎo)致的視覺不一致；二是如何確保細(xì)粒度的身份一致性，在整個(gè)視頻中保持每個(gè)主體的連貫和詳細(xì)外觀，包括面部結(jié)構(gòu)和配飾等細(xì)微特征。

MAGREF團(tuán)隊(duì)提出了一種優(yōu)雅的解決方案。首先，他們構(gòu)建了一個(gè)空白畫布，并在上面隨機(jī)放置每個(gè)提供的主體參考圖像。接著，他們引入了一種區(qū)域感知?jiǎng)討B(tài)遮罩策略，這個(gè)策略就像是一個(gè)精確的導(dǎo)航系統(tǒng)，告訴模型每個(gè)主體在畫布上的空間位置。這種方法建立了參考圖像信息與視頻合成過程中的時(shí)間動(dòng)態(tài)之間的橋梁，確保生成的視頻能夠保持一致性。

想象你在教一個(gè)孩子畫一幅復(fù)雜的圖畫，你可能會(huì)給他一張有輪廓的紙，告訴他："這個(gè)區(qū)域畫人物，那個(gè)區(qū)域畫背景，這里畫貓咪。"MAGREF的區(qū)域感知?jiǎng)討B(tài)遮罩策略就像這樣的指導(dǎo)，它明確地告訴模型每個(gè)元素應(yīng)該出現(xiàn)在哪里，這樣模型就能更好地理解和處理復(fù)雜的圖像關(guān)系。

除此之外，MAGREF還采用了像素級(jí)的通道拼接機(jī)制，在通道維度上處理參考編碼，顯著增強(qiáng)了外觀保真度。這有點(diǎn)像是把一張照片的每一個(gè)細(xì)節(jié)都精確地映射到視頻的每一幀中，確保面部特征、服裝紋理等細(xì)節(jié)都能被完美保留。與之前的方法相比，這種機(jī)制只需要對(duì)模型架構(gòu)進(jìn)行最小的修改，最大限度地保留了預(yù)訓(xùn)練模型的能力，為多主體視頻合成提供了一個(gè)強(qiáng)大而靈活的解決方案。

接下來，讓我們深入了解MAGREF的核心技術(shù)，看看它是如何實(shí)現(xiàn)這些令人印象深刻的功能的。

一、數(shù)據(jù)準(zhǔn)備：打造高質(zhì)量的訓(xùn)練基礎(chǔ)

在構(gòu)建先進(jìn)的視頻生成模型之前，首先需要準(zhǔn)備高質(zhì)量的訓(xùn)練數(shù)據(jù)。MAGREF團(tuán)隊(duì)開發(fā)了一個(gè)三階段的數(shù)據(jù)處理流程，專門用于提取訓(xùn)練視頻中的人臉、物體和背景，為多主體視頻生成任務(wù)提供豐富的素材。

在第一階段，團(tuán)隊(duì)對(duì)原始視頻進(jìn)行了嚴(yán)格的過濾和處理。想象你在篩選珍貴的照片，只保留最清晰、最有價(jià)值的那些。研究團(tuán)隊(duì)首先使用場(chǎng)景變化檢測(cè)將每個(gè)視頻分割成多個(gè)片段，然后評(píng)估每個(gè)片段的美學(xué)質(zhì)量和運(yùn)動(dòng)幅度，丟棄那些視覺效果差或幾乎沒有動(dòng)作的片段。對(duì)于保留下來的視頻片段，他們使用Qwen2.5-VL模型生成描述其整體內(nèi)容的文字說明，特別關(guān)注動(dòng)作方面。

第二階段專注于物體處理。就像一位細(xì)心的考古學(xué)家小心翼翼地挖掘和記錄每一件文物，研究團(tuán)隊(duì)使用Qwen2.5-VL從視頻說明中識(shí)別物體標(biāo)簽（如貓、帽子等），然后利用GroundingDINO檢測(cè)每個(gè)物體的邊界框，并用SAM2將其分割成參考圖像。為了減少噪音，他們對(duì)遮罩進(jìn)行了精細(xì)調(diào)整，移除了與人類相關(guān)或過小/形狀異常的物體，并應(yīng)用非極大值抑制（NMS）消除與人臉重疊超過25%的區(qū)域。

第三階段則聚焦于人物主體。研究團(tuán)隊(duì)使用InsightFace在視頻片段的所有幀和相鄰片段中檢測(cè)人臉，并使用面部嵌入向量進(jìn)行身份（ID）分配。面部朝向?qū)傩裕ㄈ缙浇恰⒏┭鼋呛头瓭L角）幫助過濾掉傾斜或低質(zhì)量的檢測(cè)結(jié)果。對(duì)于每個(gè)ID，他們根據(jù)檢測(cè)置信度和姿勢(shì)質(zhì)量對(duì)人臉進(jìn)行排序，并均勻采樣10個(gè)作為候選集。

最終，每個(gè)訓(xùn)練樣本包含一組物體分割遮罩、人物分割遮罩、裁剪的人臉和相應(yīng)的文本標(biāo)簽。正式地說，訓(xùn)練數(shù)據(jù)被定義為：R_i = {C_i, I^Face_i, I^Obj_i,1, I^Obj_i,2, ..., I^Obj_i,k}，其中C_i表示文本標(biāo)簽，I^Face_i表示裁剪的人臉參考，I^Obj_i,j對(duì)應(yīng)物體參考。每個(gè)訓(xùn)練樣本都與相應(yīng)的視頻片段配對(duì)，確保參考數(shù)據(jù)與視頻內(nèi)容之間的一致性。

通過這種精心設(shè)計(jì)的數(shù)據(jù)處理流程，MAGREF團(tuán)隊(duì)為模型提供了高質(zhì)量的訓(xùn)練素材，為后續(xù)的視頻生成任務(wù)奠定了堅(jiān)實(shí)的基礎(chǔ)。

二、核心技術(shù)：區(qū)域感知?jiǎng)討B(tài)遮罩與像素級(jí)通道拼接

MAGREF的核心創(chuàng)新在于其獨(dú)特的架構(gòu)設(shè)計(jì)，特別是兩個(gè)關(guān)鍵組件：區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制和像素級(jí)通道拼接機(jī)制。這些技術(shù)共同實(shí)現(xiàn)了多主體視頻生成的一致性和高質(zhì)量。

首先，讓我們了解區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制。想象你是一位指揮交響樂團(tuán)的指揮家，需要確保每個(gè)樂器在正確的時(shí)間演奏正確的音符。在多主體視頻生成中，模型面臨類似的挑戰(zhàn)——它需要知道每個(gè)主體應(yīng)該出現(xiàn)在哪里，以及如何隨時(shí)間變化。MAGREF的區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制就像是一份詳細(xì)的樂譜，精確指導(dǎo)模型如何處理每個(gè)主體。

具體來說，研究團(tuán)隊(duì)首先將所有參考圖像放置在一個(gè)空白畫布上的不同空間位置，然后使用VAE（變分自編碼器）對(duì)組合圖像進(jìn)行編碼，獲取其潛在表示。同時(shí)，他們生成一個(gè)對(duì)應(yīng)的二進(jìn)制遮罩，指示每個(gè)主體在布局中的空間位置。這個(gè)遮罩明確地告訴模型每個(gè)主體的存在和空間位置，同時(shí)保持與原生I2V（圖像到視頻）建模范式的兼容性。

為了避免模型過度擬合固定的空間排列，并提高對(duì)不同數(shù)量和順序的主體的泛化能力，研究團(tuán)隊(duì)在訓(xùn)練過程中應(yīng)用了隨機(jī)洗牌策略。就像打亂撲克牌一樣，主體區(qū)域在遮罩圖中的空間位置被隨機(jī)置換。這鼓勵(lì)模型依賴于遮罩引導(dǎo)的特征而不是僅依賴空間位置，使其對(duì)畫布上主體的組合和順序不敏感。

與先前通過時(shí)間序列注入?yún)⒖紙D像或在分塊后附加視覺標(biāo)記的方法不同，MAGREF的區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制通過保留像素對(duì)齊的空間結(jié)構(gòu)并支持可變數(shù)量的主體，實(shí)現(xiàn)了靈活且一致性強(qiáng)的條件控制。

接下來是像素級(jí)通道拼接機(jī)制。實(shí)現(xiàn)連貫且保持身份一致性的多主體視頻生成需要每個(gè)主體的精確身份感知信息?，F(xiàn)有方法要么沿著時(shí)間維度注入?yún)⒖紙D像的VAE表示，要么在分塊后沿著標(biāo)記維度連接參考圖像的視覺標(biāo)記。然而，這些策略帶來了一個(gè)關(guān)鍵挑戰(zhàn)：將參考圖像作為額外幀或連接標(biāo)記會(huì)擾亂原始位置嵌入，特別是在處理不同數(shù)量的參考圖像時(shí)。結(jié)果，模型難以正確解釋多主體條件，導(dǎo)致生成的視頻與提供的參考圖像之間的不一致。

MAGREF引入了一種輕量級(jí)但有效的策略，應(yīng)用像素級(jí)遮罩并通過通道拼接將它們組合。與之前沿著標(biāo)記維度連接參考圖像并依賴自注意力機(jī)制的方法不同，MAGREF的方法在參考圖像和生成的視頻之間建立了像素級(jí)對(duì)齊，確保更好地保留每個(gè)主體的獨(dú)特身份。

形式上，假設(shè)有N個(gè)參考圖像{I_1, I_2, ..., I_N}對(duì)應(yīng)N個(gè)不同的主體。這些圖像被隨機(jī)組合成一個(gè)單一的組合圖像I_ref。為了匹配視頻幀的時(shí)間維度，對(duì)組合圖像沿時(shí)間軸應(yīng)用零填充。然后，填充后的組合圖像由VAE編碼器E(·)處理，生成統(tǒng)一的潛在特征圖：F_ref = E(I_ref) ∈ R^(T×C×H×W)，其中T、C、H和W分別表示特征圖的幀數(shù)、通道數(shù)、高度和寬度。這個(gè)過程確保參考圖像表示與視頻幀在時(shí)間上對(duì)齊，促進(jìn)了參考特征在整個(gè)視頻序列中的無縫集成。

接下來，原始視頻幀通過相同的VAE編碼器E(·)處理，產(chǎn)生潛在特征圖。然后，對(duì)這些潛在特征添加高斯噪聲，得到Z ∈ R^(T×C×H×W)，其中T表示幀數(shù)。此外，設(shè)M ∈ R^(T×4×H×W)為遮罩序列。

最后，將噪聲視頻潛在特征Z、參考圖像表示F_ref和特征遮罩M沿通道維度連接，構(gòu)建最終輸入F_input：F_input = (Z ⊕ F_ref ⊕ M) ∈ R^(T×(2C+4)×H×W)，其中⊕表示通道維度上的連接。

這個(gè)組合輸入F_input隨后被饋送到框架的后續(xù)模塊，促進(jìn)連貫且保持身份的多主體視頻生成。

通過這兩種創(chuàng)新機(jī)制的結(jié)合，MAGREF實(shí)現(xiàn)了對(duì)多主體視頻生成的精確控制，確保每個(gè)主體在生成的視頻中保持其獨(dú)特的視覺特性和身份一致性。

三、實(shí)驗(yàn)評(píng)估：MAGREF的卓越表現(xiàn)

為了全面評(píng)估MAGREF的性能，研究團(tuán)隊(duì)進(jìn)行了廣泛的實(shí)驗(yàn)，包括定量和定性評(píng)估，與現(xiàn)有的開源和商業(yè)基線進(jìn)行了比較。結(jié)果表明，MAGREF在多主體視頻生成任務(wù)上表現(xiàn)卓越，特別是在身份保持和視覺質(zhì)量方面。

研究團(tuán)隊(duì)首先構(gòu)建了一個(gè)系統(tǒng)的基準(zhǔn)測(cè)試集，以全面評(píng)估模型在單ID和多主體設(shè)置下的視頻生成能力?；鶞?zhǔn)測(cè)試包含120個(gè)主體-文本對(duì)，分為兩大類：?jiǎn)蜪D組包含60個(gè)具有單一ID參考圖像的測(cè)試案例，而多主體組包含60個(gè)多樣化且具有挑戰(zhàn)性的案例，涵蓋雙人、三人以及人物-物體-背景混合場(chǎng)景。部分案例改編自ConsisID和A2-Bench，其余則經(jīng)過精心策劃，確保覆蓋各種主體類型、背景環(huán)境和交互模式。每個(gè)案例包含不超過三張參考圖像，以及保持高美學(xué)質(zhì)量和語義對(duì)齊的自然語言提示。

在評(píng)估指標(biāo)方面，研究團(tuán)隊(duì)從四個(gè)關(guān)鍵維度評(píng)估生成視頻的質(zhì)量：

1. 身份保持：使用FaceSim計(jì)算從預(yù)訓(xùn)練人臉識(shí)別模型（如ArcFace）提取的人臉嵌入向量之間的余弦相似度，評(píng)估生成的主體身份在幀間的保持程度。

2. 視覺質(zhì)量：采用美學(xué)評(píng)分，該指標(biāo)通過利用在高質(zhì)量圖像數(shù)據(jù)集上訓(xùn)練的學(xué)習(xí)美學(xué)預(yù)測(cè)模型，反映人類感知偏好，為整體視覺吸引力和構(gòu)圖提供代理。

3. 文本相關(guān)性：使用GmeScore，這是基于為視覺語言對(duì)齊微調(diào)的Qwen2-VL模型構(gòu)建的檢索型指標(biāo)，測(cè)量生成的視頻內(nèi)容與其對(duì)應(yīng)長(zhǎng)形式文本提示之間的語義一致性。

4. 運(yùn)動(dòng)強(qiáng)度：通過測(cè)量幀間光流的平均幅度計(jì)算運(yùn)動(dòng)得分，捕捉整體運(yùn)動(dòng)強(qiáng)度，反映生成視頻的動(dòng)態(tài)程度。

這些指標(biāo)共同提供了一個(gè)全面的評(píng)估框架，共同評(píng)估身份一致性、感知質(zhì)量、語義對(duì)齊和時(shí)間動(dòng)態(tài)。

定量結(jié)果顯示，MAGREF在關(guān)鍵指標(biāo)上實(shí)現(xiàn)了最先進(jìn)的性能。特別是在面部相似度（FaceSim）方面，MAGREF建立了新的最高標(biāo)準(zhǔn)，單ID場(chǎng)景達(dá)到0.567，多主體場(chǎng)景達(dá)到0.581，優(yōu)于所有現(xiàn)有方法。值得注意的是，當(dāng)提供多個(gè)參考圖像時(shí)，性能顯著提升，突顯了模型在零樣本方式下捕獲和維持糾纏身份特征的強(qiáng)大能力。

在美學(xué)評(píng)分方面，MAGREF也實(shí)現(xiàn)了與所有現(xiàn)有方法相當(dāng)或更好的性能，特別是在多主體設(shè)置下。運(yùn)動(dòng)得分捕捉了生成視頻的動(dòng)態(tài)性，往往與美學(xué)得分相互影響。例如，SkyReels-A2實(shí)現(xiàn)了相對(duì)較高的運(yùn)動(dòng)得分，但美學(xué)得分較低，表明運(yùn)動(dòng)動(dòng)態(tài)和視覺質(zhì)量之間存在權(quán)衡。相比之下，MAGREF在這兩個(gè)方面之間取得了更好的平衡，保持了連貫的運(yùn)動(dòng)和高視覺保真度。

由GmeScore測(cè)量的文本-視頻對(duì)齊顯示，MAGREF的性能與頂級(jí)方法相當(dāng)，單ID場(chǎng)景達(dá)到0.716，多主體場(chǎng)景達(dá)到0.691，表明生成的視頻準(zhǔn)確遵循給定的文本指令。

在定性評(píng)估方面，MAGREF生成的視頻展示了令人印象深刻的視覺質(zhì)量和身份一致性。無論是單ID還是多主體場(chǎng)景，模型都能準(zhǔn)確捕捉參考圖像中的視覺屬性，如面部特征、發(fā)型、配飾和環(huán)境上下文，同時(shí)遵循文本提示中的指示。例如，在單ID場(chǎng)景中，模型能夠保持主體的金發(fā)和與花叢的互動(dòng)，精確遵循提示。在多主體場(chǎng)景中，模型能夠處理復(fù)雜的場(chǎng)景，包括多個(gè)人物、物體和背景的交互，生成符合上下文且視覺吸引人的運(yùn)動(dòng)。

與開源和商業(yè)基線的對(duì)比進(jìn)一步證明了MAGREF的優(yōu)勢(shì)。在單ID視頻生成任務(wù)中，MAGREF在域外場(chǎng)景中展示了卓越的性能，在文本-動(dòng)作對(duì)齊、視覺質(zhì)量和身份一致性方面取得了最佳結(jié)果。對(duì)于多主體視頻生成，MAGREF繼續(xù)優(yōu)于現(xiàn)有方法，能夠準(zhǔn)確捕捉人物、物體和環(huán)境之間的交互，生成上下文適當(dāng)且視覺吸引人的運(yùn)動(dòng)。

通過消融研究，研究團(tuán)隊(duì)驗(yàn)證了MAGREF的兩個(gè)關(guān)鍵貢獻(xiàn)：區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制和像素級(jí)通道拼接機(jī)制的有效性。結(jié)果表明，區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制保持了身份一致性和視覺連貫性，而傳統(tǒng)的香草遮罩機(jī)制則導(dǎo)致時(shí)間不一致性和身份漂移。同樣，像素級(jí)通道拼接展示了優(yōu)越的身份保持能力，特別是在恢復(fù)細(xì)粒度面部結(jié)構(gòu)方面，而標(biāo)記級(jí)連接則稀釋了身份特定線索，導(dǎo)致生成輸出中的不一致。

總的來說，實(shí)驗(yàn)評(píng)估證明了MAGREF在多主體視頻生成任務(wù)中的強(qiáng)大能力，特別是在保持視覺一致性和身份保真度方面。模型能夠從單主體訓(xùn)練泛化到復(fù)雜的多主體場(chǎng)景，保持連貫的合成和對(duì)個(gè)體主體的精確控制。

四、未來展望與局限性

盡管MAGREF在多主體視頻生成領(lǐng)域取得了顯著進(jìn)展，但研究團(tuán)隊(duì)也認(rèn)識(shí)到當(dāng)前技術(shù)的一些局限性和未來的改進(jìn)方向。

首先，生成視頻的整體質(zhì)量在很大程度上受限于底層視頻基礎(chǔ)模型的能力。雖然MAGREF提供了一個(gè)模型不可知的框架，可以集成到各種視頻生成骨干網(wǎng)絡(luò)中，但視覺保真度和時(shí)間穩(wěn)定性仍然受到所使用基礎(chǔ)模型的影響。

展望未來，研究團(tuán)隊(duì)計(jì)劃納入更先進(jìn)的基礎(chǔ)模型，以增強(qiáng)分辨率、運(yùn)動(dòng)連貫性和長(zhǎng)期一致性。他們還計(jì)劃通過利用多模態(tài)大型語言模型（MLLMs）的推理和定位能力，擴(kuò)展MAGREF以支持統(tǒng)一的多模態(tài)生成，實(shí)現(xiàn)視頻、音頻和文本的同步生成。

此外，雖然MAGREF在各種測(cè)試場(chǎng)景中表現(xiàn)出色，但對(duì)于極其復(fù)雜的多主體交互或非常特殊的視覺風(fēng)格，可能仍存在挑戰(zhàn)。繼續(xù)擴(kuò)大和多樣化訓(xùn)練數(shù)據(jù)集，以及開發(fā)更先進(jìn)的遮罩生成技術(shù)，可能進(jìn)一步提高模型在這些邊緣情況下的性能。

最后，研究團(tuán)隊(duì)認(rèn)識(shí)到，隨著生成技術(shù)變得越來越強(qiáng)大，確保負(fù)責(zé)任使用變得越來越重要。未來的工作還應(yīng)關(guān)注開發(fā)更強(qiáng)大的保障措施，防止模型被用于創(chuàng)建誤導(dǎo)性或有害內(nèi)容，同時(shí)保持其作為創(chuàng)意工具的實(shí)用性。

五、總結(jié)

歸根結(jié)底，MAGREF代表了視頻生成技術(shù)的一個(gè)重要進(jìn)步，特別是在處理多主體場(chǎng)景方面。通過結(jié)合像素級(jí)通道拼接和區(qū)域感知?jiǎng)討B(tài)遮罩機(jī)制，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)能夠從各種參考圖像和文本提示生成高質(zhì)量、身份一致視頻的統(tǒng)一框架。

廣泛的實(shí)驗(yàn)表明，MAGREF不僅在單ID場(chǎng)景中表現(xiàn)出色，還能有效泛化到復(fù)雜的多主體組合，保持連貫的合成和對(duì)個(gè)體主體的精確控制。與現(xiàn)有開源和商業(yè)系統(tǒng)的比較進(jìn)一步證明了這種方法的優(yōu)越性，特別是在保持視覺一致性和身份保真度方面。

對(duì)于普通用戶來說，MAGREF的出現(xiàn)意味著創(chuàng)建個(gè)性化視頻內(nèi)容的門檻將大大降低。無需專業(yè)的視頻編輯技能，用戶只需提供幾張照片和簡(jiǎn)單的文字描述，就能生成高質(zhì)量、自然流暢的視頻，其中的人物和物體都保持與原始照片中相同的外觀和特征。這不僅為個(gè)人創(chuàng)意表達(dá)提供了新的可能性，也為內(nèi)容創(chuàng)作者、市場(chǎng)營(yíng)銷人員和教育工作者提供了一個(gè)強(qiáng)大的工具。

隨著這項(xiàng)技術(shù)的不斷發(fā)展和完善，我們可以期待在不久的將來看到更加令人驚嘆的視頻生成應(yīng)用，使得"讓照片動(dòng)起來"不再是科幻小說中的情節(jié)，而是每個(gè)人都能輕松實(shí)現(xiàn)的現(xiàn)實(shí)。

你是否想過，當(dāng)這種技術(shù)進(jìn)一步普及后，我們對(duì)"真實(shí)"視頻的認(rèn)知會(huì)如何改變？又或者，這類技術(shù)會(huì)如何重塑我們創(chuàng)建和消費(fèi)視覺內(nèi)容的方式？這些都是值得我們深思的問題。

如果你對(duì)MAGREF的技術(shù)細(xì)節(jié)感興趣，可以訪問項(xiàng)目主頁https://magref-video.github.io/magref.github.io/或GitHub倉庫https://github.com/MAGREF-Video/MAGREF獲取更多信息，包括代碼實(shí)現(xiàn)和預(yù)訓(xùn)練模型。