這項(xiàng)由意大利特倫托大學(xué)(UNITN)、中國哈爾濱工業(yè)大學(xué)(HIT)、北京大學(xué)(PKU)、中國科學(xué)院信息工程研究所(IIE, CAS)、中國科學(xué)院大學(xué)(UCAS)、北京航空航天大學(xué)(BUAA)、南京理工大學(xué)(NJUST)和南開大學(xué)(NKU)多所高校聯(lián)合完成的研究，于2025年5月在arXiv上發(fā)布（arXiv:2505.22810v1），目前正在同行評審中。該論文由Zhoufaran Yang、Yan Shu（共同第一作者）等多位研究者共同完成，由Nicu Sebe教授領(lǐng)導(dǎo)。有興趣深入了解的讀者可以通過論文的GitHub倉庫（https://github.com/shuyansy/VidText）獲取更多信息。

視頻中的文本信息究竟有多重要？想象一下，當(dāng)你看一部外語電影時，字幕幫你理解對話；當(dāng)你在陌生城市導(dǎo)航時，路標(biāo)指引你的方向；當(dāng)你觀看體育比賽時，計(jì)分板讓你了解比賽進(jìn)程。視頻中的文本元素不僅僅是裝飾，它們承載著豐富的語義信息，對整體視頻理解和局部人類行為推理至關(guān)重要。

然而，現(xiàn)有的視頻理解基準(zhǔn)測試大多關(guān)注主要事件、人物動作和人際關(guān)系，而忽略了視頻文本這一重要元素。另一方面，專注于文字識別（OCR）的基準(zhǔn)測試則局限于靜態(tài)圖像，無法捕捉文本與動態(tài)視覺上下文之間的交互。這就像我們有了識別靜態(tài)路標(biāo)的能力，卻無法理解這些路標(biāo)在行車過程中如何引導(dǎo)我們的旅程。

為了填補(bǔ)這一研究空白，研究團(tuán)隊(duì)提出了VidText，這是一個專為視頻文本理解設(shè)計(jì)的全面評估基準(zhǔn)。VidText就像是為大型多模態(tài)模型（LMMs）設(shè)計(jì)的一套全面考試，測試它們在識別和理解視頻中文本信息的能力。這個基準(zhǔn)不僅僅關(guān)注"視頻中有什么文字"，還深入探究"這些文字與視頻內(nèi)容有什么關(guān)系"，以及"文字如何幫助我們理解視頻中發(fā)生的事件"。

VidText的創(chuàng)新之處在于它提供了三大關(guān)鍵特性：首先，它涵蓋了廣泛的現(xiàn)實(shí)場景并支持多語言內(nèi)容，包括英語、中文、韓語、日語和德語，確保模型能在不同語言和文化背景下正常工作。其次，它引入了一個分層評估框架，包括視頻級、片段級和實(shí)例級任務(wù)，使我們能夠評估模型在全局總結(jié)和局部檢索方面的能力。最后，它還引入了一系列配對的感知推理任務(wù)，從視覺文本感知到文本與視覺信息之間的跨模態(tài)推理，全方位測試模型的理解能力。

研究團(tuán)隊(duì)對18個最先進(jìn)的大型多模態(tài)模型（LMMs）進(jìn)行了廣泛實(shí)驗(yàn)，結(jié)果顯示當(dāng)前模型在大多數(shù)任務(wù)上表現(xiàn)不佳，有很大的改進(jìn)空間。盡管Gemini 1.5 Pro在所有模型中表現(xiàn)最佳，但其平均得分僅達(dá)到46.8%，遠(yuǎn)低于人類表現(xiàn)水平的89.5%。進(jìn)一步分析表明，模型內(nèi)在因素（如輸入分辨率、OCR能力）和外部因素（如輔助信息使用和思維鏈推理策略）都會影響模型性能。

讓我們一起深入探索這個全新的視頻文本理解世界，了解為什么它如此重要，以及它將如何推動多模態(tài)人工智能在動態(tài)環(huán)境中的發(fā)展。

一、視頻文本理解的挑戰(zhàn)與重要性

想象一下，你正在觀看一場足球比賽的視頻直播。屏幕上不僅有球員的動作，還有比分顯示、球員姓名、戰(zhàn)術(shù)分析等各種文字信息。這些文本不僅僅是貼在視頻上的標(biāo)簽，它們與視頻內(nèi)容緊密相連，共同構(gòu)成了完整的視覺敘事。比如，當(dāng)比分從0:0變成1:0時，這個文本變化往往伴隨著某個球員進(jìn)球的動作，兩者之間存在時間和因果關(guān)系。

傳統(tǒng)的視頻理解基準(zhǔn)測試，如NExT-QA、MVBench和MovieChat-1K等，大多關(guān)注視頻中的主要事件和人物動作，很少考慮文本信息。而專注于文本識別的基準(zhǔn)測試，如BovText和RoadText1k，則主要處理靜態(tài)圖像，無法捕捉文本在動態(tài)視頻中的變化和意義。這就像我們有了認(rèn)識單詞的能力，卻無法理解這些單詞在句子和段落中如何構(gòu)建意義。

與靜態(tài)圖像相比，理解視頻中的動態(tài)文本及其與不斷變化的視覺上下文的交互要復(fù)雜得多。這不僅需要在實(shí)例級別進(jìn)行精細(xì)定位，還需要在片段級別進(jìn)行時間跟蹤和發(fā)現(xiàn)，以及在視頻級別進(jìn)行整體理解。此外，視頻文本出現(xiàn)在各種場景中，并跨越多種語言，這進(jìn)一步增加了識別和推理的復(fù)雜性。

VidText基準(zhǔn)的獨(dú)特之處在于它不僅測試模型"看到了什么文字"，還測試模型能否理解"這些文字為什么出現(xiàn)在那里"以及"它們與視頻中的人物和事件有什么關(guān)系"。例如，一個商店櫥窗上的"大減價"標(biāo)志可能解釋了為什么人們聚集在那里，這一點(diǎn)僅從視覺線索可能并不明顯。

二、VidText數(shù)據(jù)集的構(gòu)建與特點(diǎn)

為了創(chuàng)建一個全面的視頻文本理解基準(zhǔn)，研究團(tuán)隊(duì)采取了精心設(shè)計(jì)的數(shù)據(jù)收集和注釋策略，確保數(shù)據(jù)集的多樣性、質(zhì)量和代表性。

VidText數(shù)據(jù)集包含939個高質(zhì)量視頻，涵蓋27個精細(xì)類別，這些視頻來源廣泛，包括現(xiàn)有數(shù)據(jù)集如BOVText、RoadText-1K等，以及從YouTube等公共平臺收集的長形式視頻。為了確保視頻質(zhì)量，研究團(tuán)隊(duì)使用了Gomatching等工具評估文本密度，并過濾掉模糊、有水印或低分辨率的視頻。所有視頻都有至少3分鐘的持續(xù)時間，確保有足夠的時間內(nèi)容進(jìn)行分析。

在內(nèi)容分布上，VidText涵蓋了六大類視頻場景：娛樂、知識、生活記錄、自我中心視角、媒體和體育，每一類又細(xì)分為多個子類別。例如，體育類別包括足球、籃球、拳擊等具體運(yùn)動。這種多樣性確保了模型能在各種真實(shí)場景中測試其文本理解能力。

在語言多樣性方面，VidText支持英語、中文、韓語、日語和德語，反映了真實(shí)世界視頻文本的多語言性質(zhì)。視頻持續(xù)時間也呈現(xiàn)多樣分布：約33.3%的視頻在0-30秒之間，50.4%在30-60秒之間，剩余的則是較長視頻，最長超過30分鐘。這種時長分布確保了模型能在短視頻和長視頻上都接受測試。

注釋過程采用自下而上的策略，構(gòu)建多粒度注釋，包括實(shí)例級、片段級和視頻級信息。首先，注釋者會在整個視頻中跟蹤至少三個清晰的視覺文本實(shí)例。對于每個實(shí)例，他們進(jìn)行逐幀精細(xì)注釋，直到文本消失，生成包含邊界框、轉(zhuǎn)錄和唯一跟蹤ID的注釋序列。

其次，根據(jù)視頻時長將視頻分割成多個時間段（短視頻每5秒一段，長視頻每20秒一段）。對于每個時間段，記錄視覺文本的存在情況，包括時間跨度和相關(guān)轉(zhuǎn)錄。

第三，注釋者執(zhí)行視頻級注釋，記錄整個視頻中出現(xiàn)的所有不同轉(zhuǎn)錄。對于中文，以文本行為基本注釋單位，而對于其他語言，則以單詞為單位進(jìn)行注釋。

除了文本感知注釋外，研究團(tuán)隊(duì)還設(shè)計(jì)了一個以視頻文本為中心的思維鏈（Chain-of-Thought，CoT）注釋流程，用于推理任務(wù)。這一流程首先使用自適應(yīng)采樣策略提取關(guān)鍵幀，然后利用視覺語言模型Aria生成高質(zhì)量的幀級描述，捕捉幀內(nèi)和幀間的上下文信息。基于這些描述和OCR轉(zhuǎn)錄，人類注釋者設(shè)計(jì)問答對，聚焦于視覺文本與周圍視覺內(nèi)容之間的語義或因果關(guān)系。

為確保問答對質(zhì)量，研究團(tuán)隊(duì)執(zhí)行了兩個后驗(yàn)驗(yàn)證原則：一是遮蓋視覺文本，驗(yàn)證問題是否僅使用視覺內(nèi)容就能回答；二是遮蓋視覺幀，檢查問題是否僅使用文本信息就能回答。這確保了問答對確實(shí)需要模型同時理解文本和視覺信息。

三、VidText的任務(wù)體系與評估框架

VidText基準(zhǔn)不是簡單地測試模型能否識別視頻中的文字，而是構(gòu)建了一個層次化的任務(wù)體系，從基礎(chǔ)的文本識別到復(fù)雜的語義推理，全面評估模型的視頻文本理解能力。

基于詳細(xì)的感知和推理注釋，研究團(tuán)隊(duì)定義了8個層次化任務(wù)，分為視頻級、片段級和實(shí)例級三個粒度，每個粒度又包含感知和推理兩個維度：

第一組任務(wù)是整體OCR（HolisticOCR）和整體推理（HolisticReasoning）。整體OCR要求模型識別整個視頻中出現(xiàn)的所有視覺文本，去除重復(fù)條目，并按時間順序排序。研究者使用F1分?jǐn)?shù)評估這一任務(wù)，基于實(shí)例級精確度和召回率計(jì)算。整體推理則評估模型通過整合識別的文本信息與全局語義上下文來理解視頻整體主題的能力。這個任務(wù)被設(shè)計(jì)為多標(biāo)簽選擇問題，模型需要從七個候選選項(xiàng)中選擇三個正確答案，性能通過top-3準(zhǔn)確率衡量。

第二組任務(wù)是局部OCR（LocalOCR）和局部推理（LocalReasoning）。與整體任務(wù)不同，局部任務(wù)關(guān)注模型在用戶指定視頻段內(nèi)發(fā)現(xiàn)和解釋視覺文本的能力。局部OCR要求識別給定段內(nèi)出現(xiàn)的所有視覺文本，使用實(shí)例級匹配的F1分?jǐn)?shù)評估。局部推理評估模型從文本推斷局部語義含義或意圖的能力，設(shè)計(jì)為多項(xiàng)選擇題，通過答案準(zhǔn)確率衡量性能。

第三組任務(wù)是文本定位（TextLocalization）和時間因果推理（TemporalCausalReasoning）。類似于時間定位任務(wù)，文本定位要求模型準(zhǔn)確預(yù)測特定文本在視頻中出現(xiàn)的時間間隔，使用基于地面真相時間跨度的平均交并比（mIoU）評估。相應(yīng)的推理任務(wù)——時間因果推理，超越了定位，評估模型是否能推斷識別文本與后續(xù)多模態(tài)事件或動作之間的因果關(guān)系。標(biāo)準(zhǔn)評估采用多項(xiàng)選擇形式，以準(zhǔn)確率作為性能指標(biāo)。

第四組任務(wù)是文本跟蹤（TextTracking）和空間推理（SpatialReasoning）。給定目標(biāo)文本實(shí)例，文本跟蹤要求模型預(yù)測其在視頻中首次和最后出現(xiàn)時的空間邊界框位置。空間推理擴(kuò)展了這一任務(wù)，要求模型在指定時間戳推斷文本實(shí)例與周圍視覺元素之間的空間關(guān)系。為了實(shí)現(xiàn)與LMMs的標(biāo)準(zhǔn)化評估，這兩個任務(wù)都被格式化為多項(xiàng)選擇題。

這一層次化的任務(wù)體系使VidText能夠評估模型在感知和推理兩個層次上處理不同粒度視頻文本的能力，從整體視頻主題理解到精細(xì)的時空文本交互。通過將感知任務(wù)與對應(yīng)的推理任務(wù)配對，VidText建立了一個從視覺文本感知到跨模態(tài)推理的全面框架，涵蓋多級理解能力。

四、大型多模態(tài)模型的表現(xiàn)與挑戰(zhàn)

研究團(tuán)隊(duì)對18個最先進(jìn)的大型多模態(tài)模型（LMMs）進(jìn)行了全面評估，包括專有模型（如Gemini系列和GPT系列）和開源模型（如VideoLLaMA 3、InternVL 2.5等）。評估采用零樣本方式進(jìn)行，即模型在沒有任何任務(wù)特定微調(diào)的情況下直接應(yīng)用于VidText任務(wù)。

總體結(jié)果顯示，即使是最先進(jìn)的模型在視頻文本理解方面仍面臨重大挑戰(zhàn)。Gemini 1.5 Pro在所有模型中表現(xiàn)最佳，但其平均得分僅為46.8%，與人類表現(xiàn)水平（89.5%）相差甚遠(yuǎn)。大多數(shù)模型在多粒度任務(wù)上表現(xiàn)不佳，特別是在需要精確視覺文本識別和跨模態(tài)推理的任務(wù)上。

專有模型通常比開源模型表現(xiàn)更好，這可能得益于它們更大的模型規(guī)模和更豐富的訓(xùn)練數(shù)據(jù)。然而，一些開源模型在特定任務(wù)上表現(xiàn)出令人驚訝的強(qiáng)勁結(jié)果。例如，VideoLLaMA 3在時間因果推理和空間推理任務(wù)上取得了最高性能，這表明針對視頻理解的架構(gòu)設(shè)計(jì)可能比簡單的模型規(guī)模更重要。

在多粒度任務(wù)中，視頻級和實(shí)例級任務(wù)比片段級任務(wù)更具挑戰(zhàn)性，這一現(xiàn)象在感知和推理設(shè)置中都存在。研究者推測這是由于當(dāng)前LMMs在兩方面能力有限：視頻級任務(wù)需要全局信息聚合，而實(shí)例級任務(wù)需要精細(xì)檢索和定位，這兩者都是現(xiàn)有模型的弱點(diǎn)。

對于視頻級和實(shí)例級任務(wù)，感知和推理的性能顯示出強(qiáng)相關(guān)性，而在片段級任務(wù)中，兩者相對獨(dú)立。這可能是因?yàn)槟承┢渭壐兄蝿?wù)，如文本定位，需要基于精細(xì)視覺線索的準(zhǔn)確時間定位。然而，相應(yīng)的推理任務(wù)，如時間推理，通?？梢允褂孟∈璨蓸訋械木植恳曈X線索解決，使模型能夠繞過對精確感知輸出的需求。

此外，研究發(fā)現(xiàn)，增加LLM的規(guī)模對推理任務(wù)的性能提升比對感知任務(wù)更顯著。這表明視頻文本感知不能僅通過模型規(guī)模有效改進(jìn)，還需要謹(jǐn)慎的架構(gòu)設(shè)計(jì)、專門的訓(xùn)練數(shù)據(jù)和其他任務(wù)特定考慮因素。

為了進(jìn)一步探索影響視頻文本理解的關(guān)鍵因素，研究團(tuán)隊(duì)進(jìn)行了一系列消融研究。首先，他們驗(yàn)證了VidText的多粒度設(shè)計(jì)的有效性。對于整體任務(wù)，隨機(jī)提取50%的視頻時長作為一個片段，評估整體推理性能；對于片段級和實(shí)例級任務(wù)，基于原始任務(wù)注釋選擇關(guān)鍵片段。結(jié)果表明，片段級和實(shí)例級任務(wù)從基于片段的評估中顯著受益，因?yàn)殛P(guān)鍵幀提供了集中的視覺文本信息。相比之下，整體推理性能下降，因?yàn)槿蝿?wù)需要全局信息聚合，而這在只使用部分片段時會丟失。

其次，研究團(tuán)隊(duì)通過在不同隨機(jī)比例下選擇性地遮蔽視覺文本區(qū)域或周圍視頻內(nèi)容，驗(yàn)證了視頻文本和多模態(tài)上下文聯(lián)合推理的必要性。結(jié)果顯示，所有推理任務(wù)的性能隨著遮蔽比例的增加而一致下降，證實(shí)了文本和視覺線索對VidText任務(wù)設(shè)計(jì)下的推理都至關(guān)重要。

五、關(guān)鍵影響因素與未來改進(jìn)方向

通過深入的消融研究，研究團(tuán)隊(duì)揭示了影響視頻文本理解性能的幾個關(guān)鍵因素，包括模型內(nèi)在因素和外部因素。

在模型內(nèi)在因素方面，首先是輸入分辨率的影響。研究者使用兩個支持可調(diào)輸入大小的代表性模型——Oryx-1.5和InternVL2.5進(jìn)行測試。結(jié)果表明，增加分辨率顯著提高了視頻文本理解性能，特別是對于InternVL2.5，其輸入圖像被分成子塊，更高的分辨率允許更好地保留文本細(xì)節(jié)。

其次是OCR能力的作用。研究者參考了各模型在標(biāo)準(zhǔn)OCR基準(zhǔn)測試（如OCRBench）上的表現(xiàn)，發(fā)現(xiàn)模型的視頻文本理解性能通常與其基礎(chǔ)OCR準(zhǔn)確率一致。這表明強(qiáng)大的基礎(chǔ)文本識別能力是處理視頻文本的先決條件。

最后是LLM骨干網(wǎng)絡(luò)的選擇。比較不同LLM骨干網(wǎng)絡(luò)的結(jié)果顯示，某些架構(gòu)（如Qwen2.5）在多語言場景中表現(xiàn)更強(qiáng)，通常優(yōu)于基于LLaMA的變體。這些觀察共同表明，視頻文本理解受輸入保真度、OCR能力和語言建模能力的綜合影響。

在外部因素方面，研究團(tuán)隊(duì)首先探討了輔助信息是否能增強(qiáng)視頻文本理解，特別是對推理任務(wù)。他們考慮了音頻轉(zhuǎn)錄和視頻文本（如字幕或OCR輸出）兩種模態(tài)，將它們轉(zhuǎn)換為文本序列并附加到原始查詢作為上下文字幕。實(shí)驗(yàn)表明，這兩種來源都對性能有積極貢獻(xiàn)。視頻文本在需要長程上下文的全局任務(wù)中提供更強(qiáng)的增益，而音頻轉(zhuǎn)錄對局部任務(wù)更有益，可能是因?yàn)樗鼈兣c短期動作或事件的對齊。

其次，研究者提出了一種以視頻文本為中心的思維鏈（CoT）推理策略，將復(fù)雜的推理過程分解為結(jié)構(gòu)化的子步驟。具體來說，視頻被均勻分割成多個片段。對于每個片段，模型被提示執(zhí)行三個步驟：（1）發(fā)現(xiàn)所有可見文本，（2）生成對片段的詳細(xì)描述，以及（3）推斷是否有視覺文本與描述在語義上相關(guān)，并相應(yīng)地回答推理問題。這種基于CoT的提示策略在所有推理任務(wù)上都帶來了一致的改進(jìn)，突顯了測試時推理增強(qiáng)對視頻語言模型的潛力。

這些發(fā)現(xiàn)為未來視頻文本理解模型的發(fā)展提供了有價值的指導(dǎo)。它們表明，提高性能不僅需要增加模型規(guī)模，還需要改進(jìn)輸入處理（如更高分辨率）、增強(qiáng)OCR能力、整合輔助模態(tài)信息，以及采用更結(jié)構(gòu)化的推理策略。

六、VidText的意義與未來展望

VidText基準(zhǔn)的提出填補(bǔ)了現(xiàn)有視頻理解基準(zhǔn)中的重要空白。與現(xiàn)有基準(zhǔn)相比，VidText具有更全面的評估能力，包括更廣泛的場景覆蓋、多語言支持、多粒度任務(wù)和成對的感知-推理框架。這使得研究者能夠更全面地評估模型在視頻文本理解方面的能力，并識別需要改進(jìn)的關(guān)鍵領(lǐng)域。

實(shí)驗(yàn)結(jié)果揭示了當(dāng)前大型多模態(tài)模型在視頻文本理解方面的局限性，為未來研究提供了明確方向。盡管最先進(jìn)的模型已經(jīng)能夠處理基本的視頻文本任務(wù)，但它們在需要精確文本定位、跟蹤和跨模態(tài)推理的復(fù)雜任務(wù)上仍然表現(xiàn)不佳。

未來研究可能需要關(guān)注幾個關(guān)鍵方向：首先，開發(fā)能更好地處理高分辨率輸入的架構(gòu)，以捕捉視頻中的細(xì)粒度文本細(xì)節(jié)；其次，增強(qiáng)模型的OCR能力，特別是在多語言和動態(tài)場景中；第三，設(shè)計(jì)更有效的多模態(tài)融合機(jī)制，能夠整合視覺、文本和音頻信息；最后，探索更結(jié)構(gòu)化的推理框架，使模型能夠逐步分解復(fù)雜的視頻文本理解任務(wù)。

VidText不僅為現(xiàn)有視頻理解基準(zhǔn)提供了有價值的補(bǔ)充，還為OCR和多模態(tài)推理社區(qū)提供了新的見解。它展示了視頻文本理解是連接視覺感知和語義推理的重要橋梁，對于構(gòu)建能在動態(tài)環(huán)境中進(jìn)行多模態(tài)推理的人工智能系統(tǒng)至關(guān)重要。

隨著視頻內(nèi)容在互聯(lián)網(wǎng)和社交媒體上的不斷增長，理解視頻中的文本及其與視覺上下文的交互變得越來越重要。VidText基準(zhǔn)為評估和改進(jìn)這一關(guān)鍵能力提供了一個全面的框架，推動了視頻理解技術(shù)的發(fā)展。

總之，VidText代表了視頻文本理解研究的一個重要里程碑，它不僅揭示了當(dāng)前模型的局限性，還為未來的進(jìn)步鋪平了道路。通過提供一個標(biāo)準(zhǔn)化的評估框架，VidText將促進(jìn)更強(qiáng)大、更全面的視頻理解系統(tǒng)的發(fā)展，最終使人工智能能夠更好地理解和解釋我們?nèi)粘Ｉ钪胸S富的多模態(tài)內(nèi)容。