這項由清華大學、北京大學等多所知名院校組成的MiniCPM-V團隊在2025年9月發(fā)表的研究成果，標志著多模態(tài)大語言模型發(fā)展的一個重要里程碑。研究論文《MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipes》詳細闡述了這一突破性模型的技術(shù)創(chuàng)新。有興趣深入了解的讀者可以通過論文編號arXiv:2509.18154v1查詢完整論文。

當下的人工智能發(fā)展就像一場激烈的軍備競賽，各大科技公司都在比拼誰能造出更大、更強的模型。然而，這種追求"大即是美"的趨勢也帶來了巨大的問題——就像開著油老虎的豪車在城市里堵車一樣，雖然性能強勁，但實際使用時既費錢又不實用。MiniCPM-V 4.5的出現(xiàn)就像是一輛精巧的混合動力車，在保證強勁性能的同時，大幅降低了"油耗"。

這個僅有80億參數(shù)的"小身材"模型，在理解圖像、視頻和文字方面的能力竟然超越了許多體型龐大的競爭對手，包括參數(shù)量達到720億的Qwen2.5-VL模型，甚至在某些任務(wù)上能與OpenAI的GPT-4o相提并論。更令人驚嘆的是，它處理視頻的效率之高，就像是把原本需要一整天才能完成的工作壓縮到了幾個小時內(nèi)完成。

一、架構(gòu)創(chuàng)新：給AI裝上"壓縮神器"

傳統(tǒng)的多模態(tài)AI模型在處理圖像和視頻時面臨著一個巨大的挑戰(zhàn)，就像是要把一整部電影的內(nèi)容塞進一張明信片里一樣困難。每當模型需要"看懂"一段視頻時，它必須將視頻拆解成成千上萬個小片段來分析，這就像是要逐幀分析一部兩小時電影的每一秒畫面，計算量可想而知。

MiniCPM-V 4.5的研究團隊提出了一個巧妙的解決方案——統(tǒng)一3D重采樣器。這個技術(shù)創(chuàng)新就像是給AI安裝了一個超級智能的"壓縮神器"。傳統(tǒng)方法處理一段6秒、每秒2幀、分辨率為448×448的視頻需要1536到3072個"信息單元"，而MiniCPM-V 4.5只需要128個，壓縮效率提升了12到24倍。

這種壓縮并不是簡單的畫質(zhì)降低，而是更像一個經(jīng)驗豐富的電影剪輯師，能夠從大量素材中提取出最關(guān)鍵的信息。傳統(tǒng)的2D處理方式就像是一張張獨立分析照片，而3D重采樣器則能夠同時考慮時間和空間的信息，發(fā)現(xiàn)視頻中相鄰幀之間的關(guān)聯(lián)性和冗余信息，從而實現(xiàn)高效壓縮。

更巧妙的是，這個3D重采樣器不僅能處理視頻，還能處理靜態(tài)圖像，就像是一把萬能鑰匙，能夠開啟不同類型的鎖。這種統(tǒng)一設(shè)計大大簡化了模型的復雜度，同時也讓知識在圖像和視頻理解之間可以相互遷移。研究團隊發(fā)現(xiàn)，即使沒有專門訓練視頻中的文字識別，模型也自然而然地獲得了這種能力，這種跨領(lǐng)域的知識遷移效應(yīng)令人印象深刻。

二、數(shù)據(jù)策略：讓AI直接從文檔中"偷師學藝"

傳統(tǒng)的AI訓練就像是讓學生通過轉(zhuǎn)述來學習，老師先把書本內(nèi)容口述給另一個人，然后這個人再轉(zhuǎn)告給學生。這種間接學習方式不僅容易出錯，還會丟失很多重要信息。大多數(shù)現(xiàn)有的模型在學習文檔知識時，都需要依賴外部工具先把PDF文檔轉(zhuǎn)換成文字和圖片的組合，但這些工具經(jīng)常在復雜排版面前"抓瞎"，導致信息缺失或錯誤。

MiniCPM-V 4.5采用了一種全新的"直接學習"策略，就像是讓學生直接從原始教材中學習。研究團隊設(shè)計了一個巧妙的訓練方法：他們故意對文檔中的文字區(qū)域施加不同程度的"干擾"，然后讓模型學會在不同干擾程度下恢復原始文字。

這個過程分為三個層次，就像是訓練一個偵探在不同光線條件下破案。當文字只是輕微模糊時，模型學會精確的文字識別，就像在明亮燈光下閱讀；當文字嚴重模糊但仍有痕跡時，模型需要結(jié)合視覺線索和上下文進行推理，就像在昏暗光線下憑借經(jīng)驗判斷；當文字完全被遮擋時，模型必須完全依靠文檔的其他部分（圖表、標題、段落結(jié)構(gòu)等）來推斷被遮擋的內(nèi)容，就像在完全黑暗中憑借其他感官導航。

這種訓練方式讓模型既具備了強大的文字識別能力，又培養(yǎng)了深度的文檔理解能力。更重要的是，這種方法完全繞過了容易出錯的外部解析工具，讓AI能夠直接從文檔的原始視覺形式中學習知識，就像人類閱讀一樣自然直接。

三、訓練方法：長短結(jié)合的"雙模式思考"

現(xiàn)有的AI模型在思考方式上往往走極端，要么像閃電般快速但淺層地回答問題，要么像哲學家一樣深思熟慮但過于冗長。前者雖然效率高，但面對復雜問題時顯得力不從心；后者雖然推理深入，但即使面對簡單問題也要絮絮叨叨一大堆，效率極低。

MiniCPM-V 4.5創(chuàng)新性地實現(xiàn)了"雙模式思考"機制，就像是培養(yǎng)了一個既能快速反應(yīng)又能深度思考的全能助手。在短推理模式下，模型能夠快速直接地回答簡單問題，就像熟練的服務(wù)員能夠立即理解并滿足顧客的基本需求。在長推理模式下，模型會展開詳細的思考過程，一步步分析復雜問題，就像資深顧問在解決復雜商業(yè)問題時的系統(tǒng)性分析。

更巧妙的是，研究團隊在訓練過程中讓這兩種模式相互學習、相互促進。他們發(fā)現(xiàn)，短推理模式學到的直接性和效率能夠讓長推理模式更加精煉，而長推理模式的深度思考能力也能增強短推理模式的準確性。這種互補式訓練只需要原來訓練樣本的70%就能達到更好的效果，就像是讓兩個不同專長的學生互相輔導，最終都獲得了更全面的能力。

在技術(shù)實現(xiàn)上，研究團隊采用了強化學習的方法，讓模型在實際使用中不斷優(yōu)化自己的回答質(zhì)量。他們還特別注重減少AI的"胡說八道"問題，通過RLAIF-V技術(shù)讓模型的回答更加可靠和真實，這就像是給AI安裝了一個"事實核查器"，確保它不會信口開河。

四、性能表現(xiàn)：小個子的大能量

MiniCPM-V 4.5的實際表現(xiàn)就像是一個小個子選手在奧運會上連續(xù)打破多項紀錄。在OpenCompass這個被譽為多模態(tài)AI"奧運會"的綜合評測中，它以77.0分的成績超越了許多體量龐大的競爭對手，包括參數(shù)量達到720億的Qwen2.5-VL（76.1分）和OpenAI的GPT-4o-latest（75.4分）。

在視頻理解能力方面，MiniCPM-V 4.5的表現(xiàn)更是令人驚嘆。在VideoMME這個專門測試視頻理解能力的基準測試中，它不僅取得了優(yōu)異的成績，更重要的是效率驚人。處理同樣的視頻內(nèi)容，它只需要其他先進模型8.7%的時間和46.7%的顯存，就像是用一輛小排量汽車跑出了超級跑車的速度，同時油耗還極低。

在文字識別和文檔理解方面，MiniCPM-V 4.5在OCRBench測試中取得了89.0分的優(yōu)異成績，超越了包括GPT-4o在內(nèi)的多個知名模型。更值得一提的是，在OmniDocBench這個專門測試PDF文檔解析能力的基準上，它的錯誤率只有0.175，遠低于其他模型，證明了其直接從文檔學習策略的有效性。

在減少AI"胡說八道"方面，MiniCPM-V 4.5也表現(xiàn)出色。在HallusionBench、ObjHalBench等專門測試AI可靠性的基準上，它的表現(xiàn)顯著優(yōu)于其他模型，就像是一個既博學又誠實的助手，不會為了顯示博學而編造不存在的事實。

五、技術(shù)細節(jié)：烹飪高效AI的"秘方"

MiniCPM-V 4.5的成功并非偶然，而是研究團隊精心設(shè)計的多項技術(shù)創(chuàng)新的完美結(jié)合，就像是一道復雜菜肴需要多種配料和烹飪技巧的完美配合。

在模型架構(gòu)設(shè)計上，研究團隊采用了漸進式訓練策略，就像是教孩子學習時從簡單到復雜的循序漸進。他們首先訓練視覺編碼器建立基本的圖像理解能力，然后逐步加入文字理解和復雜推理能力，最后整合所有組件進行端到端的優(yōu)化。這種分階段訓練不僅提高了訓練效率，還確保了每個組件都能得到充分的優(yōu)化。

在數(shù)據(jù)處理方面，研究團隊收集了豐富多樣的訓練數(shù)據(jù)，包括來自LAION-2B、COYO等大規(guī)模數(shù)據(jù)集的圖像-文本對，以及專門收集的中文多模態(tài)數(shù)據(jù)。他們還特別注重數(shù)據(jù)質(zhì)量，通過多輪篩選和清洗確保訓練數(shù)據(jù)的高質(zhì)量，就像是精心挑選食材來保證菜肴的品質(zhì)。

在強化學習階段，研究團隊設(shè)計了一套復合獎勵機制，既考慮回答的準確性，也關(guān)注格式的規(guī)范性和內(nèi)容的真實性。他們巧妙地將簡單問題的規(guī)則驗證和復雜回答的概率評估相結(jié)合，為不同類型的任務(wù)提供合適的反饋信號。

六、實際應(yīng)用：從實驗室到現(xiàn)實世界

MiniCPM-V 4.5的高效性使其在實際應(yīng)用中具有顯著優(yōu)勢，就像是一臺既省電又高效的家用電器，不僅性能優(yōu)秀，還非常實用。

在教育領(lǐng)域，這個模型可以作為智能教學助手，幫助學生理解復雜的圖表、解決數(shù)學問題，或者從教科書中提取關(guān)鍵信息。其強大的文檔理解能力意味著它可以直接處理PDF格式的教材，無需人工轉(zhuǎn)換，大大提高了使用的便利性。

在辦公自動化方面，MiniCPM-V 4.5可以幫助用戶快速處理各種文檔，從合同中提取關(guān)鍵信息，分析數(shù)據(jù)圖表，或者總結(jié)會議記錄。其雙模式推理能力讓它既能快速處理簡單任務(wù)，又能深入分析復雜問題。

在內(nèi)容創(chuàng)作領(lǐng)域，這個模型的高效視頻理解能力使其能夠協(xié)助視頻編輯、內(nèi)容審核和素材分析等工作。創(chuàng)作者可以利用它快速分析視頻內(nèi)容，生成摘要或者提取關(guān)鍵幀。

更重要的是，由于其高效的設(shè)計，MiniCPM-V 4.5可以在相對較小的硬件設(shè)備上運行，這意味著更多的開發(fā)者和研究者可以使用這項技術(shù)，推動整個AI生態(tài)系統(tǒng)的發(fā)展。

研究團隊還特別重視模型的可信度，通過RLAIF-V技術(shù)顯著減少了模型的幻覺問題。這使得模型在需要高可靠性的應(yīng)用場景中更加實用，比如醫(yī)療文檔分析、法律文件處理等敏感領(lǐng)域。

說到底，MiniCPM-V 4.5代表了AI發(fā)展的一個重要轉(zhuǎn)折點。它證明了"小而美"的設(shè)計理念同樣可以創(chuàng)造出卓越的性能，甚至在某些方面超越那些資源消耗巨大的大型模型。這種高效的設(shè)計思路不僅降低了AI技術(shù)的使用門檻，也為未來AI的普及應(yīng)用鋪平了道路。

這項研究的意義遠超技術(shù)層面，它向我們展示了創(chuàng)新的力量——有時候最好的解決方案并非追求更大更強，而是追求更智能更高效。就像一個精明的工程師能用簡單的杠桿原理舉起巨石一樣，MiniCPM-V 4.5用巧妙的設(shè)計實現(xiàn)了以小博大的奇跡。對于普通用戶而言，這意味著未來我們將能夠以更低的成本享受到更好的AI服務(wù)，而對于研究者和開發(fā)者來說，這為他們提供了一個強大而實用的工具，去創(chuàng)造更多令人興奮的應(yīng)用。

Q&A

Q1：MiniCPM-V 4.5的參數(shù)量只有80億，為什么能超越參數(shù)量更大的模型？

A：MiniCPM-V 4.5的成功在于巧妙的設(shè)計而非單純的規(guī)模。它采用了統(tǒng)一3D重采樣器大幅提升處理效率，將視頻壓縮率提升12-24倍；創(chuàng)新的文檔直接學習方法避免了信息損失；雙模式推理機制讓模型既能快速響應(yīng)又能深度思考。就像一臺精密設(shè)計的瑞士手表，雖然體積小巧但功能強大，關(guān)鍵在于每個部件的精確配合和優(yōu)化設(shè)計。

Q2：MiniCPM-V 4.5的雙模式推理是如何工作的？

A：雙模式推理就像培養(yǎng)一個既能快速反應(yīng)又能深度思考的助手。短推理模式下，模型直接給出簡潔答案，適合處理簡單問題；長推理模式下，模型會展開詳細的思考過程，一步步分析復雜問題。更巧妙的是，訓練時兩種模式相互學習促進，短模式的效率讓長模式更精煉，長模式的深度讓短模式更準確，最終只需70%的訓練樣本就能達到更好效果。

Q3：普通用戶什么時候能使用到MiniCPM-V 4.5技術(shù)？

A：研究團隊已經(jīng)開源了MiniCPM-V 4.5的代碼和模型，技術(shù)愛好者和開發(fā)者現(xiàn)在就可以使用。由于其高效設(shè)計，相比其他大型模型需要的硬件資源更少，這意味著更多開發(fā)者能夠基于它開發(fā)應(yīng)用。隨著技術(shù)的進一步優(yōu)化和應(yīng)用開發(fā)，普通用戶很快就能在各種智能應(yīng)用中體驗到這項技術(shù)帶來的便利。