這項由上海AI實驗室張子誠、趙向宇等研究人員領(lǐng)導(dǎo)的研究發(fā)表于2025年1月的arXiv預(yù)印本平臺，論文編號為arXiv:2501.13953v2。有興趣深入了解的讀者可以通過https://arxiv.org/abs/2501.13953訪問完整論文。

當(dāng)我們想要評價一個學(xué)生的學(xué)習(xí)能力時，通常會設(shè)計各種考試來測試他們在數(shù)學(xué)、語文、英語等不同科目上的表現(xiàn)。類似地，在人工智能領(lǐng)域，研究人員為了評估多模態(tài)大語言模型的能力，也設(shè)計了數(shù)百種不同的測試基準(zhǔn)。然而，正如給同一個學(xué)生反復(fù)考相同題目沒有太大意義一樣，當(dāng)前AI模型評測領(lǐng)域也面臨著一個嚴(yán)重問題：太多的測試基準(zhǔn)在重復(fù)評估相同的能力，造成了大量的資源浪費和評估冗余。

上海AI實驗室的這項研究就像是給AI評測領(lǐng)域做了一次全面的"體檢"，發(fā)現(xiàn)了一個令人擔(dān)憂的現(xiàn)象：在每年產(chǎn)生的數(shù)百個評測基準(zhǔn)中，存在著大量的重復(fù)和冗余。研究團隊通過分析超過100個多模態(tài)大語言模型在20多個不同基準(zhǔn)上的表現(xiàn)，系統(tǒng)性地揭示了當(dāng)前評測體系中的三大冗余問題。

這項研究的意義就像是為混亂的考試制度提供了一套科學(xué)的管理方案。在AI技術(shù)快速發(fā)展的今天，各種評測基準(zhǔn)如雨后春筍般涌現(xiàn)，但缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)劃，導(dǎo)致研究資源的大量浪費。通過這項研究，我們可以更好地理解哪些測試是真正必要的，哪些可能是多余的，從而為未來更高效的AI評測體系建設(shè)提供科學(xué)指導(dǎo)。

一、多維度冗余問題的系統(tǒng)性分析

研究團隊發(fā)現(xiàn)，當(dāng)前AI評測中的冗余問題就像是一座冰山，表面看起來只是個別測試的重復(fù)，實際上是一個涉及多個層面的系統(tǒng)性問題。他們將這個復(fù)雜問題分解為三個主要維度來分析，這種分解方式就像醫(yī)生診斷疾病時要從癥狀、病因、傳播途徑等多個角度來全面分析一樣。

第一個維度是基準(zhǔn)內(nèi)部維度的冗余問題。這就好比一份綜合性考試卷子里，數(shù)學(xué)部分的幾道題目實際上都在考查同樣的知識點，比如都在測試學(xué)生的乘法運算能力，只是換了不同的數(shù)字和情境。在AI評測中，這種現(xiàn)象表現(xiàn)為同一個測試基準(zhǔn)內(nèi)部的不同任務(wù)實際上在評估模型的相同能力。

第二個維度是測試題目數(shù)量的冗余。這種情況類似于一次考試中出了50道相似的選擇題來測試同一個知識點，而實際上10道題就足以準(zhǔn)確評估學(xué)生的掌握程度。在AI評測中，許多基準(zhǔn)包含了遠(yuǎn)超必要數(shù)量的測試實例，導(dǎo)致評測時間和計算資源的浪費，而測試結(jié)果的可靠性并沒有因為題目數(shù)量的增加而顯著提升。

第三個維度是跨基準(zhǔn)的領(lǐng)域內(nèi)冗余。這就像是針對同一個學(xué)科（比如數(shù)學(xué)）設(shè)計了十幾套不同的考試，但這些考試實際上都在測試相似的能力，只是題目形式略有不同。在特定的AI應(yīng)用領(lǐng)域內(nèi)，不同的評測基準(zhǔn)往往存在重疊的評估目標(biāo)，導(dǎo)致重復(fù)勞動。

為了量化這些冗余問題，研究團隊提出了一個基于性能相關(guān)性的分析框架。這個框架的核心思想非常直觀：如果兩個測試任務(wù)真正評估的是不同的能力，那么不同模型在這兩個任務(wù)上的表現(xiàn)排名應(yīng)該有明顯差異；反之，如果兩個任務(wù)評估的是相同或相似的能力，那么模型們在這兩個任務(wù)上的表現(xiàn)排名應(yīng)該高度一致。

這種分析方法就像是通過觀察學(xué)生在不同考試中的成績排名來判斷這些考試是否真的在測試不同能力。如果學(xué)霸在語文考試中排第一，在數(shù)學(xué)考試中卻排在中等水平，那說明這兩門考試確實在測試不同的能力。但如果某個學(xué)生在所有標(biāo)榜為"數(shù)學(xué)測試"的考試中排名都差不多，那就說明這些考試可能都在測試相同的數(shù)學(xué)能力。

二、維度冗余的深度剖析

通過對MMBench這個廣泛使用的多模態(tài)評測基準(zhǔn)的詳細(xì)分析，研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：模型能力的不同層次會顯著影響維度冗余的程度。這種現(xiàn)象就像是用同一套考試來測試小學(xué)生和大學(xué)生，會得到完全不同的結(jié)果模式。

當(dāng)研究團隊分別分析表現(xiàn)最好的50個模型（稱為Top-50）和表現(xiàn)最差的50個模型（稱為Bottom-50）時，發(fā)現(xiàn)了截然不同的冗余模式。對于表現(xiàn)較差的模型群體，幾乎所有評測維度之間都顯示出很高的相關(guān)性，相關(guān)系數(shù)普遍超過0.6。這意味著這些能力相對較弱的模型在各個維度上的表現(xiàn)都比較相似，就像是基礎(chǔ)薄弱的學(xué)生在各個科目上都表現(xiàn)平平，很難看出他們在不同能力方面的差異。

這種現(xiàn)象的根本原因在于，當(dāng)模型的基礎(chǔ)能力還不夠強時，它們在面對各種不同類型的任務(wù)時，往往都會遇到相似的困難。就好比一個剛學(xué)會走路的小孩，無論是在平地、草地還是沙灘上行走，表現(xiàn)都差不多，因為他們的基本協(xié)調(diào)能力還沒有發(fā)展成熟，無法針對不同環(huán)境做出精細(xì)的適應(yīng)性調(diào)整。

相比之下，表現(xiàn)優(yōu)秀的模型群體展現(xiàn)出了更加多樣化的能力分布模式。在Top-50模型的分析中，不同維度之間的相關(guān)性顯著降低，許多維度對之間的相關(guān)系數(shù)低于0.3。這表明高能力模型在不同任務(wù)類型上表現(xiàn)出更大的差異化，就像是優(yōu)秀的學(xué)生可能在某些科目上表現(xiàn)突出，在另一些科目上相對平平，體現(xiàn)出更加個性化的能力特征。

通過具體的維度分析，研究團隊發(fā)現(xiàn)了一些有趣的模式。比如，"圖像情感理解"和"社會關(guān)系推理"這兩個看似不同的維度在評估中顯示出很強的冗余性，說明這兩種能力在某種程度上依賴相同的基礎(chǔ)理解能力。而"名人識別"這個基于知識記憶的任務(wù)則與其他主要基于視覺理解的任務(wù)顯示出較低的相關(guān)性，體現(xiàn)了知識型任務(wù)與感知型任務(wù)的本質(zhì)差異。

另一個值得注意的發(fā)現(xiàn)是"圖像主題識別"和"圖像場景理解"這兩個維度表現(xiàn)出相對獨立的特征。這種獨立性可能源于這兩個任務(wù)的復(fù)雜性：準(zhǔn)確識別圖像的整體主題或場景需要模型具備高層次的抽象理解能力，而不僅僅是對局部特征的識別，因此與評估具體屬性或關(guān)系的其他維度存在本質(zhì)差異。

三、實例數(shù)量冗余的量化發(fā)現(xiàn)

在測試實例數(shù)量方面的分析中，研究團隊得出了一個令人震驚的結(jié)論：大多數(shù)現(xiàn)有的AI評測基準(zhǔn)都包含了遠(yuǎn)超必要數(shù)量的測試實例，至少50%的測試題目是多余的。這個發(fā)現(xiàn)就像是發(fā)現(xiàn)一場馬拉松比賽實際上跑到一半就足以準(zhǔn)確評估選手的真實水平，而后半程只是在重復(fù)驗證已經(jīng)明確的結(jié)果。

研究團隊通過一種巧妙的抽樣驗證方法來量化這種冗余。他們將每個評測基準(zhǔn)的所有測試實例看作是完整的"標(biāo)準(zhǔn)答案"，然后隨機抽取不同比例的實例子集，觀察基于這些子集得出的模型排名與基于完整數(shù)據(jù)集的排名有多大差異。結(jié)果顯示，當(dāng)抽樣比例達到50%時，絕大多數(shù)基準(zhǔn)的模型排名相關(guān)系數(shù)都能超過0.95，這意味著用一半的題目就能得到幾乎相同的評估結(jié)果。

更進一步的分析顯示，這種實例冗余的程度與被評估模型的能力水平密切相關(guān)。對于能力較弱的模型群體，甚至30-40%的實例就足以給出可靠的排名結(jié)果，而對于能力較強的模型，則需要相對更多的實例來進行精細(xì)化的區(qū)分。這種差異就像是用簡單的算術(shù)題就能快速區(qū)分?jǐn)?shù)學(xué)零基礎(chǔ)的學(xué)生和有一定基礎(chǔ)的學(xué)生，但要區(qū)分?jǐn)?shù)學(xué)競賽選手之間的水平差異，就需要更多更難的題目。

在具體的基準(zhǔn)分析中，研究團隊發(fā)現(xiàn)不同類型的測試基準(zhǔn)表現(xiàn)出不同程度的實例冗余。一些基準(zhǔn)如RealWorldQA需要相對更多的實例才能達到穩(wěn)定的評估結(jié)果，這可能與其題目設(shè)計的多樣性和復(fù)雜性有關(guān)。而另一些基準(zhǔn)則表現(xiàn)出更高的冗余度，暗示其內(nèi)部包含了大量相似或重復(fù)的測試實例。

特別值得關(guān)注的是，研究團隊發(fā)現(xiàn)用于模型排名的準(zhǔn)確性要求和用于絕對性能預(yù)測的準(zhǔn)確性要求存在顯著差異。如果目標(biāo)只是確定哪個模型更好（排名），那么相對較少的實例就足夠了；但如果需要準(zhǔn)確預(yù)測模型的具體性能分?jǐn)?shù)，則需要更多的實例。這種差異在R?分?jǐn)?shù)的分析中表現(xiàn)得尤為明顯：即使排名相關(guān)性已經(jīng)超過0.95，R?分?jǐn)?shù)要達到同樣水平仍需要更多實例。

這個發(fā)現(xiàn)對實際應(yīng)用具有重要意義。在資源有限的情況下，如果研究目標(biāo)是比較不同模型的相對能力，那么可以適當(dāng)減少測試實例的數(shù)量；但如果需要精確的性能預(yù)測用于實際部署決策，則需要保持更完整的測試集。

四、跨基準(zhǔn)領(lǐng)域冗余的案例研究

為了深入理解特定領(lǐng)域內(nèi)不同基準(zhǔn)之間的冗余關(guān)系，研究團隊選擇了數(shù)學(xué)推理這一熱門領(lǐng)域進行詳細(xì)的案例研究。數(shù)學(xué)推理被認(rèn)為是評估AI模型高級認(rèn)知能力的重要指標(biāo)，因此涌現(xiàn)出了眾多專門的評測基準(zhǔn)，包括MathVista、MathVision、MathVerse和DynaMath等。

初步分析顯示，盡管這四個基準(zhǔn)都聲稱專注于數(shù)學(xué)能力評估，但它們之間的相關(guān)性并不如預(yù)期那樣強烈。這種現(xiàn)象最初讓研究團隊感到困惑，因為按常理來說，如果這些基準(zhǔn)都在測試相同的數(shù)學(xué)推理能力，那么模型在不同基準(zhǔn)上的表現(xiàn)應(yīng)該高度一致才對。

深入分析后，研究團隊發(fā)現(xiàn)了問題的根源。以MathVista為例，該基準(zhǔn)雖然名為數(shù)學(xué)視覺推理測試，但實際上有30-40%的題目屬于通用的視覺問答任務(wù)，與數(shù)學(xué)推理的關(guān)聯(lián)性很弱。這些題目包括科學(xué)圖表理解、通用視覺問答、圖表表格分析等內(nèi)容，雖然可能涉及一些數(shù)字或圖形，但本質(zhì)上不是在測試數(shù)學(xué)推理能力。

這種情況就像是一份標(biāo)榜為"數(shù)學(xué)考試"的試卷中混入了大量語文閱讀理解題和地理圖表分析題。雖然這些題目可能也涉及一些數(shù)字計算，但它們主要考查的是閱讀理解能力和圖表分析能力，而非核心的數(shù)學(xué)推理能力。這種"雜質(zhì)"的存在使得MathVista與其他專注于純數(shù)學(xué)推理的基準(zhǔn)之間產(chǎn)生了較低的相關(guān)性。

為了驗證這一假設(shè)，研究團隊進行了一個對照實驗。他們從MathVista中剔除了那些與數(shù)學(xué)推理關(guān)聯(lián)性較弱的通用視覺問答任務(wù)，只保留真正的數(shù)學(xué)推理題目，然后重新計算它與其他數(shù)學(xué)基準(zhǔn)之間的相關(guān)性。結(jié)果顯示，經(jīng)過"凈化"的MathVista與其他數(shù)學(xué)基準(zhǔn)的相關(guān)性顯著提升，證實了"雜質(zhì)"任務(wù)確實是造成低相關(guān)性的主要原因。

進一步的分析顯示，MathVerse和MathVision這兩個基準(zhǔn)表現(xiàn)出了較高的相關(guān)性，因為它們都專注于傳統(tǒng)的數(shù)學(xué)推理任務(wù)，在任務(wù)設(shè)計和評估重點上有很多共同點。這種高相關(guān)性既可以被解釋為冗余（重復(fù)測試相同能力），也可以被理解為驗證（多個獨立基準(zhǔn)得出一致結(jié)論增強了結(jié)果的可信度）。

通過這個案例研究，研究團隊提出了一個重要的基準(zhǔn)設(shè)計原則：領(lǐng)域內(nèi)基準(zhǔn)的冗余度應(yīng)該與其設(shè)計目標(biāo)相匹配。如果一個基準(zhǔn)的目標(biāo)是全面評估某個領(lǐng)域的核心能力，那么它應(yīng)該與該領(lǐng)域的其他基準(zhǔn)顯示出較高的相關(guān)性，體現(xiàn)出良好的領(lǐng)域代表性。相反，如果一個基準(zhǔn)的目標(biāo)是填補現(xiàn)有評估體系的空白，專注于某些特定的子能力，那么它應(yīng)該與現(xiàn)有基準(zhǔn)表現(xiàn)出相對較低的冗余度，體現(xiàn)出獨特的評估價值。

五、冗余評估框架的技術(shù)實現(xiàn)

研究團隊提出的冗余評估框架采用了三種不同的統(tǒng)計指標(biāo)來全面量化相關(guān)性：斯皮爾曼等級相關(guān)系數(shù)、皮爾遜線性相關(guān)系數(shù)和R?決定系數(shù)。這種多指標(biāo)并用的方法就像是用不同類型的量尺來測量同一個物體，確保測量結(jié)果的全面性和可靠性。

斯皮爾曼等級相關(guān)系數(shù)主要關(guān)注排名的一致性，它回答的問題是："如果模型A在任務(wù)X上比模型B表現(xiàn)更好，那么A在任務(wù)Y上是否也比B表現(xiàn)更好？"這個指標(biāo)對異常值不敏感，能夠捕捉到排名關(guān)系的整體趨勢。在AI模型評估中，排名往往比絕對分?jǐn)?shù)更重要，因為我們通常更關(guān)心哪個模型更優(yōu)秀，而不是具體的分?jǐn)?shù)差異。

皮爾遜線性相關(guān)系數(shù)則關(guān)注數(shù)值之間的線性關(guān)系強度，它能夠反映兩個變量之間是否存在穩(wěn)定的數(shù)量關(guān)系。這個指標(biāo)對異常值比較敏感，但能夠提供關(guān)于變量間關(guān)系強度的精確信息。在基準(zhǔn)冗余分析中，高皮爾遜系數(shù)意味著不同基準(zhǔn)給出的不僅是相似的排名，還有相似的分?jǐn)?shù)分布。

R?決定系數(shù)衡量的是一個變量能在多大程度上預(yù)測另一個變量的取值。在冗余分析的語境下，高R?值意味著如果知道了模型在基準(zhǔn)A上的表現(xiàn)，就能夠相對準(zhǔn)確地預(yù)測它在基準(zhǔn)B上的表現(xiàn)，這直接指向了兩個基準(zhǔn)之間的冗余程度。

為了確保分析結(jié)果的穩(wěn)健性，研究團隊還引入了Top-K分析的概念?？紤]到實際應(yīng)用中人們往往更關(guān)注表現(xiàn)最好的少數(shù)幾個模型，他們專門分析了表現(xiàn)最優(yōu)的K個模型之間的相關(guān)性模式。這種分析方法就像是專門研究班級前幾名學(xué)生的成績模式，往往能夠發(fā)現(xiàn)不同于全班整體模式的特殊規(guī)律。

在實際計算過程中，研究團隊使用了來自VLMEvalKit的大規(guī)模評估數(shù)據(jù)，這個數(shù)據(jù)集包含了100多個模型在20多個基準(zhǔn)上的詳細(xì)表現(xiàn)記錄。這種大規(guī)模數(shù)據(jù)的使用保證了分析結(jié)果的統(tǒng)計顯著性和泛化能力，避免了小樣本分析可能帶來的偶然性誤差。

六、實證研究的重要發(fā)現(xiàn)

通過對大量真實數(shù)據(jù)的深入分析，研究團隊得出了幾個重要且令人深思的發(fā)現(xiàn)。首先，在基準(zhǔn)設(shè)計質(zhì)量方面，他們發(fā)現(xiàn)許多被廣泛使用的評測基準(zhǔn)都存在不同程度的內(nèi)部冗余問題。這種情況就像是發(fā)現(xiàn)許多知名考試的題目設(shè)計存在重復(fù)性問題，不同的題目實際上在測試相同的知識點。

特別值得關(guān)注的是，研究團隊發(fā)現(xiàn)冗余程度與模型能力水平之間存在反向關(guān)系：模型能力越弱，不同維度之間的冗余度越高；模型能力越強，維度間的獨立性越明顯。這個發(fā)現(xiàn)挑戰(zhàn)了一些傳統(tǒng)觀念，暗示我們在設(shè)計評測基準(zhǔn)時應(yīng)該考慮目標(biāo)模型的能力水平。

在實例數(shù)量方面的發(fā)現(xiàn)更是令人震撼。研究顯示，絕大多數(shù)基準(zhǔn)都可以在保持評估準(zhǔn)確性的前提下將測試實例數(shù)量減少至少一半。這意味著當(dāng)前的評測體系存在大量的計算資源浪費，這些資源本可以用于開發(fā)更多樣化的測試任務(wù)或者進行更深入的模型分析。

跨基準(zhǔn)冗余分析揭示了一個更加復(fù)雜的圖景。在某些領(lǐng)域內(nèi)，不同基準(zhǔn)之間確實存在顯著的功能重疊，但這種重疊的程度和性質(zhì)因領(lǐng)域而異。數(shù)學(xué)推理領(lǐng)域的案例研究表明，表面上的低冗余可能掩蓋了基準(zhǔn)設(shè)計中的問題，而真正的冗余評估需要對基準(zhǔn)的具體內(nèi)容進行細(xì)致分析。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：不同類型的評估目標(biāo)對實例數(shù)量的需求差異很大。如果目標(biāo)是進行模型排名，那么相對較少的實例就足夠了；但如果需要準(zhǔn)確預(yù)測模型的絕對性能，就需要更多的測試實例。這個發(fā)現(xiàn)為實際應(yīng)用提供了重要的指導(dǎo)原則：根據(jù)評估目標(biāo)來合理配置測試資源。

七、對AI評測生態(tài)的深遠(yuǎn)影響

這項研究的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面的發(fā)現(xiàn)，它對整個AI評測生態(tài)系統(tǒng)提出了根本性的反思。當(dāng)前AI領(lǐng)域的快速發(fā)展催生了大量的評測基準(zhǔn)，但這種"百花齊放"的局面也帶來了資源分散和重復(fù)建設(shè)的問題。

從研究資源配置的角度來看，冗余的評測基準(zhǔn)意味著大量的人力、物力和計算資源被浪費在重復(fù)性工作上。這些資源本可以用于開發(fā)更有針對性的測試任務(wù)，或者用于解決當(dāng)前評測體系尚未涵蓋的能力盲區(qū)。研究團隊的發(fā)現(xiàn)為重新優(yōu)化資源配置提供了科學(xué)依據(jù)。

在學(xué)術(shù)研究方面，冗余問題可能導(dǎo)致研究方向的偏向。如果某些能力被多個基準(zhǔn)重復(fù)測試，而另一些重要能力卻缺乏有效的評估手段，那么研究人員可能會過度關(guān)注那些"測試充分"的能力，而忽視了其他同樣重要但"測試不足"的能力領(lǐng)域。

對于工業(yè)應(yīng)用而言，冗余的評測體系增加了模型選擇和部署的復(fù)雜性。當(dāng)面對眾多聲稱測試相同能力的基準(zhǔn)時，工程師們往往難以確定應(yīng)該相信哪個結(jié)果，或者需要在多個相似的基準(zhǔn)上都進行測試以確保全面性，這無疑增加了開發(fā)和部署的成本。

研究團隊的分析還揭示了評測基準(zhǔn)標(biāo)準(zhǔn)化的重要性。目前的基準(zhǔn)開發(fā)往往缺乏統(tǒng)一的規(guī)范和協(xié)調(diào)機制，導(dǎo)致不同團隊開發(fā)的基準(zhǔn)之間存在不必要的重疊。建立更好的協(xié)調(diào)機制和標(biāo)準(zhǔn)化流程，可以在保持創(chuàng)新活力的同時減少無效的重復(fù)工作。

從更宏觀的角度來看，這項研究提出了關(guān)于AI評測哲學(xué)的深層次問題：我們應(yīng)該追求評測的全面性還是效率性？如何在確保評估準(zhǔn)確性的同時避免過度測試？這些問題沒有標(biāo)準(zhǔn)答案，但研究團隊的工作為相關(guān)討論提供了重要的數(shù)據(jù)支撐。

八、基準(zhǔn)設(shè)計的指導(dǎo)原則

基于大量的實證分析，研究團隊提出了一套科學(xué)的基準(zhǔn)設(shè)計指導(dǎo)原則。這些原則就像是建筑師設(shè)計房屋時需要遵循的結(jié)構(gòu)安全規(guī)范，為創(chuàng)建高效、有用的評測基準(zhǔn)提供了明確的方向。

第一個核心原則是維度獨立性的平衡。理想的基準(zhǔn)應(yīng)該確保其各個評測維度相對獨立，避免重復(fù)測試相同的能力。但研究團隊也認(rèn)識到，完全的獨立性在實際中可能難以實現(xiàn)，因為許多復(fù)雜的AI能力本身就需要多種基礎(chǔ)能力的協(xié)同配合。因此，合理的做法是在保持主要維度獨立的同時，允許適度的能力交叉，這種交叉應(yīng)該是有意識的設(shè)計選擇而非無意中的重復(fù)。

第二個原則關(guān)注實例數(shù)量的優(yōu)化。基準(zhǔn)設(shè)計者應(yīng)該通過系統(tǒng)性的抽樣分析來確定最優(yōu)的實例數(shù)量，既要保證評估結(jié)果的可靠性，又要避免不必要的資源浪費。這個過程就像是調(diào)試烹飪配方中各種調(diào)料的用量，既要保證味道的豐富性，又要避免某種調(diào)料過多而掩蓋其他味道。

第三個原則涉及領(lǐng)域代表性的考量。對于旨在全面評估某個特定領(lǐng)域能力的基準(zhǔn)，適當(dāng)?shù)目缁鶞?zhǔn)冗余實際上是有益的，因為它能夠驗證評估結(jié)果的一致性和可靠性。相反，如果基準(zhǔn)的目標(biāo)是填補現(xiàn)有評估體系的空白，那么它應(yīng)該刻意避免與現(xiàn)有基準(zhǔn)的重疊，專注于開發(fā)獨特的測試任務(wù)。

在實際的基準(zhǔn)開發(fā)過程中，研究團隊建議采用迭代式的設(shè)計方法。首先開發(fā)一個包含較多維度和實例的初版基準(zhǔn)，然后通過冗余分析來識別可能的重復(fù)部分，最后基于分析結(jié)果對基準(zhǔn)進行精簡和優(yōu)化。這種方法可以在保證覆蓋面的同時最大化效率。

研究團隊還強調(diào)了測試對象特征的重要性。由于不同能力水平的模型表現(xiàn)出不同的冗余模式，基準(zhǔn)設(shè)計者應(yīng)該明確其目標(biāo)測試對象的特征。如果主要用于評估高能力模型，那么需要設(shè)計更多樣化、更獨立的測試維度；如果主要用于評估基礎(chǔ)能力模型，那么可以適當(dāng)簡化維度結(jié)構(gòu)。

九、未來研究的廣闊前景

這項開創(chuàng)性研究雖然提供了重要的洞察，但同時也為未來的研究開辟了眾多有待探索的方向。研究團隊坦率地承認(rèn)了當(dāng)前工作的一些局限性，這種學(xué)術(shù)誠實為后續(xù)研究指明了改進的路徑。

首先，當(dāng)前的冗余評估框架主要基于性能相關(guān)性分析，這種方法雖然直觀有效，但可能無法捕捉到一些更微妙的差異。未來的研究可以探索更加精細(xì)的分析方法，比如基于模型內(nèi)部表征的相似性分析，或者基于失敗案例模式的差異性分析。這些方法可能揭示出表面上相似但實質(zhì)上不同的評測任務(wù)。

其次，目前的研究主要關(guān)注靜態(tài)的冗余分析，即基于當(dāng)前可用模型和基準(zhǔn)的分析。但隨著AI技術(shù)的快速發(fā)展，模型能力不斷提升，原本具有區(qū)分度的測試任務(wù)可能逐漸失去挑戰(zhàn)性。因此，動態(tài)的冗余分析方法值得深入研究，這種方法需要考慮技術(shù)發(fā)展的趨勢和評測需求的演變。

模型選擇偏差是另一個重要的研究方向。當(dāng)前的分析基于特定的模型集合，而不同的模型選擇可能導(dǎo)致不同的冗余結(jié)論。未來的研究需要開發(fā)更加穩(wěn)健的分析方法，能夠在不同的模型組合下得出一致的結(jié)論，或者至少能夠量化模型選擇對分析結(jié)果的影響。

跨模態(tài)和跨領(lǐng)域的冗余分析也是一個充滿潛力的方向。當(dāng)前的研究主要關(guān)注多模態(tài)語言模型，但類似的冗余問題可能在其他類型的AI系統(tǒng)中也存在。擴展當(dāng)前的分析框架來處理不同模態(tài)、不同任務(wù)類型的評測基準(zhǔn)，可能為整個AI評測生態(tài)提供更全面的指導(dǎo)。

在方法學(xué)層面，開發(fā)自動化的冗余檢測和基準(zhǔn)優(yōu)化工具是一個實用性很強的研究方向。這種工具可以幫助基準(zhǔn)開發(fā)者在設(shè)計階段就識別出可能的冗余問題，或者為現(xiàn)有基準(zhǔn)提供優(yōu)化建議。這種工具的開發(fā)需要結(jié)合機器學(xué)習(xí)、統(tǒng)計分析和人機交互等多個領(lǐng)域的知識。

說到底，這項來自上海AI實驗室的研究就像是為混亂的AI評測世界帶來了一面鏡子，讓我們清楚地看到了當(dāng)前體系中存在的問題和改進空間。它不僅揭示了大量資源被浪費在重復(fù)測試上的現(xiàn)實，更為建設(shè)更科學(xué)、更高效的評測體系提供了具體的行動指南。

這個發(fā)現(xiàn)對所有關(guān)心AI發(fā)展的人都很重要。對研究人員來說，它意味著可以把精力集中在真正有價值的測試開發(fā)上，而不是重復(fù)造輪子。對企業(yè)來說，它提供了更經(jīng)濟有效的模型評估策略。對整個AI社區(qū)來說，它指向了一個更加規(guī)范和高效的未來發(fā)展方向。

雖然這項研究主要針對多模態(tài)大語言模型，但其提出的分析方法和設(shè)計原則具有更廣泛的適用性。隨著AI技術(shù)繼續(xù)快速發(fā)展，類似的冗余問題可能在其他AI子領(lǐng)域中也會出現(xiàn)。提前建立科學(xué)的評估和管理機制，將有助于整個AI生態(tài)系統(tǒng)的健康發(fā)展。當(dāng)然，完美的評測體系可能永遠(yuǎn)不會存在，但通過持續(xù)的研究和改進，我們至少可以朝著更科學(xué)、更有效的方向不斷前進。

Q&A

Q1：什么是多模態(tài)大語言模型評測基準(zhǔn)的冗余問題？

A：冗余問題指的是不同的測試基準(zhǔn)實際上在重復(fù)評估AI模型的相同能力，造成資源浪費。就像給同一個學(xué)生反復(fù)考相同的題目一樣，許多AI評測基準(zhǔn)都在測試模型的相似能力，只是換了不同的題目形式，導(dǎo)致評估效率低下。

Q2：為什么高能力模型和低能力模型的冗余程度不同？

A：低能力模型由于基礎(chǔ)能力薄弱，在各種任務(wù)上表現(xiàn)都比較相似，就像基礎(chǔ)薄弱的學(xué)生在各科目上都表現(xiàn)平平。而高能力模型已具備較強的基礎(chǔ)能力，在不同類型任務(wù)上能表現(xiàn)出更大的差異化，因此不同測試維度之間的冗余度較低。

Q3：這項研究對AI評測行業(yè)有什么實際價值？

A：研究發(fā)現(xiàn)至少50%的測試題目是多余的，這意味著可以大幅減少計算資源浪費，同時為設(shè)計更高效的評測基準(zhǔn)提供科學(xué)指導(dǎo)。對企業(yè)來說可以降低模型評估成本，對研究機構(gòu)來說可以將資源投入到更有價值的測試開發(fā)上。