這項由卡塔爾計算研究所的Omid Ghahroodi領(lǐng)導(dǎo)、聯(lián)合伊朗謝里夫科技大學(xué)等多家機構(gòu)的國際研究團隊發(fā)表于2025年8月的預(yù)印本論文，為我們帶來了一個全新的研究成果。研究團隊開發(fā)了名為MEENA（也被稱為PersianMMMU）的評估數(shù)據(jù)集，這是首個專門用于測試人工智能視覺語言模型在波斯語環(huán)境下科學(xué)推理能力的綜合性基準。有興趣深入了解的讀者可以通過arXiv平臺訪問這篇完整論文。

目前的人工智能視覺語言模型就像是只會說英語的聰明學(xué)生，在處理其他語言特別是波斯語時往往表現(xiàn)不佳。這就好比讓一個只懂英文的學(xué)生去參加中文數(shù)學(xué)考試，即使他數(shù)學(xué)很好，也會因為語言障礙而無法發(fā)揮真實水平。研究團隊注意到，現(xiàn)有的AI評估工具幾乎都是為英語設(shè)計的，這種語言偏向性嚴重限制了AI技術(shù)在全球范圍內(nèi)的真正普及和應(yīng)用。

MEENA數(shù)據(jù)集包含了大約7500道波斯語題目和3000道英語題目，涵蓋了從小學(xué)到高中各個教育階段的科學(xué)、數(shù)學(xué)、物理、圖表分析以及波斯藝術(shù)文學(xué)等廣泛領(lǐng)域。這些題目就像是給AI準備的一場綜合性期末大考，不僅要測試它們的知識儲備，更要檢驗它們在面對圖像和文字結(jié)合的復(fù)雜問題時的推理能力。

研究的創(chuàng)新之處在于，這是首次有團隊專門為波斯語創(chuàng)建如此規(guī)模的多模態(tài)評估體系。以往的波斯語AI測試大多依賴從英語翻譯過來的材料，就像用別人的衣服來量體裁衣，總是不太合身。而MEENA采用了原生的波斯語內(nèi)容，保留了波斯文化的獨特韻味和表達習(xí)慣，這樣測試出來的結(jié)果才更能反映AI在真實波斯語環(huán)境中的表現(xiàn)。

一、給AI設(shè)計的波斯語能力大考

構(gòu)建MEENA數(shù)據(jù)集的過程就像是精心策劃一場大型考試。研究團隊主要從兩個源頭收集題目：一個是伊朗文化教育機構(gòu)運營的"學(xué)習(xí)階梯"平臺，這是一個提供標準化練習(xí)題的教育資源庫；另一個是網(wǎng)絡(luò)上精選的題目，包括伊朗國家大學(xué)入學(xué)考試的內(nèi)容。

整個數(shù)據(jù)收集過程經(jīng)歷了幾個關(guān)鍵步驟。首先是數(shù)據(jù)清洗階段，研究團隊像淘金者一樣從海量的HTML數(shù)據(jù)中篩選出有價值的題目，移除那些包含復(fù)雜表格或解釋性答案的內(nèi)容，并剔除重復(fù)題目。接著是圖像處理環(huán)節(jié)，他們只保留帶有視覺元素的題目，這些題目可能是問題本身包含圖片，或者選擇答案中包含圖片，又或者問題和答案都有圖片。當遇到多張圖片的情況時，研究團隊會將它們合并成單一圖像，以確保與各種AI模型的兼容性。

為了確保數(shù)據(jù)集的多樣性和平衡性，研究團隊采用了一個巧妙的加權(quán)抽樣公式。他們使用了1/權(quán)重的1/4次方來調(diào)節(jié)不同類別題目的比例，避免某些類別題目過多而其他類別過少的問題。這就像是在配制一道復(fù)合維生素，需要確保各種營養(yǎng)成分的均衡搭配。

數(shù)據(jù)集中最有價值的部分來自"學(xué)習(xí)階梯"平臺，這部分內(nèi)容包含了豐富的元數(shù)據(jù)信息。每道題目都標注了教育級別，從小學(xué)低年級到高中高年級，讓研究人員能夠分析AI在不同難度級別上的表現(xiàn)差異。題目還被分為五個難度等級：容易、相對容易、中等、相對困難和困難，這種細致的分級就像是給每道題貼上了精確的難度標簽。

更令人印象深刻的是，每道題目都配有詳細的答案解釋，這不僅有助于理解題目內(nèi)容，也為后續(xù)的AI訓(xùn)練提供了寶貴的推理過程參考。研究團隊還特別標記了那些包含"陷阱"選項的題目，這些題目往往設(shè)置了看似正確但實際錯誤的迷惑性答案，是測試AI推理能力的絕佳工具。

為了建立人類表現(xiàn)的基準線，數(shù)據(jù)集還記錄了學(xué)生在每道題上的正確率。這就像是在AI考試中設(shè)置了人類考生的平均分數(shù)作為參照系，讓我們能夠直觀地比較AI與人類在相同題目上的表現(xiàn)差異。題目還被精細地分類到具體的學(xué)科主題中，比如"數(shù)學(xué)→代數(shù)→方程式"，這種層級化的分類體系便于研究人員進行針對性分析。

數(shù)據(jù)集甚至追蹤了題目的創(chuàng)建年份，這個看似不重要的信息實際上能夠揭示教育內(nèi)容復(fù)雜性隨時間的變化趨勢。整個數(shù)據(jù)集最終包含了7483道選擇題，其中6936道來自"學(xué)習(xí)階梯"平臺，547道來自在線資源，涵蓋了人文、數(shù)學(xué)、科學(xué)和推理技能等各個領(lǐng)域。

二、雙語對照的翻譯質(zhì)量保障

為了創(chuàng)建英語對照版本，研究團隊設(shè)計了一套嚴格的翻譯流程。他們選擇GPT-4o作為主要翻譯引擎，這個選擇基于該模型在處理多句段落和專業(yè)術(shù)語方面的優(yōu)異表現(xiàn)。但是，僅僅依靠機器翻譯還不夠，研究團隊還建立了一套質(zhì)量評估機制來確保翻譯的準確性。

評估方法采用了"AI當裁判"的創(chuàng)新思路，這種方法近年來在學(xué)術(shù)界越來越受到認可。具體做法是讓GPT-4o在評估模式下直接比較翻譯文本與原始波斯語輸入的語義一致性，并給出1到5分的評分。這種評估方式超越了簡單的詞匯匹配，能夠綜合考慮上下文語境和意義保持度。

翻譯質(zhì)量的篩選標準相當嚴格。只有獲得4分或以上評分的翻譯樣本才會被保留在最終的英語數(shù)據(jù)集中，那些評分較低的樣本則需要經(jīng)過額外的審查或修訂來解決語義偏差問題。這種嚴格的篩選機制確保了英語版本能夠準確反映原始波斯語題目的含義，為跨語言的AI模型評估提供了可靠的基礎(chǔ)。

最終的雙語數(shù)據(jù)集包含了3067道經(jīng)過質(zhì)量驗證的英語題目，其中547道來自在線資源，2520道來自"學(xué)習(xí)階梯"平臺。這些英語題目在保持與波斯語原文語義一致的同時，也考慮了英語表達的自然性和流暢性。

三、五種實驗場景的全方位測試

研究團隊設(shè)計了五種不同的實驗設(shè)置來全面評估AI模型的能力，就像是為AI準備了五種不同類型的考試環(huán)境。每種設(shè)置都有其獨特的測試目的和評估重點。

零樣本測試是最基礎(chǔ)的評估方式，就像是讓學(xué)生在完全沒有參考資料的情況下直接答題。在這種設(shè)置下，AI模型只接收單一的問題-圖像對，沒有任何額外的示例或提示。這種測試方式能夠最直接地反映模型的基礎(chǔ)能力和知識儲備。

情境學(xué)習(xí)測試則相當于給AI提供了四個參考例題。這種方法的靈感來源于人類學(xué)習(xí)的方式——我們往往通過觀察幾個例子就能理解新題目的解答模式。研究團隊手工選擇了相關(guān)且具有啟發(fā)性的示例，確保這些例子能夠為目標問題提供有價值的參考。

先描述后回答的測試方式特別有趣，它要求AI模型首先詳細描述圖像內(nèi)容，然后再回答問題。這種設(shè)置的靈感來源于人類解題時的思考鏈過程，通過強制AI進行中間推理步驟，可以防止模型走捷徑或隨意猜測答案。這就像是要求學(xué)生在解數(shù)學(xué)題時必須寫出詳細的解題過程，而不能直接給出答案。

錯誤圖像測試是一種巧妙的驗證方式，研究團隊故意將正確的圖像替換為完全不相關(guān)的圖片，然后觀察AI是否能識別出這種不匹配。這種測試能夠檢驗AI對圖像內(nèi)容的依賴程度，以及它們是否具備基本的邏輯判斷能力。優(yōu)秀的AI應(yīng)該能夠識別出圖像與問題不符，而不是盲目地基于錯誤信息給出答案。

無圖像測試則完全移除了視覺輸入，只保留文字問題。這種設(shè)置的目的是了解AI在純文本環(huán)境下的表現(xiàn)，并將其與包含圖像的情況進行對比。通過這種對比，研究人員可以量化視覺信息對AI答題準確性的貢獻程度。

四、涵蓋多個AI模型的橫向?qū)Ρ?/p>

研究團隊選擇了五個代表性的AI模型進行測試，這些模型代表了當前視覺語言AI的不同發(fā)展路線和技術(shù)特點。GPT-4o和GPT-4o-mini是OpenAI開發(fā)的大小兩個版本，它們能夠同時處理文本、圖像和音頻輸入，設(shè)計初衷是實現(xiàn)實時的多模態(tài)交互。GPT-4-Turbo是GPT-4的優(yōu)化版本，在成本效益和性能特征方面進行了改進，更適合交互式對話應(yīng)用。

Gemini-2.0-flash是谷歌DeepMind開發(fā)的多模態(tài)視覺語言模型，經(jīng)過訓(xùn)練能夠高效地處理和整合文本、圖像和視頻輸入。InstructBLIP-T5是基于T5架構(gòu)的視覺語言模型，它結(jié)合了指令調(diào)優(yōu)和視覺定位技術(shù)來處理復(fù)雜的多模態(tài)任務(wù)。

通過在相同任務(wù)和五種實驗設(shè)置下評估所有這些模型，研究團隊能夠測量它們在多模態(tài)推理方面的相對優(yōu)勢和劣勢。這種全面的對比就像是讓不同品牌的汽車在相同的道路條件下進行性能測試，能夠客觀地反映各個模型的真實能力水平。

五、答案提取的二階段智能識別

評估AI模型性能的一個關(guān)鍵挑戰(zhàn)是如何準確識別模型在其生成回應(yīng)中選擇了哪個答案選項。這個過程比想象中要復(fù)雜得多，因為AI模型的回答方式往往多樣化且不夠規(guī)范。

研究團隊設(shè)計了一個二階段框架來解決這個問題。第一階段采用基于正則表達式的模式匹配，專門尋找明確的表述，比如"正確答案是選項2"這樣的直白回答。當這些預(yù)定義的規(guī)則能夠成功匹配時，系統(tǒng)就能夠自信地提取出模型選擇的答案選項。

然而實際情況往往更加復(fù)雜，大約有一半的情況下正則表達式無法找到匹配項。AI模型的回答可能更加隱晦或者包含額外的解釋，甚至在某些情況下，比如沒有提供圖像時，模型可能會合理地推斷出圖像缺失并生成類似"需要圖像才能回答這個問題"的回應(yīng)。

為了處理這些復(fù)雜情況，研究團隊在第二階段引入了GPT-4o-mini作為"裁判"，利用其理解能力來推斷模型的選擇意圖。這個AI裁判不僅能夠識別隱含的答案選擇，還能判斷回答是否表明圖像缺失、模型是否無法理解問題，以及是否識別出了錯誤的圖像引用。

這種兩階段方法就像是結(jié)合了機械化的標準檢測和人性化的智能判斷，確保了答案提取過程的準確性和全面性。即使面對最不規(guī)范的AI回答，系統(tǒng)也能夠合理地推斷出其真實意圖。

六、實驗結(jié)果揭示的重要發(fā)現(xiàn)

研究結(jié)果展現(xiàn)出了幾個引人注目的模式和趨勢，這些發(fā)現(xiàn)對于理解當前AI技術(shù)的能力邊界具有重要意義。

最顯著的發(fā)現(xiàn)是知識型任務(wù)與推理型任務(wù)之間存在明顯的性能差距。在所有測試的模型中，知識型任務(wù)的準確率始終比推理型任務(wù)高出10到19個百分點。這個現(xiàn)象在英語和波斯語任務(wù)中都存在，不過波斯語任務(wù)的整體準確率普遍較低，這很可能是由于訓(xùn)練數(shù)據(jù)分布的差異造成的。這個結(jié)果告訴我們，當前的視覺語言模型在事實記憶方面表現(xiàn)出色，但在需要復(fù)雜邏輯推理的任務(wù)上仍有待提高。更重要的是，這種性能差距在波斯語中更加明顯，說明非英語語言的推理任務(wù)對AI來說難度更大。

在幻覺檢測能力方面，不同模型表現(xiàn)出了顯著差異。當研究團隊故意提供錯誤圖像時，Gemini 2.0 Flash在識別不匹配內(nèi)容方面表現(xiàn)最為出色，遠超GPT-4和GPT-4 Mini。特別值得注意的是，這種優(yōu)勢在波斯語環(huán)境中更加明顯。在MEENA數(shù)據(jù)集上，Gemini 2.0 Flash與GPT-4 Mini之間的檢測率差異超過400次檢測，這表明Gemini 2.0 Flash在識別視覺內(nèi)容不一致性方面具有更強的魯棒性，尤其是在處理波斯語內(nèi)容時。

圖像識別錯誤率的分析也揭示了有趣的模式。當AI模型誤報圖像不存在時，不同模型的表現(xiàn)差異很大。GPT-4-Turbo和GPT-4o在英語和波斯語輸入中都保持了相對較低的錯誤率，顯示出穩(wěn)定的圖像檢測能力。相比之下，Gemini 2.0 Flash表現(xiàn)出明顯較高的"無圖像"錯誤率，特別是在處理波斯語輸入時錯誤率高達9.17%。這種現(xiàn)象可能反映了不同模型在視覺輸入處理機制上的根本差異。

題目難度對模型表現(xiàn)的影響也非常明顯。在化學(xué)和數(shù)學(xué)任務(wù)的零樣本實驗中，隨著題目難度的增加，大部分模型的表現(xiàn)都出現(xiàn)了下降趨勢。GPT-4o-mini和GPT-4-Turbo在高難度題目上的準確率下降尤為明顯，而Gemini-2.0-flash則保持了相對穩(wěn)定的表現(xiàn)，特別是在數(shù)學(xué)任務(wù)中。InstructBLIP-t5在所有難度級別上都表現(xiàn)不佳，尤其是在化學(xué)任務(wù)中幾乎難以應(yīng)付。

七、跨語言能力的深度分析

通過對比波斯語和英語版本的測試結(jié)果，研究揭示了AI模型在跨語言應(yīng)用中的一些重要特征。幾乎所有模型在英語任務(wù)上的表現(xiàn)都優(yōu)于相應(yīng)的波斯語任務(wù)，這種差異在不同實驗設(shè)置中都保持一致。這個現(xiàn)象并不令人意外，因為目前大部分AI模型的訓(xùn)練數(shù)據(jù)仍然以英語為主，但量化這種差異對于評估AI技術(shù)的全球適用性具有重要意義。

有趣的是，這種語言差異在不同類型的任務(wù)中表現(xiàn)程度不同。推理密集型任務(wù)顯示出更大的語言性能差距，而知識檢索型任務(wù)的差距相對較小。這可能意味著跨語言的事實知識轉(zhuǎn)移相對容易實現(xiàn)，但復(fù)雜的推理過程更依賴于語言特定的訓(xùn)練經(jīng)驗。

在藝術(shù)相關(guān)題目的測試中，這種跨語言差異變得更加復(fù)雜。由于藝術(shù)題目往往涉及文化特定的內(nèi)容和表達方式，AI模型在處理這類題目時面臨雙重挑戰(zhàn)：不僅要理解語言，還要理解文化背景。結(jié)果顯示，即使是英語版本的波斯藝術(shù)題目，AI模型的表現(xiàn)也普遍不如其他領(lǐng)域的題目，這凸顯了文化理解在AI能力評估中的重要性。

八、AI模型能力的細致刻畫

通過五種不同的實驗設(shè)置，研究團隊成功地描繪出了各個AI模型能力的細節(jié)輪廓。零樣本測試結(jié)果基本反映了模型的基礎(chǔ)能力水平，而情境學(xué)習(xí)實驗則揭示了模型從示例中學(xué)習(xí)的能力差異。令人意外的是，并非所有模型都能從額外示例中獲得顯著提升，這可能暗示不同模型的學(xué)習(xí)機制存在根本差異。

先描述后回答的實驗設(shè)置產(chǎn)生了混合結(jié)果。一些模型通過詳細描述圖像內(nèi)容確實提高了答題準確性，這支持了視覺推理鏈的有效性假設(shè)。但也有模型在這種設(shè)置下表現(xiàn)反而下降，可能是因為過度關(guān)注圖像細節(jié)分散了對問題本身的注意力，或者是描述過程引入了錯誤信息。

錯誤圖像測試和無圖像測試的結(jié)果特別有價值，因為它們直接量化了視覺信息的重要性。在大多數(shù)情況下，提供正確圖像確實能顯著提高AI的答題準確率，但這種提升的幅度在不同模型和不同題目類型中差異很大。有些題目即使沒有圖像AI也能答對，說明這些題目的文字信息已經(jīng)足夠充分；而另一些題目在沒有圖像或圖像錯誤時AI完全無法處理，凸顯了視覺信息的關(guān)鍵作用。

九、實驗設(shè)計的創(chuàng)新價值

MEENA數(shù)據(jù)集的實驗設(shè)計體現(xiàn)了幾個重要的創(chuàng)新思路。首先是原生內(nèi)容的重要性，通過使用原始的波斯語教育材料而非翻譯內(nèi)容，研究團隊避免了翻譯過程中可能產(chǎn)生的文化偏差和語義失真。這種做法為其他語言的AI評估研究樹立了重要先例。

其次是多維度評估的綜合性，研究不僅測試了AI的基本答題能力，還通過錯誤圖像和無圖像實驗深入探索了AI對視覺信息的依賴程度和判斷能力。這種多角度的評估方法能夠更全面地刻畫AI模型的能力特征和局限性。

元數(shù)據(jù)的豐富性也是一個重要創(chuàng)新點。通過保留題目的難度級別、學(xué)科分類、陷阱標記和人類表現(xiàn)基準等詳細信息，研究團隊為后續(xù)的深入分析和模型改進提供了寶貴的資源。這些元數(shù)據(jù)使得研究人員能夠進行精細化的能力分析，比如某個模型是否更擅長處理特定難度級別的題目，或者在哪些學(xué)科領(lǐng)域表現(xiàn)更好。

跨語言對照設(shè)計的價值也不容忽視。通過提供相同內(nèi)容的波斯語和英語版本，研究團隊能夠直接量化語言因素對AI性能的影響，這對于評估AI技術(shù)的全球適用性和公平性具有重要意義。

十、研究局限性與改進方向

盡管MEENA數(shù)據(jù)集具有諸多創(chuàng)新特點，但研究團隊也坦誠地指出了一些局限性和改進空間。首先是數(shù)據(jù)規(guī)模的限制，雖然7500道波斯語題目已經(jīng)是該領(lǐng)域的重要進展，但與一些大型英語數(shù)據(jù)集相比仍然相對較小。擴大數(shù)據(jù)規(guī)模不僅需要更多的資源投入，還需要確保質(zhì)量的一致性，這是一個需要長期持續(xù)努力的目標。

題目類型的覆蓋范圍也有待進一步擴展。目前的數(shù)據(jù)集主要集中在教育考試類型的選擇題上，未來可以考慮加入更多開放性問題、創(chuàng)造性任務(wù)和實際應(yīng)用場景的評估內(nèi)容。這樣的擴展將有助于更全面地評估AI在實際應(yīng)用中的表現(xiàn)。

文化特異性內(nèi)容的平衡也是一個需要考慮的問題。雖然保留波斯文化特色是數(shù)據(jù)集的優(yōu)勢之一，但如何在文化特異性和通用性之間找到平衡，使得評估結(jié)果既能反映本地化能力又具有國際可比性，是一個值得深入探討的問題。

模型評估方法的多樣化也有改進空間。目前的評估主要基于準確率指標，未來可以引入更多維度的評估指標，比如推理過程的合理性、答案的置信度、以及在不確定情況下的處理方式等。

十一、未來研究的廣闊前景

MEENA數(shù)據(jù)集的發(fā)布標志著多語言AI評估研究的一個重要里程碑，但同時也開啟了眾多新的研究方向和機遇。首先是擴展到其他語言的可能性，研究團隊建立的方法論和技術(shù)框架可以被其他研究者借鑒，用于創(chuàng)建其他低資源語言的評估數(shù)據(jù)集。這種擴展將有助于構(gòu)建一個更加公平和包容的AI評估生態(tài)系統(tǒng)。

模型改進的目標化方向也變得更加明確。通過MEENA的測試結(jié)果，AI研發(fā)團隊可以更精準地識別當前模型的薄弱環(huán)節(jié)，比如在推理任務(wù)上的不足、對非英語內(nèi)容的處理能力限制等。這種針對性的改進方向?qū)⑼苿覣I技術(shù)向更加均衡和全面的方向發(fā)展。

跨文化AI理解的研究也獲得了新的工具和數(shù)據(jù)支持。通過分析AI在處理不同文化背景內(nèi)容時的表現(xiàn)差異，研究人員可以深入探索AI的文化理解機制，并開發(fā)出更加具有文化敏感性的AI系統(tǒng)。

教育技術(shù)的應(yīng)用前景同樣令人期待。MEENA數(shù)據(jù)集不僅是一個評估工具，也可以作為訓(xùn)練資源來改進教育類AI應(yīng)用。通過理解AI在不同教育內(nèi)容上的表現(xiàn)模式，開發(fā)者可以創(chuàng)建更加有效的個性化學(xué)習(xí)系統(tǒng)和智能輔導(dǎo)工具。

說到底，MEENA數(shù)據(jù)集的意義遠超出一個簡單的AI測試工具。它代表了AI研究社區(qū)對多元化和包容性的追求，體現(xiàn)了讓AI技術(shù)真正服務(wù)于全球不同語言和文化群體的愿景。研究團隊通過這項工作證明了，創(chuàng)建高質(zhì)量的非英語AI評估資源不僅是可能的，而且是推動AI技術(shù)全面發(fā)展的必要步驟。

對于普通人而言，這項研究的價值在于推動AI技術(shù)向更加普惠和公平的方向發(fā)展。當AI系統(tǒng)能夠更好地理解和處理不同語言的內(nèi)容時，使用這些語言的人群就能更好地享受AI技術(shù)帶來的便利。無論是在教育、醫(yī)療、還是日常生活的各個方面，語言不再會成為享受先進AI服務(wù)的障礙。

這項研究還提醒我們，技術(shù)進步不應(yīng)該只關(guān)注英語世界的需求，而應(yīng)該考慮全球多樣化的語言和文化環(huán)境。只有當AI技術(shù)真正做到語言和文化的包容性時，它才能發(fā)揮出最大的社會價值。研究團隊已經(jīng)在HuggingFace和GitHub平臺上開放了數(shù)據(jù)集和代碼，并建立了在線排行榜來持續(xù)跟蹤各種模型的表現(xiàn)，為全球研究者的后續(xù)工作鋪平了道路。

Q&A

Q1：MEENA數(shù)據(jù)集是什么？它與現(xiàn)有的AI測試有什么不同？

A：MEENA是首個專門針對波斯語的AI視覺語言評估數(shù)據(jù)集，包含約7500道波斯語和3000道英語題目。與現(xiàn)有多數(shù)基于英語或翻譯內(nèi)容的測試不同，MEENA使用原生波斯語材料，保留了文化特色和表達習(xí)慣，能更真實地反映AI在波斯語環(huán)境中的能力。數(shù)據(jù)集涵蓋科學(xué)、數(shù)學(xué)、藝術(shù)等多個領(lǐng)域，從小學(xué)到高中各個教育階段。

Q2：研究團隊發(fā)現(xiàn)了AI模型的哪些重要能力差異？

A：研究發(fā)現(xiàn)AI在知識型任務(wù)上比推理型任務(wù)表現(xiàn)好10-19個百分點，且這種差距在波斯語中更明顯。在幻覺檢測方面，Gemini 2.0 Flash比GPT-4系列模型更擅長識別錯誤圖像。另外，幾乎所有模型在英語任務(wù)上都優(yōu)于波斯語任務(wù)，反映了當前AI訓(xùn)練數(shù)據(jù)的語言偏向性。隨著題目難度增加，大部分模型性能會下降。

Q3：這項研究對普通用戶使用AI有什么實際意義？

A：這項研究推動AI技術(shù)向更公平包容的方向發(fā)展，讓使用非英語語言的用戶也能享受高質(zhì)量AI服務(wù)。通過識別AI的能力邊界和改進方向，有助于開發(fā)更好的多語言AI應(yīng)用。對教育領(lǐng)域而言，可以促進更有效的個性化學(xué)習(xí)系統(tǒng)開發(fā)。最重要的是，確保AI技術(shù)進步不僅服務(wù)英語用戶，而是惠及全球不同語言文化群體。