這項(xiàng)由中國科學(xué)技術(shù)大學(xué)的郭梓康、徐本鋒、朱池為等研究員與北京元石科技聯(lián)合開展的重要研究于2025年9月發(fā)表，專門針對(duì)人工智能在新興的模型上下文協(xié)議（MCP）環(huán)境中的表現(xiàn)進(jìn)行了全面評(píng)估。有興趣深入了解的讀者可以通過arXiv:2509.09734v1訪問完整論文。

在我們?nèi)粘Ｉ钪校?dāng)你想要完成某項(xiàng)任務(wù)時(shí)，往往需要使用各種不同的工具。比如做飯需要用到刀具、鍋具、調(diào)料盒等，而且這些工具必須以特定的方式配合使用才能做出美味的菜肴?，F(xiàn)在，人工智能系統(tǒng)也面臨著類似的挑戰(zhàn)——它們需要學(xué)會(huì)靈活地使用各種外部工具來解決復(fù)雜問題。

傳統(tǒng)上，讓AI使用工具就像給每個(gè)廚師單獨(dú)配備專用廚具一樣，每種工具都需要特殊的接口和連接方式。這樣做的問題很明顯：如果有M個(gè)廚師和N種廚具，就需要M×N種不同的連接方式，這不僅復(fù)雜繁瑣，而且難以管理和擴(kuò)展。為了解決這個(gè)問題，Anthropic公司推出了模型上下文協(xié)議（MCP），就像建立了一套通用的廚具接口標(biāo)準(zhǔn)，讓任何廚師都能輕松使用任何符合標(biāo)準(zhǔn)的廚具。

然而，盡管MCP這個(gè)"通用接口"已經(jīng)問世，我們卻沒有合適的方法來評(píng)估AI在這種新環(huán)境下的表現(xiàn)如何。就好比雖然有了統(tǒng)一的廚具標(biāo)準(zhǔn)，但我們?nèi)狈σ惶子行У目荚圀w系來判斷哪個(gè)廚師真正掌握了使用這些標(biāo)準(zhǔn)化廚具的技巧。這就是中科大團(tuán)隊(duì)要解決的核心問題。

研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的評(píng)估基準(zhǔn)測試就像用評(píng)估單一廚具使用技能的標(biāo)準(zhǔn)去衡量整套廚房操作能力一樣不夠全面。比如著名的BFCL基準(zhǔn)測試雖然在評(píng)估AI的工具使用能力方面很知名，但它的評(píng)分結(jié)果與實(shí)際用戶體驗(yàn)之間存在明顯差異。用戶在實(shí)際使用中發(fā)現(xiàn)Claude 3.7 Sonnet在處理復(fù)雜工具輔助任務(wù)方面明顯優(yōu)于GPT-4o，但BFCL的排名卻可能顯示相反的結(jié)果。

一、構(gòu)建AI的"標(biāo)準(zhǔn)化廚房"：MCP服務(wù)器測試平臺(tái)

為了創(chuàng)建一個(gè)真正能評(píng)估AI在MCP環(huán)境下表現(xiàn)的測試體系，研究團(tuán)隊(duì)首先需要建立一個(gè)完整的"標(biāo)準(zhǔn)化廚房"。這個(gè)過程就像為廚藝學(xué)校建設(shè)實(shí)訓(xùn)基地一樣，需要配備各種不同類型的廚具和設(shè)備。

研究人員從369個(gè)候選的MCP服務(wù)器中開始了嚴(yán)格的篩選過程。這個(gè)篩選過程就像挑選廚具供應(yīng)商一樣嚴(yán)格，他們的標(biāo)準(zhǔn)包括三個(gè)關(guān)鍵要求：首先，這些工具必須能夠穩(wěn)定運(yùn)行，就像廚具必須質(zhì)量可靠一樣；其次，這些工具必須是"無狀態(tài)"的，意思是每次使用都不會(huì)受到之前使用情況的影響，就像每次使用刀具切菜時(shí)，刀具本身不會(huì)記住上次切過什么；最后，這些工具主要依賴文本輸入和輸出，就像通過文字說明書就能操作的設(shè)備一樣。

經(jīng)過三名專家歷時(shí)七天的仔細(xì)篩選，團(tuán)隊(duì)最終選定了33個(gè)MCP服務(wù)器，它們總共提供188種不同的工具。這些工具覆蓋了廣泛的應(yīng)用領(lǐng)域，就像一個(gè)設(shè)備齊全的現(xiàn)代化廚房一樣。其中，實(shí)用工具類占比最大，達(dá)到37%，包括各種日常所需的基礎(chǔ)功能；新聞和趨勢類工具占22%，能夠獲取最新信息；開發(fā)工具類占20%，主要面向技術(shù)開發(fā)需求。此外還包括地圖導(dǎo)航工具（26個(gè)）、體育游戲工具（20個(gè)）、金融投資工具（18個(gè)）、旅行交通工具（17個(gè)）以及搜索網(wǎng)頁內(nèi)容工具（4個(gè)）。

為了讓這些來自不同供應(yīng)商的工具能夠協(xié)同工作，研究團(tuán)隊(duì)使用了mcprouter這個(gè)統(tǒng)一管理工具，就像安裝了一個(gè)中央控制臺(tái)，讓所有設(shè)備都能通過統(tǒng)一的接口進(jìn)行操作。這樣一來，任何AI系統(tǒng)都能以標(biāo)準(zhǔn)化的方式與這188種工具進(jìn)行交互，大大簡化了測試和評(píng)估的復(fù)雜性。

二、設(shè)計(jì)AI的"烹飪考試"：600道漸進(jìn)難度題目

建好了標(biāo)準(zhǔn)化廚房之后，研究團(tuán)隊(duì)面臨的下一個(gè)挑戰(zhàn)是設(shè)計(jì)合適的考試題目。這些題目不能太簡單，也不能過于復(fù)雜，而且需要能夠系統(tǒng)性地測試AI在不同復(fù)雜程度任務(wù)中的表現(xiàn)。

研究團(tuán)隊(duì)創(chuàng)造性地設(shè)計(jì)了一套六級(jí)難度遞增的測試體系，就像廚藝考試從簡單的煮蛋開始，逐步遞增到制作精美的法式大餐一樣。這六個(gè)級(jí)別分為兩個(gè)維度進(jìn)行劃分：服務(wù)器范圍（單服務(wù)器還是多服務(wù)器）和調(diào)用依賴性（單次調(diào)用、并行調(diào)用還是順序調(diào)用）。

最簡單的級(jí)別是"單服務(wù)器-單次調(diào)用"，就像只用一個(gè)鍋?zhàn)鲆坏雷詈唵蔚牟耍热缰髠€(gè)水蛋。在這個(gè)級(jí)別中，AI只需要從一個(gè)服務(wù)器中選擇一個(gè)工具，調(diào)用一次就能完成任務(wù)。

稍微復(fù)雜一些的是"單服務(wù)器-并行調(diào)用"，就像同時(shí)用同一個(gè)爐灶的多個(gè)爐頭燒菜，各道菜之間互不影響。AI需要從一個(gè)服務(wù)器調(diào)用多個(gè)工具或?qū)ν还ぞ哌M(jìn)行多次調(diào)用，但這些調(diào)用之間沒有依賴關(guān)系。

再進(jìn)一步是"單服務(wù)器-順序調(diào)用"，就像做一道需要多個(gè)步驟的復(fù)雜菜肴，每個(gè)步驟都必須按照特定順序進(jìn)行，后面的步驟依賴于前面步驟的結(jié)果。比如做紅燒肉，必須先焯水、再炒糖色、然后燉煮，步驟不能顛倒。

當(dāng)涉及多個(gè)服務(wù)器時(shí)，復(fù)雜性進(jìn)一步增加。"多服務(wù)器-單次調(diào)用"看似簡單，實(shí)際上是在考驗(yàn)AI的判斷能力，就像面對(duì)一整個(gè)廚具市場，需要準(zhǔn)確選擇最適合當(dāng)前任務(wù)的那一件工具。

"多服務(wù)器-并行調(diào)用"就像同時(shí)使用來自不同品牌的廚具做幾道不相關(guān)的菜，需要AI協(xié)調(diào)多個(gè)不同來源的工具，但各個(gè)工具之間沒有依賴關(guān)系。

最復(fù)雜的是"多服務(wù)器-順序調(diào)用"，這就像籌辦一場盛大宴會(huì)，需要使用來自不同供應(yīng)商的各種設(shè)備，而且這些設(shè)備的使用必須嚴(yán)格按照時(shí)間順序，前一個(gè)設(shè)備的產(chǎn)出要作為后一個(gè)設(shè)備的輸入。這種級(jí)別的任務(wù)最能考驗(yàn)AI的綜合協(xié)調(diào)能力。

為了生成這600道測試題目，研究團(tuán)隊(duì)采用了一套精心設(shè)計(jì)的三階段流程。首先，他們建立了分類框架來系統(tǒng)性地控制任務(wù)復(fù)雜性。然后，利用Claude 3.7 Sonnet模型生成包含四個(gè)關(guān)鍵要素的情境組合：工具選擇（確定完成任務(wù)所需的具體工具集合）、用戶畫像（創(chuàng)建詳細(xì)的用戶角色，包括專業(yè)背景和交流風(fēng)格）、情境描述（構(gòu)建能自然引出工具使用需求的故事背景）、以及明確目標(biāo)（定義用戶想要達(dá)成的具體、可驗(yàn)證的結(jié)果）。

最后，這些結(jié)構(gòu)化的組件被合成為自然的用戶查詢。這個(gè)過程就像編寫劇本一樣，每個(gè)查詢都是一個(gè)完整的小故事，有背景、有人物、有沖突、有目標(biāo)。更重要的是，每個(gè)查詢都經(jīng)過精心設(shè)計(jì)，確保只使用選定的工具就能完全解決問題，避免了模糊性或無法完成的任務(wù)。

三、創(chuàng)建AI的"閱卷老師"：MCP-Eval評(píng)估系統(tǒng)

有了標(biāo)準(zhǔn)化的測試環(huán)境和精心設(shè)計(jì)的考試題目，研究團(tuán)隊(duì)還需要解決最后一個(gè)關(guān)鍵問題：如何客觀公正地評(píng)判AI的表現(xiàn)。這就像需要一位經(jīng)驗(yàn)豐富、標(biāo)準(zhǔn)一致的閱卷老師一樣。

傳統(tǒng)的評(píng)估方法往往過分關(guān)注AI是否嚴(yán)格按照預(yù)設(shè)的步驟執(zhí)行任務(wù)，就像評(píng)判廚師是否完全按照食譜的每一個(gè)細(xì)節(jié)操作一樣。但研究團(tuán)隊(duì)認(rèn)識(shí)到，在現(xiàn)實(shí)世界中，解決問題往往有多種可行的路徑，關(guān)鍵在于最終是否達(dá)成了目標(biāo)，而不是過程是否完全一致。

因此，他們開發(fā)了MCP-Eval評(píng)估系統(tǒng)，這個(gè)系統(tǒng)的核心理念是"結(jié)果導(dǎo)向"而非"過程導(dǎo)向"。就像評(píng)判一道菜的好壞主要看味道是否美味、營養(yǎng)是否均衡，而不是廚師切菜的手法是否標(biāo)準(zhǔn)一樣。MCP-Eval主要關(guān)注AI是否成功完成了用戶的任務(wù)，而不是它具體采用了哪種方法或工具調(diào)用順序。

這個(gè)評(píng)估系統(tǒng)采用了"LLM充當(dāng)評(píng)判員"的方法，具體使用o3-mini-high模型作為評(píng)判標(biāo)準(zhǔn)。評(píng)判過程遵循幾個(gè)核心原則：首先，優(yōu)先考慮用戶的核心意圖，判斷最終結(jié)果是否真正解決了用戶的問題；其次，將具體外部數(shù)據(jù)的存在視為使用工具的決定性證據(jù)，因?yàn)檫@些數(shù)據(jù)不可能僅憑AI的內(nèi)置知識(shí)獲得；再次，強(qiáng)調(diào)充分性原則，只要滿足了核心需求就算成功，不需要面面俱到；最后，忽略表面因素如格式或冗長程度，專注于實(shí)質(zhì)內(nèi)容。

為了驗(yàn)證這套評(píng)估系統(tǒng)的可靠性，研究團(tuán)隊(duì)進(jìn)行了人工評(píng)估對(duì)比實(shí)驗(yàn)。他們請(qǐng)三名人類專家對(duì)60個(gè)測試項(xiàng)目進(jìn)行評(píng)判，每個(gè)專家大約花費(fèi)2.5小時(shí)完成評(píng)估。結(jié)果顯示，MCP-Eval的判斷與人類專家多數(shù)意見的一致性達(dá)到91.67%，Cohen's Kappa系數(shù)為0.734，表明評(píng)估系統(tǒng)具有很高的可靠性。同時(shí)，三名人類專家之間的一致性Fleiss' Kappa為0.671，總體三方一致率為86.67%，這進(jìn)一步證實(shí)了評(píng)估標(biāo)準(zhǔn)的合理性。

四、AI們的成績單：意外的發(fā)現(xiàn)與深度分析

當(dāng)研究團(tuán)隊(duì)將10個(gè)代表性的大語言模型放到這套測試體系中進(jìn)行評(píng)估時(shí)，結(jié)果讓人既驚喜又意外。這些模型包括了當(dāng)前最先進(jìn)的專有系統(tǒng)如Anthropic的Claude系列、OpenAI的GPT-4o和o3-mini、Google的Gemini系列，以及優(yōu)秀的開源模型如通義千問、Kimi和DeepSeek等。

最令人意外的發(fā)現(xiàn)是，開源模型的表現(xiàn)竟然可以與甚至超越一些知名的專有模型。這就像發(fā)現(xiàn)了一些小餐廳的廚師烹飪技藝竟然不輸給五星級(jí)酒店的主廚一樣令人驚訝。具體來說，通義千問Qwen3-235B-A22B在使用ReAct框架時(shí)取得了64.7%的最高總體得分，超越了所有其他模型。Kimi K2也表現(xiàn)優(yōu)異，在工具調(diào)用模式下達(dá)到61.0%的得分。

在專有模型中，Anthropic的Claude 4 Sonnet表現(xiàn)最佳，在工具調(diào)用模式下獲得58.0%的得分。令人意外的是，OpenAI的GPT-4o在所有測試中都表現(xiàn)不佳，平均得分僅為27.8%到30.7%，這與其在其他基準(zhǔn)測試中的優(yōu)異表現(xiàn)形成鮮明對(duì)比。這種差異表明，傳統(tǒng)的評(píng)估基準(zhǔn)可能無法準(zhǔn)確反映模型在實(shí)際協(xié)議化工具使用場景中的真實(shí)能力。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，不同的交互框架對(duì)模型性能有顯著影響。就像同一位廚師使用不同的廚具可能會(huì)產(chǎn)生截然不同的烹飪效果一樣，同一個(gè)AI模型在不同的交互模式下表現(xiàn)差異巨大。最典型的例子是Qwen3-235B-A22B，它在ReAct框架下表現(xiàn)卓越，但在工具調(diào)用模式下卻出現(xiàn)了嚴(yán)重的性能下降，得分從64.7%驟降至40.2%。這種下降主要是因?yàn)槟Ｐ驮谛枰{(diào)用工具時(shí)經(jīng)常選擇不調(diào)用，導(dǎo)致任務(wù)提前終止并給出錯(cuò)誤答案。

相反，Claude 4 Sonnet在工具調(diào)用模式下的表現(xiàn)明顯優(yōu)于ReAct框架，從49.2%提升至58.0%，說明其架構(gòu)更適合這種交互方式。這些發(fā)現(xiàn)強(qiáng)調(diào)了選擇合適的交互框架來釋放模型最大潛力的重要性。

通過分析不同復(fù)雜度級(jí)別的表現(xiàn)，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)清晰的難度梯度。正如預(yù)期，隨著任務(wù)從單服務(wù)器轉(zhuǎn)向多服務(wù)器、從單次調(diào)用發(fā)展到順序調(diào)用，所有模型的性能都呈現(xiàn)下降趨勢。有趣的是，Claude 4 Sonnet在這個(gè)趨勢中表現(xiàn)出了一個(gè)例外：它在更復(fù)雜的多服務(wù)器任務(wù)上的表現(xiàn)反而比簡單任務(wù)更好。分析顯示，這是因?yàn)樵撃Ｐ驮诤唵稳蝿?wù)上容易過度依賴其內(nèi)置知識(shí)而不使用工具，但復(fù)雜任務(wù)的高要求迫使它必須正確使用外部工具，反而取得了更好的效果。

從成本效率角度看，表現(xiàn)最佳的模型往往也是最昂貴的。Kimi K2和Claude 4 Sonnet分別消耗101.7k和140.3k個(gè)token，這主要是因?yàn)樗鼈兪褂昧?思考模式"來進(jìn)行內(nèi)部推理。相比之下，o3-mini展現(xiàn)出了優(yōu)異的效率平衡，以36.5k的token消耗獲得50.0%的通過率，這個(gè)token成本與表現(xiàn)更差的模型相當(dāng)。

五、AI犯錯(cuò)的常見模式：從失敗中學(xué)習(xí)

通過深入分析AI在測試中的失敗案例，研究團(tuán)隊(duì)識(shí)別出了幾種典型的錯(cuò)誤模式，這些發(fā)現(xiàn)對(duì)于改進(jìn)AI系統(tǒng)具有重要意義。

第一種常見錯(cuò)誤是對(duì)查詢的誤解。就像廚師沒有完全理解顧客的點(diǎn)菜要求一樣，AI有時(shí)無法準(zhǔn)確把握用戶的核心目標(biāo)，或者忽略了查詢中的關(guān)鍵約束條件。這種錯(cuò)誤往往導(dǎo)致AI雖然使用了工具，但解決的卻是錯(cuò)誤的問題。

第二種錯(cuò)誤是拒絕使用工具。這就像一個(gè)固執(zhí)的廚師堅(jiān)持憑記憶做菜而不愿查閱食譜一樣，某些AI模型傾向于依賴其內(nèi)置知識(shí)來回答問題，即使任務(wù)明確需要獲取外部實(shí)時(shí)數(shù)據(jù)或?qū)Ｓ行畔ⅰ＿@種行為在處理需要最新信息的任務(wù)時(shí)尤其成問題。

第三種錯(cuò)誤是關(guān)鍵信息的遺漏。AI可能成功使用了工具并獲得了正確信息，但在生成最終回答時(shí)卻未能包含所有必要的信息，或者在多步驟任務(wù)中忽略了前面步驟獲得的重要數(shù)據(jù)。這就像廚師準(zhǔn)備了所有食材但在最后裝盤時(shí)遺漏了某些配菜一樣。

最后一種錯(cuò)誤是信息捏造。盡管AI使用了工具并獲得了正確的數(shù)據(jù)，但在回答中卻添加了工具輸出中不存在的虛假信息，或者提供了與工具結(jié)果直接矛盾的答案。這是最嚴(yán)重的錯(cuò)誤類型，因?yàn)樗粌H沒有解決問題，還可能誤導(dǎo)用戶。

這些錯(cuò)誤模式的識(shí)別為改進(jìn)AI系統(tǒng)指明了方向。它們揭示了當(dāng)前模型在理解任務(wù)需求、決策是否使用工具、整合多源信息以及保持信息準(zhǔn)確性方面仍存在的挑戰(zhàn)。

六、研究意義與未來展望

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了單純的技術(shù)評(píng)估，它為整個(gè)AI領(lǐng)域的發(fā)展提供了重要的方向指引。首先，MCP-AgentBench填補(bǔ)了協(xié)議化工具使用評(píng)估的空白，為研究社區(qū)提供了一個(gè)標(biāo)準(zhǔn)化、可靠的測試平臺(tái)。這就像為廚藝教育建立了統(tǒng)一的考試標(biāo)準(zhǔn)，讓不同學(xué)校培養(yǎng)的學(xué)生都能在同一個(gè)標(biāo)準(zhǔn)下接受評(píng)價(jià)。

研究揭示的開源模型優(yōu)勢顛覆了人們對(duì)AI能力分布的傳統(tǒng)認(rèn)知。這一發(fā)現(xiàn)表明，隨著開源社區(qū)的不斷努力，AI技術(shù)的門檻正在降低，更多的創(chuàng)新可能來自于分布式的協(xié)作開發(fā)，而不僅僅是大型科技公司的封閉研發(fā)。

交互框架的重要性發(fā)現(xiàn)也為AI系統(tǒng)的設(shè)計(jì)和部署提供了實(shí)用指導(dǎo)。就像不同的烹飪方法適合不同的食材一樣，不同的AI模型需要配合合適的交互框架才能發(fā)揮最佳性能。這提醒開發(fā)者在選擇和部署AI系統(tǒng)時(shí)不能僅僅關(guān)注模型本身的性能指標(biāo)，還需要考慮整體的交互設(shè)計(jì)。

從技術(shù)發(fā)展趨勢看，MCP協(xié)議的推廣將極大簡化AI與外部工具的集成復(fù)雜性。目前每個(gè)AI系統(tǒng)都需要為每種工具開發(fā)專門的接口，這種"M×N問題"嚴(yán)重阻礙了規(guī)模化應(yīng)用。MCP的標(biāo)準(zhǔn)化方案就像建立了通用的USB接口一樣，讓任何符合標(biāo)準(zhǔn)的工具都能與任何支持該協(xié)議的AI系統(tǒng)無縫對(duì)接。

研究團(tuán)隊(duì)的工作也為評(píng)估方法學(xué)做出了重要貢獻(xiàn)。MCP-Eval采用的結(jié)果導(dǎo)向評(píng)估方法更符合實(shí)際應(yīng)用場景的需求，這種評(píng)估哲學(xué)可能會(huì)影響未來AI評(píng)估基準(zhǔn)的設(shè)計(jì)方向。傳統(tǒng)的過程導(dǎo)向評(píng)估就像只看學(xué)生解題步驟而不看最終答案一樣，雖然有其價(jià)值，但在實(shí)際應(yīng)用中，用戶更關(guān)心的是問題是否得到了解決。

從更宏觀的角度看，這項(xiàng)研究預(yù)示著AI正在從單一的文本生成工具演變?yōu)槟軌蚺c現(xiàn)實(shí)世界深度交互的智能代理。當(dāng)AI能夠熟練使用各種外部工具時(shí)，它們將具備解決更復(fù)雜、更實(shí)際問題的能力。這種演進(jìn)可能最終導(dǎo)致AI助手成為真正意義上的通用問題解決者，而不僅僅是信息處理器。

展望未來，隨著更多工具和服務(wù)采用MCP標(biāo)準(zhǔn)，我們可能會(huì)看到一個(gè)更加互聯(lián)互通的AI生態(tài)系統(tǒng)。在這個(gè)生態(tài)中，AI不再是孤立的智能孤島，而是能夠調(diào)動(dòng)各種專業(yè)工具和服務(wù)的協(xié)調(diào)中心。這將為智能辦公、智能家居、智能醫(yī)療等各個(gè)領(lǐng)域帶來革命性的改變。

說到底，中科大團(tuán)隊(duì)的這項(xiàng)研究不僅為我們提供了評(píng)估AI工具使用能力的科學(xué)方法，更重要的是，它讓我們看到了AI技術(shù)發(fā)展的新方向和新可能。當(dāng)AI學(xué)會(huì)了像熟練工匠一樣使用各種工具時(shí)，它們將不再局限于回答問題和生成內(nèi)容，而是能夠成為我們?cè)跀?shù)字世界中真正的得力助手。這個(gè)未來或許比我們想象的更近，而這項(xiàng)研究正是通往那個(gè)未來的重要里程碑。有興趣深入了解這項(xiàng)開創(chuàng)性研究的讀者可以通過arXiv:2509.09734v1查閱完整的技術(shù)細(xì)節(jié)和實(shí)驗(yàn)數(shù)據(jù)。

Q&A

Q1：MCP-AgentBench是什么？它能測試AI的哪些能力？

A：MCP-AgentBench是中科大團(tuán)隊(duì)開發(fā)的AI評(píng)估基準(zhǔn)測試系統(tǒng)，專門測試AI在模型上下文協(xié)議（MCP）環(huán)境下使用各種外部工具的能力。它包含600個(gè)測試題目，分為六個(gè)難度級(jí)別，能夠系統(tǒng)性地評(píng)估AI從簡單的單工具使用到復(fù)雜的多工具協(xié)調(diào)等各種場景下的表現(xiàn)，就像給AI設(shè)計(jì)了一套完整的"工具使用技能考試"。

Q2：為什么開源AI模型在這個(gè)測試中表現(xiàn)這么好？

A：研究發(fā)現(xiàn)通義千問Qwen3-235B-A22B等開源模型在MCP-AgentBench中取得了最高64.7%的得分，超越了許多知名專有模型。這表明開源社區(qū)在協(xié)議化工具使用方面的優(yōu)化非常出色，這些模型經(jīng)過了大量實(shí)際應(yīng)用場景的訓(xùn)練和調(diào)優(yōu)，在處理標(biāo)準(zhǔn)化工具接口時(shí)展現(xiàn)出了意想不到的優(yōu)勢。

Q3：MCP協(xié)議對(duì)普通用戶有什么實(shí)際意義？

A：MCP協(xié)議就像為所有AI工具建立了統(tǒng)一的"接口標(biāo)準(zhǔn)"，解決了之前每個(gè)AI系統(tǒng)都需要單獨(dú)適配每種工具的復(fù)雜問題。對(duì)普通用戶來說，這意味著未來AI助手將能更輕松地使用各種軟件和服務(wù)，無論是查詢天氣、預(yù)訂酒店還是處理文檔，都能通過統(tǒng)一的方式實(shí)現(xiàn)，大大提升使用體驗(yàn)和效率。