這項(xiàng)令人意外的發(fā)現(xiàn)來(lái)自德國(guó)美因茨約翰內(nèi)斯·古騰堡大學(xué)和美國(guó)科羅拉多大學(xué)博爾德分校的聯(lián)合研究團(tuán)隊(duì)。研究負(fù)責(zé)人馬里奧·桑斯-格雷羅（Mario Sanz-Guerrero）、明德·布伊（Minh Duc Bui）和卡塔琳娜·馮德·文澤（Katharina von der Wense）在2025年9月發(fā)表了這項(xiàng)研究成果，論文標(biāo)題為《Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs》。對(duì)此研究感興趣的讀者可以通過(guò)arXiv:2509.15020獲取完整論文。

誰(shuí)能想到，在人工智能大語(yǔ)言模型的評(píng)測(cè)中，一個(gè)小小的空格符號(hào)竟然能掀起如此巨大的波瀾？當(dāng)我們?cè)跍y(cè)試ChatGPT、Claude這些AI助手回答選擇題的能力時(shí)，研究人員發(fā)現(xiàn)了一個(gè)幾乎被所有人忽視的細(xì)節(jié)問(wèn)題：在"Answer:"這個(gè)提示詞后面，那個(gè)看似微不足道的空格應(yīng)該怎么處理？

這聽(tīng)起來(lái)可能讓人摸不著頭腦。畢竟，一個(gè)空格能有什么大不了的？但研究團(tuán)隊(duì)的發(fā)現(xiàn)足以讓整個(gè)AI評(píng)測(cè)領(lǐng)域?yàn)橹痼@：僅僅是改變這個(gè)空格的處理方式，就能讓模型的準(zhǔn)確率產(chǎn)生高達(dá)11%的差異，甚至徹底改變AI模型在排行榜上的名次。這就好比在一場(chǎng)馬拉松比賽中，僅僅因?yàn)樾瑤捣ǖ牟煌?，就能讓跑者的成?jī)相差好幾分鐘。

一、問(wèn)題的發(fā)現(xiàn)：看似平凡的技術(shù)細(xì)節(jié)背后

要理解這個(gè)問(wèn)題，我們需要先了解AI模型是如何回答選擇題的。當(dāng)我們給大語(yǔ)言模型出一道選擇題時(shí)，比如問(wèn)它"地球上最大的海洋是什么？"然后給出選項(xiàng)A太平洋、B大西洋、C印度洋、D北冰洋，模型會(huì)在提示詞"Answer:"之后生成它認(rèn)為正確的答案字母。

但這里就出現(xiàn)了一個(gè)看似微不足道的技術(shù)問(wèn)題：計(jì)算機(jī)處理文本時(shí)需要將文字分解成更小的單位，這個(gè)過(guò)程叫做"分詞"（tokenization）。就像我們閱讀時(shí)會(huì)將句子分解成一個(gè)個(gè)詞語(yǔ)一樣，AI模型也需要將輸入的文本分解成一個(gè)個(gè)"token"（可以理解為文字片段）來(lái)理解。

問(wèn)題就出在"Answer:"后面的那個(gè)空格上。研究人員發(fā)現(xiàn)，目前的AI評(píng)測(cè)實(shí)踐中存在兩種截然不同的處理方式。第一種方式是將"Answer: "（包含空格）作為一個(gè)整體，然后讓模型生成單純的字母"A"；第二種方式是將"Answer:"作為一個(gè)整體，讓模型生成包含空格的" A"（空格+字母A）。

這兩種方式的區(qū)別就像是在問(wèn)路時(shí)，一種是問(wèn)"請(qǐng)問(wèn)銀行在哪里？"然后等對(duì)方回答"左邊"，另一種是問(wèn)"請(qǐng)問(wèn)銀行在"然后等對(duì)方接著說(shuō)" 左邊"。雖然含義相同，但對(duì)于嚴(yán)格按照模式進(jìn)行理解的AI模型來(lái)說(shuō)，這種差異可能帶來(lái)截然不同的結(jié)果。

更令人困惑的是，目前學(xué)術(shù)界和工業(yè)界對(duì)這個(gè)問(wèn)題并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。一些知名研究機(jī)構(gòu)采用第一種方式，另一些則堅(jiān)持第二種方式，甚至同一個(gè)評(píng)測(cè)框架內(nèi)部都存在不一致的做法。這就像是在同一場(chǎng)考試中，有些學(xué)生用黑色簽字筆答題，有些用藍(lán)色簽字筆，而評(píng)分標(biāo)準(zhǔn)卻因?yàn)楣P的顏色不同而有所差異。

二、實(shí)驗(yàn)設(shè)計(jì)：揭開(kāi)空格背后的秘密

為了徹底調(diào)查這個(gè)問(wèn)題，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)極其詳盡的實(shí)驗(yàn)。他們選擇了15個(gè)不同類(lèi)型的大語(yǔ)言模型進(jìn)行測(cè)試，這些模型涵蓋了從小型的27億參數(shù)模型到大型的720億參數(shù)模型，包括了目前主流的Llama、Gemma、Mistral、Qwen等模型家族。這就像是召集了不同年齡、不同背景的學(xué)生來(lái)參加同一場(chǎng)考試，以確保結(jié)果的廣泛適用性。

在數(shù)據(jù)集的選擇上，研究團(tuán)隊(duì)也是精心安排。他們主要使用了MMLU（Massive Multitask Language Understanding）這個(gè)廣泛認(rèn)可的評(píng)測(cè)基準(zhǔn)，該數(shù)據(jù)集包含了來(lái)自57個(gè)不同領(lǐng)域的多選題，從歷史地理到數(shù)學(xué)物理，幾乎涵蓋了人類(lèi)知識(shí)的各個(gè)方面。此外，他們還在另外五個(gè)常用的多選題數(shù)據(jù)集上進(jìn)行了驗(yàn)證，確保發(fā)現(xiàn)的現(xiàn)象不是偶然的個(gè)例。

實(shí)驗(yàn)的核心設(shè)計(jì)非常簡(jiǎn)單卻又極其嚴(yán)格。對(duì)于每個(gè)模型，研究團(tuán)隊(duì)都進(jìn)行了兩次完全相同的測(cè)試，唯一的區(qū)別就是空格的處理方式。在第一種測(cè)試中，他們讓模型在"Answer: "后直接生成字母"A"、"B"、"C"或"D"；在第二種測(cè)試中，他們讓模型在"Answer:"后生成包含空格的答案，如" A"、" B"、" C"或" D"。

為了確保結(jié)果的可靠性，研究團(tuán)隊(duì)還進(jìn)行了多種變化測(cè)試。他們嘗試了不同的提示詞格式，比如將選項(xiàng)用括號(hào)括起來(lái)，或者使用數(shù)字1、2、3、4代替字母A、B、C、D，甚至將選項(xiàng)列表放在問(wèn)題之前。他們還測(cè)試了少樣本學(xué)習(xí)（few-shot learning）和思維鏈推理（chain-of-thought reasoning）等不同的評(píng)測(cè)方式。

三、震撼的發(fā)現(xiàn)：一個(gè)空格改變一切

當(dāng)實(shí)驗(yàn)結(jié)果出爐時(shí)，研究團(tuán)隊(duì)都被深深震撼了。數(shù)據(jù)顯示，當(dāng)采用第二種方式（即生成包含空格的答案）時(shí)，幾乎所有模型的表現(xiàn)都出現(xiàn)了顯著提升。在MMLU數(shù)據(jù)集上，15個(gè)模型中有13個(gè)在統(tǒng)計(jì)學(xué)上表現(xiàn)出了顯著的改進(jìn)，準(zhǔn)確率提升幅度從1.47%到2.64%不等。

更令人驚訝的是某些極端案例。在HellaSwag數(shù)據(jù)集上，目前研究中最大的模型Qwen 2.5 72B的準(zhǔn)確率提升竟然達(dá)到了11.7%！這種提升幅度已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了許多復(fù)雜算法改進(jìn)所能帶來(lái)的效果。這就好比是在一場(chǎng)精密的射擊比賽中，僅僅調(diào)整了瞄準(zhǔn)鏡上一個(gè)小螺絲，就讓射手的命中率從70%躍升到了82%。

但最具戲劇性的發(fā)現(xiàn)是模型排名的變化。在采用第一種空格處理方式時(shí)，Llama 3.1 70B Instruct模型在排行榜上位居榜首；但當(dāng)改用第二種方式時(shí)，Qwen 2.5 72B模型一躍成為新的冠軍。這種排名的顛倒完全顛覆了人們對(duì)模型性能的認(rèn)知，也讓研究人員意識(shí)到過(guò)去許多AI模型比較研究的結(jié)論可能都需要重新審視。

除了準(zhǔn)確率的提升，研究團(tuán)隊(duì)還發(fā)現(xiàn)了另一個(gè)重要現(xiàn)象：模型的"校準(zhǔn)度"（calibration）也得到了顯著改善。校準(zhǔn)度可以理解為模型對(duì)自己答案信心程度的準(zhǔn)確性。一個(gè)校準(zhǔn)良好的模型在它非常確信的答案上通常是對(duì)的，在它不太確定的答案上錯(cuò)誤率也相對(duì)較高。研究發(fā)現(xiàn)，采用第二種空格處理方式后，大多數(shù)模型的校準(zhǔn)誤差都有所降低，有些模型的可靠性甚至提高了4倍。

四、深層原理：為什么一個(gè)空格如此重要

要理解這個(gè)現(xiàn)象的根本原因，我們需要深入AI模型的"大腦"。大語(yǔ)言模型在處理文本時(shí)，會(huì)將每個(gè)詞或字符片段轉(zhuǎn)換成數(shù)字向量，這個(gè)過(guò)程就像是給每個(gè)文字片段分配一個(gè)獨(dú)特的"身份證號(hào)碼"。模型通過(guò)學(xué)習(xí)這些"身份證號(hào)碼"之間的關(guān)系來(lái)理解和生成文本。

研究團(tuán)隊(duì)通過(guò)分析發(fā)現(xiàn)，當(dāng)我們比較不同答案選項(xiàng)的向量表示時(shí)，包含空格的版本（如" A"、" B"、" C"、" D"）彼此之間的相似度比不包含空格的版本（如"A"、"B"、"C"、"D"）要更加均勻。這就像是在一個(gè)四人小組中，如果每個(gè)人都穿著類(lèi)似的制服，他們看起來(lái)會(huì)更加協(xié)調(diào)一致，而如果每個(gè)人穿著完全不同的衣服，差異就會(huì)更加明顯。

具體來(lái)說(shuō)，研究人員計(jì)算了這些向量之間的相似度。他們發(fā)現(xiàn)，在正確答案" A"和錯(cuò)誤答案" B"之間的相似度約為0.6，而在正確答案"A"和錯(cuò)誤答案"B"之間的相似度約為0.3。這種差異可能讓模型在做決策時(shí)能夠更清晰地區(qū)分不同選項(xiàng)，從而提高準(zhǔn)確率。

另一個(gè)重要的原理涉及到模型的"自然期望"。當(dāng)模型在訓(xùn)練過(guò)程中見(jiàn)到"Answer: A"這樣的文本時(shí)，它實(shí)際上會(huì)將其分解為["Answer", ":", " ", "A"]這樣的片段序列。因此，當(dāng)我們要求模型生成答案時(shí)，如果我們給出的提示是"Answer:"，那么模型自然期望接下來(lái)應(yīng)該生成的是" A"而不是"A"。這就像是在一個(gè)熟悉的對(duì)話模式中，如果有人說(shuō)"今天天氣"，我們自然會(huì)期待接下來(lái)聽(tīng)到的是" 真好"而不是"真好"。

五、驗(yàn)證實(shí)驗(yàn)：確保發(fā)現(xiàn)的普遍性

為了確保這個(gè)發(fā)現(xiàn)不是偶然現(xiàn)象，研究團(tuán)隊(duì)進(jìn)行了大量的驗(yàn)證實(shí)驗(yàn)。他們首先測(cè)試了不同語(yǔ)言環(huán)境下的表現(xiàn)。令人驚訝的是，即使在西班牙語(yǔ)、德語(yǔ)、法語(yǔ)、印地語(yǔ)甚至中文環(huán)境下，這個(gè)現(xiàn)象依然存在。特別是在中文測(cè)試中，盡管Llama 3.1模型并非專(zhuān)門(mén)為中文優(yōu)化，但仍然表現(xiàn)出了4.3個(gè)百分點(diǎn)的準(zhǔn)確率提升和5個(gè)百分點(diǎn)的校準(zhǔn)改善。

研究團(tuán)隊(duì)還測(cè)試了不同的提示詞格式。無(wú)論是將選項(xiàng)用括號(hào)包圍（如"(A)"、"(B)"），還是改變選項(xiàng)的順序，甚至將選項(xiàng)列表放在問(wèn)題之前，空格處理方式的影響都始終存在。這表明這個(gè)現(xiàn)象并不依賴(lài)于特定的提示詞格式，而是一個(gè)更加根本性的問(wèn)題。

在少樣本學(xué)習(xí)測(cè)試中，研究人員在問(wèn)題前提供了5個(gè)示例問(wèn)題和答案，以幫助模型更好地理解任務(wù)格式。結(jié)果顯示，即使在這種情況下，第二種空格處理方式仍然帶來(lái)了顯著的性能提升。在思維鏈推理測(cè)試中，研究人員鼓勵(lì)模型在給出最終答案前進(jìn)行逐步推理。有趣的是，雖然準(zhǔn)確率的提升幅度有所減小，但校準(zhǔn)度的改善依然顯著。

六、廣泛影響：重新審視AI評(píng)測(cè)的可靠性

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了一個(gè)技術(shù)細(xì)節(jié)的發(fā)現(xiàn)。它揭示了當(dāng)前AI評(píng)測(cè)領(lǐng)域存在的一個(gè)系統(tǒng)性問(wèn)題：看似微不足道的實(shí)現(xiàn)細(xì)節(jié)可能對(duì)評(píng)測(cè)結(jié)果產(chǎn)生巨大影響。這就像是發(fā)現(xiàn)了天平上一個(gè)看不見(jiàn)的配重，它一直在悄悄地影響著每一次稱(chēng)重的結(jié)果。

從實(shí)際應(yīng)用的角度來(lái)看，這個(gè)發(fā)現(xiàn)對(duì)AI模型的開(kāi)發(fā)者和使用者都具有重要意義。對(duì)于模型開(kāi)發(fā)者來(lái)說(shuō)，他們需要重新審視自己的評(píng)測(cè)流程，確保使用了最合適的空格處理方式。對(duì)于模型使用者來(lái)說(shuō)，他們?cè)诒容^不同模型性能時(shí)需要格外小心，確保比較的基礎(chǔ)是公平的。

更重要的是，這項(xiàng)研究提醒我們，AI評(píng)測(cè)的標(biāo)準(zhǔn)化和透明化有多么重要。目前，許多商業(yè)AI模型的評(píng)測(cè)細(xì)節(jié)并不公開(kāi)，這使得外界很難知道他們?cè)陬?lèi)似問(wèn)題上采用了什么樣的處理方式。研究團(tuán)隊(duì)強(qiáng)烈建議建立更加透明和標(biāo)準(zhǔn)化的評(píng)測(cè)協(xié)議，以確保不同研究之間的結(jié)果具有可比性。

研究還發(fā)現(xiàn)，這個(gè)問(wèn)題在不同規(guī)模的模型上都存在，從小型的27億參數(shù)模型到大型的720億參數(shù)模型都受到影響。這表明這不是某個(gè)特定模型或模型家族的問(wèn)題，而是一個(gè)更加普遍的現(xiàn)象。隨著AI模型在各個(gè)領(lǐng)域的廣泛應(yīng)用，確保評(píng)測(cè)結(jié)果的可靠性變得越來(lái)越重要。

七、未來(lái)啟示：建立更可靠的AI評(píng)測(cè)標(biāo)準(zhǔn)

基于這些發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了明確的建議：在進(jìn)行多選題評(píng)測(cè)時(shí)，應(yīng)該統(tǒng)一采用第二種空格處理方式（即生成包含空格的答案），因?yàn)檫@種方式不僅能夠帶來(lái)更好的性能表現(xiàn)，還能提高模型的校準(zhǔn)度。這個(gè)建議現(xiàn)在已經(jīng)成為了他們推薦的最佳實(shí)踐。

更廣泛地說(shuō)，這項(xiàng)研究突出了建立統(tǒng)一評(píng)測(cè)框架的重要性。目前，不同的研究機(jī)構(gòu)和評(píng)測(cè)平臺(tái)可能采用不同的技術(shù)細(xì)節(jié)，這使得比較結(jié)果變得困難甚至誤導(dǎo)。研究團(tuán)隊(duì)呼吁學(xué)術(shù)界和工業(yè)界共同努力，建立更加標(biāo)準(zhǔn)化、透明化的評(píng)測(cè)協(xié)議。

對(duì)于未來(lái)的研究方向，這項(xiàng)工作也開(kāi)辟了新的可能性。研究人員計(jì)劃進(jìn)一步調(diào)查其他可能被忽視的技術(shù)細(xì)節(jié)，比如不同的標(biāo)點(diǎn)符號(hào)處理、大小寫(xiě)處理等是否也會(huì)產(chǎn)生類(lèi)似的影響。他們還計(jì)劃在更大規(guī)模的模型上驗(yàn)證這些發(fā)現(xiàn)，特別是那些參數(shù)量超過(guò)1000億的超大型模型。

另一個(gè)重要的研究方向是探索這個(gè)現(xiàn)象的理論基礎(chǔ)。雖然目前的解釋主要基于向量相似度和模型期望，但可能還有更深層的數(shù)學(xué)或認(rèn)知科學(xué)原理在起作用。理解這些原理不僅有助于改進(jìn)評(píng)測(cè)方法，還可能為模型設(shè)計(jì)本身提供新的洞察。

這項(xiàng)研究也提醒我們，在快速發(fā)展的AI領(lǐng)域，我們需要保持謙遜和謹(jǐn)慎的態(tài)度。即使是看似已經(jīng)解決的問(wèn)題，也可能隱藏著我們尚未發(fā)現(xiàn)的復(fù)雜性。正如研究團(tuán)隊(duì)在論文中所說(shuō)，魔鬼往往隱藏在細(xì)節(jié)中，而這些細(xì)節(jié)可能對(duì)最終結(jié)果產(chǎn)生決定性的影響。

說(shuō)到底，這項(xiàng)研究的最大價(jià)值可能不在于發(fā)現(xiàn)了空格處理的重要性，而在于提醒我們建立更加嚴(yán)格、透明、標(biāo)準(zhǔn)化的AI評(píng)測(cè)體系的緊迫性。只有這樣，我們才能確保AI技術(shù)的進(jìn)步建立在可靠的基礎(chǔ)之上，為人類(lèi)社會(huì)帶來(lái)真正的福祉。當(dāng)我們?cè)谙硎蹵I技術(shù)帶來(lái)的便利時(shí)，也應(yīng)該記住這樣的研究工作正在默默地為AI的可靠性和公平性保駕護(hù)航。對(duì)于那些希望深入了解這一發(fā)現(xiàn)的讀者，完整的研究論文可以通過(guò)arXiv:2509.15020獲取，其中包含了詳細(xì)的實(shí)驗(yàn)設(shè)計(jì)、數(shù)據(jù)分析和技術(shù)細(xì)節(jié)。

Q&A

Q1：為什么空格處理方式會(huì)對(duì)大語(yǔ)言模型的表現(xiàn)產(chǎn)生如此大的影響？

A：這主要是因?yàn)榇笳Z(yǔ)言模型在訓(xùn)練時(shí)學(xué)習(xí)的是特定的文本模式。當(dāng)模型看到"Answer: A"時(shí)，它會(huì)將其分解為["Answer", ":", " ", "A"]這樣的片段。所以當(dāng)我們讓模型生成答案時(shí)，如果提示是"Answer:"，模型自然期望生成" A"而不是"A"。另外，包含空格的答案選項(xiàng)（如" A"、" B"）在向量空間中的分布更加均勻，讓模型更容易區(qū)分不同選項(xiàng)。

Q2：這個(gè)發(fā)現(xiàn)會(huì)影響現(xiàn)有的AI模型排行榜和評(píng)測(cè)結(jié)果嗎？

A：是的，影響非常顯著。研究發(fā)現(xiàn)僅僅改變空格處理方式就能讓模型排行榜發(fā)生顛倒。比如采用第一種方式時(shí)Llama 3.1 70B Instruct排名第一，但改用第二種方式后Qwen 2.5 72B就成為了新冠軍。這意味著很多現(xiàn)有的模型比較研究可能需要重新審視，特別是那些沒(méi)有明確說(shuō)明空格處理方式的研究。

Q3：普通用戶(hù)在使用AI模型時(shí)需要關(guān)注這個(gè)空格問(wèn)題嗎？

A：對(duì)于普通用戶(hù)的日常使用來(lái)說(shuō)，這個(gè)問(wèn)題的影響相對(duì)較小，因?yàn)榇蠖鄶?shù)AI應(yīng)用都會(huì)在內(nèi)部處理這些技術(shù)細(xì)節(jié)。但對(duì)于需要進(jìn)行精確評(píng)測(cè)或比較不同AI模型性能的專(zhuān)業(yè)用戶(hù)來(lái)說(shuō)，了解這個(gè)問(wèn)題非常重要。研究團(tuán)隊(duì)建議統(tǒng)一采用生成包含空格答案的方式，這樣能獲得更好的準(zhǔn)確率和可靠性。