這項由亞利桑那州立大學(xué)的李大偉、加州大學(xué)洛杉磯分校的孫仁亮、圣母大學(xué)的黃悅、伊利諾伊大學(xué)厄巴納-香檳分校的鐘明等研究者組成的跨校團隊進行的研究，發(fā)表于2025年5月24日的arXiv預(yù)印本論文庫。有興趣深入了解的讀者可以通過論文編號arXiv:2502.01534v2或GitHub項目頁面（https://github.com/David-Li0406/Preference-Leakage）訪問完整研究內(nèi)容和相關(guān)代碼數(shù)據(jù)。

在人工智能快速發(fā)展的今天，一個看似完美的循環(huán)正在悄然形成：用先進的大語言模型生成訓(xùn)練數(shù)據(jù)，再用同樣先進的模型來評判學(xué)生模型的表現(xiàn)。這就像讓同一位老師既負責(zé)出題，又負責(zé)閱卷一樣。表面上看，這種做法效率極高，成本低廉，但研究團隊卻在這個看似合理的流程中發(fā)現(xiàn)了一個令人意外的問題。

當(dāng)我們在餐廳吃飯時，如果廚師既是菜品的制作者，又是菜品質(zhì)量的評判者，我們很容易想象他可能會對自己的手藝有所偏愛。同樣的道理，研究團隊發(fā)現(xiàn)，當(dāng)用來生成訓(xùn)練數(shù)據(jù)的AI模型與用來評判學(xué)生表現(xiàn)的AI模型存在某種"親緣關(guān)系"時，評判就可能不再公正。這種現(xiàn)象被研究者們命名為"偏好泄漏"。

偏好泄漏就像是一種隱形的家族偏見。當(dāng)GPT-4生成了一批訓(xùn)練數(shù)據(jù)來訓(xùn)練小模型，然后又用GPT-4來評價這個小模型的表現(xiàn)時，GPT-4會不自覺地對那些"繼承了自己風(fēng)格"的回答給出更高的評分。這不是因為這些回答真的更好，而是因為它們在某種程度上反映了GPT-4自己的"口味"和偏好。

這個發(fā)現(xiàn)對整個AI評估領(lǐng)域意義重大。目前，越來越多的AI系統(tǒng)依賴于大語言模型進行自動評估，從學(xué)術(shù)研究到商業(yè)應(yīng)用都廣泛使用這種方法。但如果評估本身就帶有偏見，那么我們?nèi)绾未_保AI系統(tǒng)的真實性能得到準(zhǔn)確評價呢？研究團隊不僅發(fā)現(xiàn)了這個問題，還深入分析了它的成因、表現(xiàn)形式和潛在影響，為構(gòu)建更公平的AI評估體系提供了重要參考。

一、什么是偏好泄漏：AI評判中的家族偏見

偏好泄漏現(xiàn)象可以用一個簡單的比喻來理解：如果你用某位著名廚師的食譜學(xué)做菜，然后請這位廚師來品嘗你的作品，他很可能會給出比其他評委更高的分數(shù)。這不是因為你做得特別好，而是因為你的菜品體現(xiàn)了他熟悉的風(fēng)味特點。

在AI領(lǐng)域，這種現(xiàn)象表現(xiàn)為：當(dāng)用某個大語言模型生成的數(shù)據(jù)訓(xùn)練出的學(xué)生模型接受同一個模型的評判時，評判分數(shù)往往會被人為抬高。研究團隊將這種現(xiàn)象正式定義為"偏好泄漏"，并通過數(shù)學(xué)公式精確描述了這種偏見的存在條件。

具體來說，偏好泄漏涉及三個關(guān)鍵角色：數(shù)據(jù)生成模型、學(xué)生模型和評判模型。數(shù)據(jù)生成模型負責(zé)創(chuàng)建訓(xùn)練材料，就像是教材編寫者；學(xué)生模型使用這些材料進行學(xué)習(xí)，相當(dāng)于學(xué)生；評判模型則負責(zé)評估學(xué)生的表現(xiàn)，扮演考官的角色。當(dāng)數(shù)據(jù)生成模型和評判模型存在某種關(guān)聯(lián)時，問題就出現(xiàn)了。

研究團隊識別出了三種主要的模型關(guān)聯(lián)類型。第一種是最直接的情況：完全相同的模型既用于生成數(shù)據(jù)，又用于評判表現(xiàn)。這就像讓同一個人既當(dāng)運動員又當(dāng)裁判，偏見幾乎不可避免。第二種是繼承關(guān)系：一個模型是基于另一個模型微調(diào)或訓(xùn)練而來的。這種關(guān)系就像師父和徒弟的關(guān)系，徒弟評判師父教出的學(xué)生時，很可能會帶有相似的偏好。第三種是家族關(guān)系：兩個模型屬于同一個模型家族，比如都是GPT系列的不同版本。雖然它們不完全相同，但共同的基礎(chǔ)架構(gòu)和訓(xùn)練數(shù)據(jù)使它們具有相似的"品味"。

這種偏好泄漏的危害在于它的隱蔽性。與傳統(tǒng)的數(shù)據(jù)泄漏問題不同，偏好泄漏不涉及訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的直接重疊，因此更難被發(fā)現(xiàn)。它像是一種文化傳承，學(xué)生模型在學(xué)習(xí)過程中不知不覺地吸收了數(shù)據(jù)生成模型的風(fēng)格特征，而評判模型又對這些熟悉的特征給予了額外的青睞。

二、實驗設(shè)計：揭開偏好泄漏的真面目

為了驗證偏好泄漏現(xiàn)象的真實存在，研究團隊設(shè)計了一系列巧妙的實驗，就像設(shè)計一場精心策劃的測試來揭露隱藏的偏見一樣。

研究團隊選擇了三個目前最先進的大語言模型作為實驗對象：GPT-4o、Gemini-1.5和LLaMA-3.3。這些模型就像三位不同流派的武術(shù)大師，各有自己獨特的風(fēng)格和特點。同時，他們還選擇了兩個相對較小的模型Mistral-7B和Qwen-2.5-14B作為學(xué)生模型，這些模型就像是準(zhǔn)備接受不同大師指導(dǎo)的學(xué)徒。

實驗的設(shè)計思路非常直觀。研究團隊首先讓三位"大師"分別為3萬個問題創(chuàng)建答案，形成三套不同風(fēng)格的訓(xùn)練教材。然后，他們用這些教材分別訓(xùn)練學(xué)徒模型，讓每個學(xué)徒都學(xué)會一位特定大師的風(fēng)格。接下來，關(guān)鍵的測試環(huán)節(jié)開始了：讓三位大師分別評判所有學(xué)徒的表現(xiàn)，看看是否會出現(xiàn)"偏愛自己門徒"的現(xiàn)象。

為了確保實驗的公正性，研究團隊選擇了兩個廣受認可的評估基準(zhǔn)：Arena-Hard和AlpacaEval 2.0。這兩個基準(zhǔn)就像是AI界的標(biāo)準(zhǔn)化考試，能夠相對客觀地評估模型的綜合能力。Arena-Hard包含500個具有挑戰(zhàn)性的英語問題，這些問題經(jīng)過精心挑選，能夠很好地區(qū)分不同模型的能力水平。AlpacaEval 2.0則包含805個問題，相比早期版本，它特別減少了文本長度對評判結(jié)果的影響，使評估更加公平。

實驗采用了對比評判的方式，就像讓評委在兩道菜之間做選擇一樣。每次測試中，評判模型需要比較兩個學(xué)生模型的回答，并決定哪個更好。這種方法比簡單的打分更能反映真實的偏好差異。

為了量化偏好泄漏的程度，研究團隊還創(chuàng)造了一個專門的測量指標(biāo)：偏好泄漏分數(shù)。這個分數(shù)的計算方法很直觀：比較每個評判模型對"自家學(xué)生"和"別家學(xué)生"的評分差異，然后計算這種差異的平均值。如果一個評判模型對自己訓(xùn)練出來的學(xué)生給分明顯更高，那么偏好泄漏分數(shù)就會很高。

三、令人震驚的發(fā)現(xiàn)：偏愛無處不在

實驗結(jié)果讓研究團隊大吃一驚，偏好泄漏現(xiàn)象比預(yù)想的更加普遍和嚴重。在大多數(shù)測試組合中，評判模型都表現(xiàn)出了對"自家學(xué)生"的明顯偏愛，這種偏愛程度遠超過了統(tǒng)計誤差的范圍。

最直觀的發(fā)現(xiàn)是，當(dāng)同一個模型既用于生成訓(xùn)練數(shù)據(jù)又用于評判時，偏見最為嚴重。在Arena-Hard測試中，這種偏好泄漏分數(shù)平均達到了23.6%，這意味著評判模型給自家學(xué)生的優(yōu)勢評價比給其他學(xué)生高出近四分之一。這就好比一個老師給自己親手培養(yǎng)的學(xué)生打分時，不自覺地多給了20多分的"感情分"。

更有趣的是，即使不是完全相同的模型，只要存在某種關(guān)聯(lián)，偏好泄漏現(xiàn)象依然存在。當(dāng)評判模型與數(shù)據(jù)生成模型屬于同一家族的不同版本時，偏好泄漏分數(shù)仍然達到了8.9%。這說明即使是"遠親"關(guān)系，也會產(chǎn)生一定程度的評判偏見。

研究團隊還發(fā)現(xiàn)了一個反直覺的現(xiàn)象：較小的學(xué)生模型反而更容易引發(fā)評判偏見。當(dāng)他們測試不同規(guī)模的Qwen系列模型時，發(fā)現(xiàn)最小的模型（Qwen-2.5-3B和Qwen-3-1.7B）獲得的偏好泄漏分數(shù)最高。這與傳統(tǒng)數(shù)據(jù)污染問題中"模型越大越容易受影響"的規(guī)律相反。

這種現(xiàn)象的原因可能在于小模型的學(xué)習(xí)能力有限，它們更容易完全照搬數(shù)據(jù)生成模型的表面特征和格式風(fēng)格，而不是學(xué)會更深層的推理能力。就像一個記憶力有限的學(xué)生，無法理解老師講課的深層邏輯，只能死記硬背一些表面的套路和模板。當(dāng)評判模型看到這些熟悉的套路時，很容易產(chǎn)生好感。

不同評估基準(zhǔn)之間的差異也很有意思。Arena-Hard上的偏好泄漏分數(shù)普遍比AlpacaEval 2.0更高，這可能與問題的難度和類型有關(guān)。Arena-Hard的問題更具挑戰(zhàn)性，更依賴主觀判斷，這為偏好泄漏提供了更大的空間。相比之下，AlpacaEval 2.0的問題相對更客觀，偏見的影響空間較小。

四、深入分析：偏好泄漏的內(nèi)在機制

為了更好地理解偏好泄漏現(xiàn)象的成因，研究團隊進行了一系列深入的分析實驗，就像醫(yī)生做各種檢查來診斷疾病的根本原因一樣。

首先，他們測試了訓(xùn)練數(shù)據(jù)的混合比例對偏好泄漏的影響。結(jié)果發(fā)現(xiàn)，偏好泄漏的嚴重程度與"有問題"的訓(xùn)練數(shù)據(jù)比例呈正相關(guān)關(guān)系。即使只有很小比例的數(shù)據(jù)來自相關(guān)模型，偏好泄漏現(xiàn)象依然會出現(xiàn)。這就像食物中毒一樣，哪怕只有一小部分食材有問題，整道菜都會受到影響。

更令人擔(dān)憂的是，這種關(guān)系幾乎是線性的，沒有明顯的"安全閾值"。這意味著即使混入很少量的相關(guān)數(shù)據(jù)，也可能引發(fā)偏好泄漏問題。對于實際應(yīng)用來說，這個發(fā)現(xiàn)意義重大，因為在現(xiàn)實中很難完全避免使用相關(guān)模型的數(shù)據(jù)。

接下來，研究團隊測試了不同訓(xùn)練方法對偏好泄漏的影響。他們比較了三種常見的訓(xùn)練方式：監(jiān)督微調(diào)、直接偏好優(yōu)化和上下文學(xué)習(xí)。結(jié)果顯示，監(jiān)督微調(diào)是最容易產(chǎn)生偏好泄漏的方法，偏好泄漏分數(shù)達到23.6%。這是因為監(jiān)督微調(diào)會讓學(xué)生模型深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)的各種特征，包括那些表面的風(fēng)格特征。

相比之下，直接偏好優(yōu)化的偏好泄漏分數(shù)只有5.2%，而上下文學(xué)習(xí)甚至出現(xiàn)了負值（-2.7%），表現(xiàn)出輕微的反向偏見。這些結(jié)果告訴我們，選擇合適的訓(xùn)練方法可以在一定程度上減輕偏好泄漏問題。

研究團隊還調(diào)查了偏好泄漏在現(xiàn)實世界中的影響。他們分析了幾個知名的AI評估排行榜，發(fā)現(xiàn)偏好泄漏現(xiàn)象確實存在于真實的應(yīng)用場景中。通過比較模型在不同排行榜上的表現(xiàn)，他們發(fā)現(xiàn)某些模型的排名差異可能與偏好泄漏有關(guān)。

更有趣的是，研究團隊嘗試讓評判模型識別哪些回答來自"自家學(xué)生"。結(jié)果發(fā)現(xiàn)，這些模型的識別能力很差，準(zhǔn)確率基本接近隨機猜測的水平。這說明偏好泄漏是一種潛意識的偏見，評判模型自己都沒有意識到這種偏愛的存在。

然而，當(dāng)研究團隊使用專門的BERT分類器來區(qū)分不同學(xué)生模型的回答時，準(zhǔn)確率卻達到了82.4%。這個巨大的差異說明，雖然人類和AI評判者難以察覺，但學(xué)生模型確實在訓(xùn)練過程中學(xué)會了數(shù)據(jù)生成模型的某些特征標(biāo)記。

五、問題類型的影響：主觀性越強，偏見越大

研究團隊進一步分析了不同類型問題和評判維度對偏好泄漏的影響，發(fā)現(xiàn)了一個重要規(guī)律：問題越主觀，偏好泄漏現(xiàn)象就越嚴重。

在問題類型分析中，數(shù)學(xué)問題顯示出最低的偏好泄漏分數(shù)（7.7%），而編程問題的分數(shù)最高（31.4%）。這種差異很容易理解：數(shù)學(xué)問題通常有標(biāo)準(zhǔn)答案，評判相對客觀；而編程問題雖然也有正確性要求，但在代碼風(fēng)格、實現(xiàn)方式等方面存在很大的主觀空間。

科學(xué)工程類、商務(wù)類和寫作類問題的偏好泄漏分數(shù)都處于中等水平，分別為17.3%、16.5%和21.0%。這些領(lǐng)域既有一定的客觀標(biāo)準(zhǔn)，又留有主觀判斷的空間，因此偏好泄漏的影響程度適中。

在評判維度分析中，研究團隊發(fā)現(xiàn)"公平性和責(zé)任感"這個維度的偏好泄漏分數(shù)最高（32.4%），其次是創(chuàng)造性（30.7%）。這些都是高度主觀的評判標(biāo)準(zhǔn)，不同的評判者可能有完全不同的看法。相比之下，"完整性"這個相對客觀的維度偏好泄漏分數(shù)最低（27.9%）。

這些發(fā)現(xiàn)揭示了偏好泄漏問題的一個重要特征：它主要在主觀評判領(lǐng)域發(fā)揮作用。這也解釋了為什么這個問題如此難以發(fā)現(xiàn)和解決——在主觀判斷中，很難區(qū)分什么是合理的偏好差異，什么是不當(dāng)?shù)钠姟?/p>

六、對現(xiàn)實世界的影響：隱藏在排行榜背后的偏見

研究團隊的發(fā)現(xiàn)不僅僅是學(xué)術(shù)上的有趣現(xiàn)象，它們對現(xiàn)實世界的AI應(yīng)用產(chǎn)生了深遠的影響。當(dāng)前許多知名的AI評估基準(zhǔn)和排行榜都依賴于大語言模型作為評判者，而這些評判可能都受到偏好泄漏的影響。

研究團隊分析了AlpacaEval 2.0這個廣泛使用的評估基準(zhǔn)，發(fā)現(xiàn)其中確實存在偏好泄漏現(xiàn)象。他們計算了不同類型偏見對模型排名的影響，發(fā)現(xiàn)偏好泄漏造成的排名偏差甚至比著名的"自我中心偏見"更嚴重。自我中心偏見是指AI模型傾向于偏愛自己生成的回答，這個問題已經(jīng)被廣泛研究。但偏好泄漏的影響范圍更廣，因為它涉及的不僅僅是模型自己的輸出，還包括所有與之相關(guān)的模型的輸出。

這種影響的嚴重性在于，它可能導(dǎo)致某些模型的能力被系統(tǒng)性高估，而另一些模型的能力被低估。如果研究者和開發(fā)者基于這些有偏見的評估結(jié)果做出決策，可能會誤導(dǎo)整個AI技術(shù)的發(fā)展方向。

更令人擔(dān)憂的是，偏好泄漏問題在實際應(yīng)用中可能形成惡性循環(huán)。如果某個模型因為偏好泄漏而在評估中獲得更高分數(shù)，它就更可能被選擇用于新的數(shù)據(jù)生成任務(wù)，進而產(chǎn)生更多帶有其特征的訓(xùn)練數(shù)據(jù)，最終可能導(dǎo)致整個AI生態(tài)系統(tǒng)朝著某種特定的方向發(fā)展，缺乏多樣性和創(chuàng)新性。

七、尋找解決方案的努力

面對偏好泄漏這個復(fù)雜的問題，研究團隊也在探索可能的解決方案。雖然完全消除這種偏見可能很困難，但通過合理的設(shè)計可以顯著減輕其影響。

首先，多樣化的評判團隊是一個重要的策略。就像法庭審判需要多位陪審員一樣，AI評估也應(yīng)該使用來自不同模型家族的多個評判者。這樣可以讓不同的偏好相互平衡，得出更公正的結(jié)果。

其次，訓(xùn)練方法的選擇也很重要。研究結(jié)果顯示，直接偏好優(yōu)化比監(jiān)督微調(diào)產(chǎn)生更少的偏好泄漏，而上下文學(xué)習(xí)幾乎不受影響。因此，在可能的情況下，選擇這些相對"干凈"的訓(xùn)練方法可以減少問題的發(fā)生。

此外，數(shù)據(jù)來源的多樣化也是必要的。避免過度依賴單一模型生成的數(shù)據(jù)，而是使用多種來源的混合數(shù)據(jù)，可以稀釋任何單一模型的偏好影響。

最后，開發(fā)專門的偏好泄漏檢測工具也是一個重要方向。雖然人類和現(xiàn)有的AI模型都難以察覺偏好泄漏，但研究團隊的實驗表明，專門訓(xùn)練的分類器可以有效識別這種問題。未來可能需要開發(fā)更多這樣的工具來監(jiān)控和防范偏好泄漏。

八、對未來的思考

偏好泄漏問題的發(fā)現(xiàn)提醒我們，隨著AI系統(tǒng)變得越來越復(fù)雜和相互依賴，新的挑戰(zhàn)也在不斷涌現(xiàn)。這個問題的隱蔽性和普遍性表明，我們需要更加謹慎地設(shè)計和評估AI系統(tǒng)。

從更廣泛的角度來看，偏好泄漏現(xiàn)象反映了一個根本性的問題：當(dāng)我們用AI來訓(xùn)練AI，用AI來評判AI時，如何確保整個過程的公正性和客觀性？這不僅是一個技術(shù)問題，也是一個哲學(xué)和倫理問題。

研究團隊指出，隨著AI技術(shù)的發(fā)展，模型之間的"家族關(guān)系"將變得越來越復(fù)雜。未來可能出現(xiàn)更多難以察覺的關(guān)聯(lián)關(guān)系，偏好泄漏問題可能會變得更加微妙和難以處理。因此，現(xiàn)在就開始關(guān)注和研究這個問題具有重要的前瞻性意義。

說到底，偏好泄漏問題提醒我們，在AI技術(shù)快速發(fā)展的過程中，我們不能只關(guān)注模型的性能提升，還要關(guān)注評估體系的公正性和可靠性。只有建立了真正客觀公正的評估標(biāo)準(zhǔn)，我們才能確保AI技術(shù)朝著正確的方向發(fā)展，為人類社會帶來真正的福祉。

這項研究為AI評估領(lǐng)域敲響了警鐘，也為未來的研究指明了方向。雖然偏好泄漏問題的完全解決可能還需要時間，但認識到這個問題的存在本身就是邁向更公正AI評估體系的重要一步。正如研究團隊在論文中所說，他們希望這項工作能夠推動研究社區(qū)開發(fā)出更好的檢測、預(yù)防和緩解偏好泄漏的方法，最終構(gòu)建出更加可信和公平的AI評估體系。

Q&A

Q1：什么是偏好泄漏現(xiàn)象？它是如何發(fā)生的？

A：偏好泄漏是指當(dāng)用某個大語言模型生成的數(shù)據(jù)訓(xùn)練出的學(xué)生模型接受同一個或相關(guān)模型評判時，評判分數(shù)會被人為抬高的現(xiàn)象。這就像讓同一位老師既出題又閱卷一樣，會不自覺地偏愛體現(xiàn)自己風(fēng)格特點的答案。

Q2：偏好泄漏現(xiàn)象在現(xiàn)實中嚴重嗎？

A：非常嚴重。研究發(fā)現(xiàn)，當(dāng)同一模型既用于生成訓(xùn)練數(shù)據(jù)又用于評判時，偏好泄漏分數(shù)平均達到23.6%，即使是相關(guān)模型之間也有8.9%的偏見。這種偏見甚至比已知的"自我中心偏見"影響更大，可能導(dǎo)致AI評估排行榜出現(xiàn)系統(tǒng)性偏差。

Q3：如何減少或避免偏好泄漏問題？

A：主要方法包括：使用來自不同模型家族的多個評判者進行評估；選擇直接偏好優(yōu)化或上下文學(xué)習(xí)等產(chǎn)生較少偏見的訓(xùn)練方法；使用多種來源的混合數(shù)據(jù)而非單一模型生成的數(shù)據(jù)；開發(fā)專門的檢測工具來識別和監(jiān)控偏好泄漏現(xiàn)象。