這項開創(chuàng)性研究由Cohere實驗室的Daniel D'souza、Julia Kreutzer、Adrien Morisot、Ahmet Ustün和Sara Hooker團隊完成，論文發(fā)表于2025年6月。有興趣深入了解的讀者可以通過arXiv:2506.14702v1訪問完整論文。研究團隊在論文中提出了一種名為"Treasure Hunt"（尋寶游戲）的全新訓練方法，專門解決大模型在處理少見任務時表現(xiàn)不佳的問題。

大語言模型就像一個博學的圖書管理員，對常見問題了如指掌，但面對冷門問題時卻常常束手無策。研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：這些模型在訓練時接觸最多的是高頻任務，比如回答常見問題或生成普通文本，但對于那些在訓練數(shù)據中出現(xiàn)頻率較低的"長尾任務"——比如修復代碼錯誤、按特定長度要求寫作、或者處理小語種翻譯——表現(xiàn)往往差強人意。這就好比一個廚師精通家常菜，但遇到罕見菜系時就顯得生疏。

傳統(tǒng)的解決方案是在推理時通過精心設計提示詞或提供示例來引導模型，但這種方法就像臨時抱佛腳，效果往往不穩(wěn)定且需要用戶具備相當?shù)膶I(yè)知識。Cohere團隊想到了一個更根本的解決辦法：為什么不在訓練階段就為模型繪制一張詳細的"藏寶圖"，讓它知道在什么情況下該去哪里尋找最合適的答案呢？

一、藏寶圖的設計原理：90個精密標記構建的導航系統(tǒng)

研究團隊的核心創(chuàng)新在于開發(fā)了一套包含90個不同標記的綜合標記系統(tǒng)，這些標記就像藏寶圖上的各種符號，為模型提供極其詳細的導航信息。與以往只關注單一特征的簡單標記不同，這套系統(tǒng)覆蓋了文本生成的方方面面。

質量標記系統(tǒng)采用雙重評估機制。首先是數(shù)值化的質量分數(shù)，通過人工標注或獎勵模型評估得出，就像給每道菜評分一樣客觀量化內容質量。同時還有分桶質量標記，將質量分為四個等級，為模型提供更直觀的質量參考。這種設計讓模型在生成內容時能夠自動調節(jié)質量水準，就像廚師根據場合選擇烹飪精細度一樣。

長度控制標記提供了從精確到模糊的多層次控制。精確標記包括具體的詞匯數(shù)量、句子數(shù)量和段落數(shù)量，而模糊標記則將長度歸類為簡潔、中等和長篇三種類型。這種分層設計讓模型既能滿足嚴格的長度要求，也能在沒有明確要求時做出合理的長度判斷。

領域和任務標記構成了知識分類的核心。領域標記涵蓋科學、技術、醫(yī)學、法律等十個主要知識領域，而任務標記則細分為問答、總結、翻譯、代碼生成等十四種具體任務類型。這種精細分類讓模型能夠根據不同領域的特點調整生成策略，就像專業(yè)翻譯員會根據文檔類型調整翻譯風格一樣。

語言和編程語言標記支持23種自然語言和17種編程語言的精確識別。這種多語言支持不僅讓模型能夠準確識別目標語言，還能減少不同語言間的混淆現(xiàn)象，避免出現(xiàn)回答中文問題卻用英文回復的尷尬情況。

格式和風格標記則關注輸出的呈現(xiàn)形式。格式標記涵蓋JSON、XML、表格、Markdown等八種結構化格式，而風格標記區(qū)分正式、非正式和自定義風格。這些標記讓模型能夠根據使用場景自動選擇最合適的輸出格式和語言風格。

二、聰明的訓練策略：讓模型學會自主推理

僅僅添加標記還不夠，關鍵在于如何訓練模型有效利用這些標記。研究團隊設計了一套巧妙的訓練策略，核心思想是讓模型既能在有標記指導時表現(xiàn)出色，也能在沒有明確標記時自主推斷。

雙重丟棄策略是這套訓練方法的精髓。數(shù)據集級別丟棄會隨機選擇一定比例的訓練樣本，完全移除其輸入部分的標記，迫使模型學會在沒有明確指導時自主判斷。樣本級別丟棄則會在每個樣本中隨機刪除部分標記，讓模型學會處理信息不完整的情況。這種訓練方式就像讓學生既練習開卷考試，也練習閉卷考試，最終培養(yǎng)出更強的應變能力。

為了確保模型始終能夠生成正確的標記，研究團隊在輸出部分保持標記完整，不進行任何丟棄操作。這種不對稱設計讓模型學會了一種重要技能：即使輸入信息不完整，也要在輸出時提供完整的標記信息。這就像訓練一個服務員，即使客戶沒有完全說明需求，也要能夠準確理解并提供完整的服務。

訓練目標函數(shù)經過精心設計，讓模型同時學習內容生成和標記預測兩項技能。模型需要在給定輸入和可選標記的情況下，生成既符合內容要求又包含正確標記的輸出。這種設計確保了標記系統(tǒng)與內容生成的緊密融合，而不是簡單的后期添加。

三、LLM自動標注：解決人工標注的規(guī)?；y題

面對海量訓練數(shù)據，純人工標注顯然不現(xiàn)實。研究團隊巧妙地利用多語言開源模型Command R+作為自動標注工具，為缺失的元信息提供高質量標注。

自動標注系統(tǒng)采用了精心設計的提示策略。對于領域標注，系統(tǒng)為每個領域提供詳細定義和多語言示例，確保標注的準確性和一致性。比如在標注"科學"領域時，會明確說明包括生物學、化學、物理學等具體學科，并提供不同語言的典型例子。

任務類型標注同樣使用結構化方法，為每種任務類型提供清晰定義和判別標準。系統(tǒng)能夠區(qū)分看似相似但本質不同的任務，比如準確區(qū)分代碼生成、代碼修復和代碼翻譯等細分任務。

格式標注相對簡單，因為格式特征通常比較明顯。系統(tǒng)可以通過關鍵詞識別和結構分析自動判斷輸出應該采用哪種格式。

為了保證標注質量，研究團隊在23種語言中都提供了本土化的示例，確保跨語言標注的準確性。這種細致的多語言處理避免了因文化差異導致的標注偏差。

四、推理時的靈活應用：三種使用模式

訓練完成的模型在推理時提供了三種不同的使用模式，滿足不同場景的需求。

默認模式下，用戶只需正常輸入問題，模型會自動推斷所需的標記并生成相應內容。這種模式對用戶最友好，無需任何額外操作就能享受到標記系統(tǒng)的好處。就像使用智能手機拍照，相機會自動調節(jié)各種參數(shù)，用戶只需按下快門即可。

固定標記模式允許用戶明確指定某些標記值，比如要求生成高質量內容或指定特定長度。這種模式適合有明確需求的專業(yè)用戶，能夠提供更精確的控制。

最靈活的是即時標注模式，系統(tǒng)會在推理時調用另一個LLM對輸入進行實時標注，然后基于這些標記生成內容。這種模式結合了自動推斷和精確控制的優(yōu)勢，特別適合處理復雜或非標準的請求。

三種模式的設計體現(xiàn)了研究團隊對實用性的深度考慮。不同技術水平的用戶都能找到適合自己的使用方式，從完全自動化到高度可控，滿足了從普通用戶到專業(yè)開發(fā)者的各種需求。

五、實驗驗證：長尾任務性能顯著提升

為了驗證這種方法的有效性，研究團隊進行了全面的實驗評估，結果令人印象深刻。

在開放式生成質量測試中，使用了具有挑戰(zhàn)性的ArenaHard基準測試。這個測試包含從實際用戶查詢中精選的困難問題，能夠真實反映模型在復雜任務中的表現(xiàn)。實驗結果顯示，標記訓練的模型在整體分布上獲得了5.7%的勝率提升，這個數(shù)字看似不大，但在AI領域已經是顯著的進步。

更重要的發(fā)現(xiàn)是長尾任務的表現(xiàn)差異。在訓練數(shù)據中占比超過5%的高頻領域，模型獲得了5.7%的性能提升。但在占比不足5%的低頻領域，性能提升達到了驚人的9.1%。這個對比清楚地證明了標記系統(tǒng)對長尾任務的特殊價值。

代碼相關任務的實驗結果更加引人注目。在代碼生成這個相對高頻的任務上，模型獲得了3.2%的性能提升。但在極其少見的代碼修復任務上，性能提升達到了14.1%。這種巨大差異說明，訓練時的標記信息能夠有效激活模型對稀有任務模式的記憶。

長度控制實驗展現(xiàn)了標記系統(tǒng)的精確控制能力。在長度指令跟隨測試中，基線模型有36.58%的違規(guī)率，即超過三分之一的回答沒有遵循長度要求。使用標記系統(tǒng)后，違規(guī)率降到了1.25%，幾乎完全解決了長度控制問題。同時，內容質量不僅沒有下降，反而獲得了7.5%的提升，實現(xiàn)了約束和質量的雙重優(yōu)化。

多語言能力測試覆蓋了23種語言，結果顯示標記系統(tǒng)能夠顯著改善語言混淆問題。在跨語言指令跟隨測試中，模型的行級別通過率平均提升了10.98%，其中俄語提升最大，達到18.6%。這說明標記系統(tǒng)不僅改善了內容生成，還提高了模型對語言指令的理解和執(zhí)行能力。

機器翻譯實驗選擇了具有挑戰(zhàn)性的WMT'24++測試集，涵蓋英語到22種語言的翻譯任務。雖然標記系統(tǒng)的主要目標不是翻譯質量，但在5種語言上仍然獲得了顯著提升，最高達到1.18個COMET分數(shù)的改進。這種"意外收獲"進一步證明了標記系統(tǒng)的通用價值。

六、技術細節(jié)和創(chuàng)新點

這項研究的技術實現(xiàn)體現(xiàn)了多個層面的創(chuàng)新思考。

模型架構基于70億參數(shù)的專有基礎模型，訓練數(shù)據包含270萬個樣本，覆蓋23種語言。訓練采用了精心調優(yōu)的超參數(shù)設置：批量大小32，學習率峰值2.5×10??，通過余弦學習率調度在8000步內完成訓練。整個訓練過程在128塊H100 GPU上運行約6小時，體現(xiàn)了工程實現(xiàn)的高效性。

標記模板設計采用XML格式，確保了結構化信息的清晰表達。每個標記都有明確的開始和結束標簽，避免了解析歧義。模板的語言化處理讓標記信息能夠無縫融入自然語言流，不會破壞文本的流暢性。

丟棄策略的參數(shù)選擇經過了細致的實驗驗證。50%的數(shù)據集級別丟棄和50%的樣本級別丟棄被證明是最優(yōu)組合，既保證了模型的泛化能力，又維持了對標記信息的敏感性。過高的丟棄率會損害模型性能，過低的丟棄率則無法充分發(fā)揮標記系統(tǒng)的潛力。

評估方法的多樣性確保了結果的可靠性。除了自動化指標，研究團隊還使用GPT-4o作為評判模型，提供了更接近人類判斷的質量評估。不同評估維度的一致性結果增強了結論的可信度。

七、實際應用價值和未來展望

這項研究的實際應用價值遠超學術意義，為AI系統(tǒng)的實用化部署提供了重要參考。

在企業(yè)級應用中，這種方法能夠顯著改善AI助手處理專業(yè)任務的能力。比如法律文檔分析、醫(yī)學文獻總結、技術代碼審查等低頻但高價值的任務，都能從標記系統(tǒng)中獲得明顯的性能提升。企業(yè)無需為每個專業(yè)領域單獨訓練模型，而是可以通過統(tǒng)一的標記系統(tǒng)實現(xiàn)多領域的高質量服務。

對于內容創(chuàng)作平臺來說，長度控制和格式控制功能具有直接的商業(yè)價值。用戶可以精確要求"生成一篇800字的正式商業(yè)報告"或"寫一個150字的產品介紹"，系統(tǒng)能夠準確理解并執(zhí)行這些要求，大大提升了用戶體驗和內容質量的一致性。

多語言支持的改進對全球化企業(yè)特別重要?？鐕究梢允褂猛惶譇I系統(tǒng)處理不同語言的客戶咨詢、文檔翻譯、本地化內容生成等任務，而不必擔心語言混淆或質量不一致的問題。

這種方法的另一個重要價值在于降低了AI應用的技術門檻。傳統(tǒng)的提示工程需要用戶具備相當?shù)膶I(yè)知識，而標記系統(tǒng)讓普通用戶也能獲得高質量的AI服務。系統(tǒng)能夠自動識別用戶意圖并應用合適的生成策略，就像智能手機讓復雜的通信技術變得人人可用一樣。

研究團隊展示的即時標注功能開辟了AI協(xié)作的新模式。通過讓一個AI模型為另一個AI模型提供標注服務，形成了AI之間的分工協(xié)作。這種模式在復雜任務處理中具有廣闊的應用前景，比如讓專門的分析模型為生成模型提供更精確的任務理解。

從技術發(fā)展趨勢來看，這項研究為AI系統(tǒng)的可控性和可解釋性提供了新的思路。標記系統(tǒng)不僅改善了性能，還讓AI的決策過程更加透明。用戶可以通過觀察系統(tǒng)推斷的標記來理解AI是如何理解任務的，這對建立人機信任關系具有重要意義。

未來的改進方向包括標記系統(tǒng)的進一步細化和動態(tài)調整。隨著應用場景的擴展，可能需要添加更多專業(yè)領域的標記，或者開發(fā)能夠根據用戶反饋自動調整標記權重的自適應系統(tǒng)。另一個有趣的方向是探索標記之間的關聯(lián)關系，比如某些任務類型通常對應特定的質量要求或長度偏好。

這項研究也為AI安全和對齊研究提供了新的工具。通過精確控制AI的輸出特征，可以更好地確保AI系統(tǒng)的行為符合人類期望和安全要求。比如在敏感應用中，可以通過標記系統(tǒng)確保AI始終采用適當?shù)恼Z言風格和內容深度。

說到底，Cohere團隊的這項研究解決了一個看似簡單卻一直困擾AI系統(tǒng)的基本問題：如何讓AI在面對各種任務時都能表現(xiàn)出色，而不只是在訓練時見過很多次的常見任務上發(fā)揮良好。他們的解決方案優(yōu)雅而實用，通過在訓練階段就為模型提供詳細的"藏寶圖"，讓AI學會了在需要時自動尋找最合適的解決方案。

這種方法的美妙之處在于，它不需要用戶成為提示工程專家，也不需要為每個細分任務單獨訓練模型。就像一個經驗豐富的向導，訓練好的模型能夠根據情況自動選擇最佳的處理策略，同時還能接受用戶的明確指導來滿足特定需求。

對于普通用戶來說，這意味著AI助手將變得更加智能和貼心。無論是寫一封正式的商務郵件、總結一份技術文檔，還是修復一段代碼，AI都能提供更加精準和符合期望的幫助。而對于AI研究和開發(fā)者來說，這項工作提供了一個通用的框架，可以應用到各種不同的AI系統(tǒng)中，推動整個行業(yè)向更實用、更可控的方向發(fā)展。

這項研究讓我們看到了AI發(fā)展的一個重要方向：不是簡單地讓模型變得更大更強，而是讓它們變得更加智能和善解人意。通過這種細致入微的訓練方法，AI正在學會真正理解人類的多樣化需求，并提供更加精準的服務。這或許就是未來AI助手應該具備的核心能力——不僅要知識淵博，更要能在關鍵時刻找到最合適的答案。

Q&A

Q1：什么是"藏寶圖訓練法"？它是如何工作的？ A：藏寶圖訓練法是Cohere團隊開發(fā)的一種新型AI訓練方法，通過在訓練數(shù)據中添加90個詳細標記（如質量、長度、語言、任務類型等）來指導模型。就像給模型提供了一張詳細地圖，告訴它在什么情況下該如何處理不同類型的任務。訓練時還會隨機隱藏部分標記，讓模型學會自主推斷。

Q2：這種方法會不會讓AI變得過于復雜，普通用戶難以使用？ A：恰恰相反，這種方法讓AI使用變得更簡單。用戶無需學習復雜的提示工程技巧，只要正常提問，AI就能自動識別任務類型并提供合適的回答。如果有特殊需求（比如指定長度或格式），也可以明確說明，系統(tǒng)會精確執(zhí)行。

Q3：這種訓練方法對哪些任務效果最明顯？ A：對低頻出現(xiàn)的"長尾任務"效果最顯著。實驗顯示，常見任務性能提升5.7%，而罕見任務提升達9.1%。代碼修復這類極少見任務甚至獲得14.1%的提升。長度控制方面，違規(guī)率從36.58%降到1.25%，幾乎完全解決了長度不準確的問題。