這項由NVIDIA團隊的王志林、曾佳琦、Olivier Delalleau等人領(lǐng)導(dǎo)的研究發(fā)表于2025年9月，論文題目為"RLBFF: Binary Flexible Feedback to Bridge Between Human Feedback & Verifiable Rewards"。有興趣深入了解的讀者可以通過arXiv:2509.21319查詢完整論文。

在人工智能的世界里，教會機器什么是好什么是壞一直是個令人頭疼的問題。就像教育孩子一樣，有些家長喜歡用簡單粗暴的方式——要么全對要么全錯，有些家長則偏愛溫和的引導(dǎo)——告訴孩子這樣做比那樣做要好一些?，F(xiàn)有的AI訓(xùn)練方法也分為兩大派別：一派叫做"人類反饋強化學(xué)習(xí)"，另一派則是"可驗證獎勵強化學(xué)習(xí)"。

人類反饋強化學(xué)習(xí)就像是請一群品酒師來評判不同的酒款，他們會說"這款比那款更好"，但具體好在哪里卻說不清楚。這種方法覆蓋面很廣，幾乎什么問題都能處理，但就是太模糊了，而且容易被機器鉆空子——機器可能會學(xué)會迎合評判者的偏好而不是真正提高質(zhì)量。

相比之下，可驗證獎勵強化學(xué)習(xí)就像數(shù)學(xué)考試，答案要么對要么錯，非常明確。這種方法很精準(zhǔn)，不容易被欺騙，但適用范圍太窄，只能處理那些有標(biāo)準(zhǔn)答案的問題，比如數(shù)學(xué)題或編程題。

NVIDIA的研究團隊意識到，這兩種方法就像是兩個性格迥異的老師——一個太寬松，一個太嚴格。能不能找到一個平衡點，既保持寬松老師的包容性，又具備嚴格老師的明確性呢？于是他們提出了一個全新的訓(xùn)練方法，叫做"二元靈活反饋強化學(xué)習(xí)"（RLBFF）。

這個方法的核心思想很簡單卻很巧妙。與其問"這個回答比那個回答好多少"這樣模糊的問題，不如問"這個回答是否滿足某個具體標(biāo)準(zhǔn)"這樣明確的問題。比如，與其問"這篇文章寫得怎么樣"，不如分別問"這篇文章語言是否清晰"、"內(nèi)容是否準(zhǔn)確"、"是否回答了問題"等具體問題，每個問題的答案都是簡單的"是"或"否"。

研究團隊把這個過程比作制作一個詳細的評分卡片。傳統(tǒng)方法就像是給一道菜打總分，可能是8分或9分，但你不知道這個分數(shù)是怎么來的。而他們的新方法則是列出具體的評判標(biāo)準(zhǔn)：味道如何、擺盤如何、營養(yǎng)如何、創(chuàng)意如何，每項都給出明確的好與壞的判斷。

為了實現(xiàn)這個想法，團隊需要解決一個關(guān)鍵問題：如何從現(xiàn)有的人類反饋中提取出這些具體的評判標(biāo)準(zhǔn)？他們使用了一個名為HelpSteer3-Feedback的數(shù)據(jù)集，這個數(shù)據(jù)集包含了40,821個樣本，每個樣本都有人類寫的詳細反饋。

團隊讓AI模型充當(dāng)一個"信息提取專家"，從這些自然語言反饋中識別出具體的評判標(biāo)準(zhǔn)和相應(yīng)的判斷。比如，當(dāng)人類評價者說"這個回答很有幫助，直接解決了問題，提供了完整的代碼，符合用戶要求，但是沒有注釋，特別是修改的地方?jīng)]有說明"時，AI會提取出兩個標(biāo)準(zhǔn)："是否符合用戶要求"（答案是"是"）和"是否包含注釋"（答案是"否"）。

為了確保提取的準(zhǔn)確性，研究團隊設(shè)計了多重驗證機制。他們要求AI不僅要給出判斷，還要引用支持這個判斷的具體文字片段。這就像要求學(xué)生做選擇題時不僅要選答案，還要說明理由。通過這種方式，他們大大減少了AI胡編亂造的可能性。

在處理過程中，團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：不同的評價者可能會用不同的詞匯來描述同樣的評判標(biāo)準(zhǔn)。比如有人說"準(zhǔn)確性"，有人說"正確性"，有人說"信息的準(zhǔn)確度"，但其實說的是同一件事。為了解決這個問題，他們使用了先進的文本相似度計算技術(shù)，將意思相近的標(biāo)準(zhǔn)合并在一起。

經(jīng)過精心篩選和處理，團隊最終得到了包含33,000個樣本的高質(zhì)量數(shù)據(jù)集，涵蓋了1,414種不同的評判標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)涵蓋了從內(nèi)容質(zhì)量到表達方式的各個方面，其中最常見的標(biāo)準(zhǔn)包括"清晰度"、"準(zhǔn)確性"、"相關(guān)性"等。

有了這些數(shù)據(jù)，研究團隊訓(xùn)練了兩種不同類型的獎勵模型。第一種叫做"標(biāo)量獎勵模型"，就像一個快速的質(zhì)檢員，只需要看一眼就能告訴你某個回答是否滿足特定標(biāo)準(zhǔn)，速度非?？欤總€任務(wù)只需要不到0.1秒。第二種叫做"生成式獎勵模型"，就像一個仔細的分析師，會先思考分析，然后給出詳細的判斷理由，雖然慢一些（每個任務(wù)需要10秒以上），但判斷更加準(zhǔn)確。

為了驗證這些模型的效果，團隊在多個權(quán)威測試平臺上進行了評估。結(jié)果顯示，他們的模型在各項測試中都表現(xiàn)優(yōu)異。特別值得一提的是，他們的生成式獎勵模型在JudgeBench測試中獲得了81.4%的成績，位居排行榜第一名。

但研究團隊不滿足于僅僅在現(xiàn)有測試上取得好成績，他們還創(chuàng)建了一個全新的測試平臺，叫做PrincipleBench。這個測試平臺專門用來評估模型是否能夠準(zhǔn)確理解和執(zhí)行具體的評判標(biāo)準(zhǔn)，而不是只看最終的對錯。這就像是專門測試醫(yī)生是否能夠正確使用各種診斷標(biāo)準(zhǔn)，而不是只看他們能不能治好病。

在PrincipleBench測試中，他們的模型再次證明了自己的實力。更重要的是，這個測試揭示了一個有趣的現(xiàn)象：那些在傳統(tǒng)測試中表現(xiàn)很好的其他模型，在需要理解具體標(biāo)準(zhǔn)的任務(wù)上反而表現(xiàn)不佳。這說明很多現(xiàn)有模型可能只是學(xué)會了表面的規(guī)律，而沒有真正理解深層的評判邏輯。

為了進一步驗證新方法的實用價值，研究團隊還進行了一個完整的AI模型訓(xùn)練實驗。他們使用自己的獎勵模型來訓(xùn)練一個名為Qwen3-32B的大型語言模型，結(jié)果令人驚喜。經(jīng)過訓(xùn)練的模型在多個綜合測試中的表現(xiàn)可以媲美甚至超越一些知名的商業(yè)模型，比如OpenAI的o3-mini和DeepSeek的R1，但推理成本卻只有這些模型的不到5%。

這個結(jié)果的意義遠不止節(jié)省成本那么簡單。它證明了通過更好的訓(xùn)練方法，可以用更少的資源達到更好的效果。這就像是發(fā)現(xiàn)了一種新的烹飪技巧，可以用普通食材做出五星級餐廳的味道。

研究團隊在論文中還詳細分析了為什么他們的方法會如此有效。他們發(fā)現(xiàn)，傳統(tǒng)的人類反饋方法存在一個根本問題：評價標(biāo)準(zhǔn)是隱含的、混合的。當(dāng)一個評價者說"這個回答比那個好"時，他可能同時考慮了準(zhǔn)確性、清晰度、完整性等多個因素，但這些因素的權(quán)重和重要性對機器來說是個黑箱。

而他們的方法則將這個黑箱打開，把復(fù)雜的綜合判斷分解為一系列明確的二元判斷。這樣做的好處是雙重的：一方面，機器能夠更清晰地理解每個評判標(biāo)準(zhǔn)的含義；另一方面，人類用戶也可以根據(jù)自己的需求靈活選擇關(guān)注哪些標(biāo)準(zhǔn)。

比如，在處理數(shù)學(xué)問題時，用戶可能更關(guān)心答案的正確性；在處理創(chuàng)意寫作時，可能更關(guān)心語言的優(yōu)美和想象力；在處理技術(shù)文檔時，可能更關(guān)心邏輯的清晰和信息的完整。傳統(tǒng)方法無法做到這種靈活切換，而新方法則可以讓用戶像調(diào)節(jié)收音機頻道一樣，隨時調(diào)整關(guān)注的重點。

團隊還發(fā)現(xiàn)了一個意外的好處：這種方法訓(xùn)練出來的模型對位置偏見（即因為選項出現(xiàn)位置不同而產(chǎn)生的判斷偏差）有很好的抵抗力。傳統(tǒng)的對比式評價方法經(jīng)常受到位置影響——同樣的兩個選項，先出現(xiàn)的和后出現(xiàn)的可能會得到不同的評價。而新方法由于是對單個回答進行絕對評價，而不是相對比較，因此避免了這個問題。

在技術(shù)實現(xiàn)上，研究團隊還解決了許多細節(jié)問題。比如，他們發(fā)現(xiàn)有些評判標(biāo)準(zhǔn)存在"部分滿足"的情況——既不是完全滿足，也不是完全不滿足。雖然這在理論上很有意義，但在實際操作中卻難以把握。一個標(biāo)準(zhǔn)到底算是"部分滿足"還是"基本滿足"？不同的人會有不同的理解。

為了避免這種模糊性帶來的問題，團隊決定只保留那些可以明確判斷為"滿足"或"不滿足"的標(biāo)準(zhǔn)，將那些模糊的"部分滿足"標(biāo)準(zhǔn)剔除出去。雖然這樣做會損失一些信息，但大大提高了判斷的可靠性和一致性。最終數(shù)據(jù)顯示，只有13.8%的標(biāo)準(zhǔn)被標(biāo)記為"部分滿足"，這說明大多數(shù)標(biāo)準(zhǔn)確實可以進行明確的二元判斷。

為了進一步提高數(shù)據(jù)質(zhì)量，團隊還實施了一個"共識機制"。他們要求每個評判標(biāo)準(zhǔn)必須得到至少三個不同評價者的認同，并且這些評價者的判斷必須高度一致。這就像是法庭上的陪審團制度，需要多數(shù)人達成一致才能做出判決。

通過這種嚴格的篩選，雖然最終保留的數(shù)據(jù)量減少了很多（從120萬個降到10萬個），但每一個保留下來的標(biāo)準(zhǔn)都經(jīng)過了嚴格驗證，質(zhì)量極高。研究團隊認為這種"寧缺毋濫"的策略是值得的，因為高質(zhì)量的少量數(shù)據(jù)比低質(zhì)量的大量數(shù)據(jù)更有價值。

為了驗證他們提取的標(biāo)準(zhǔn)是否真實可靠，團隊還專門組織了人工驗證實驗。他們請來三位志愿者，每人獨立檢查126個隨機選擇的樣本，判斷AI提取的標(biāo)準(zhǔn)是否確實符合原始的人類反饋。結(jié)果顯示，在88.9%的情況下，人類驗證者都認為AI的提取是準(zhǔn)確的，這證明了自動提取方法的可靠性。

在模型訓(xùn)練方面，團隊采用了兩種不同的策略來適應(yīng)不同的使用場景。對于需要快速響應(yīng)的應(yīng)用，他們開發(fā)了標(biāo)量獎勵模型，這種模型可以在極短時間內(nèi)給出判斷，適合實時系統(tǒng)使用。對于對準(zhǔn)確性要求更高的應(yīng)用，他們提供了生成式獎勵模型，這種模型會進行深入思考和分析，雖然速度慢一些，但判斷更加可靠。

在實際應(yīng)用測試中，團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：很多現(xiàn)有的先進模型在處理需要明確標(biāo)準(zhǔn)判斷的任務(wù)時表現(xiàn)不佳。這些模型在傳統(tǒng)的正確性測試中可能表現(xiàn)很好，但當(dāng)需要判斷回答是否清晰、是否有重復(fù)、是否符合語言要求等更細致的標(biāo)準(zhǔn)時，就顯得力不從心。

這個發(fā)現(xiàn)揭示了當(dāng)前AI評價體系的一個盲點：我們一直專注于訓(xùn)練模型做對題目，卻忽視了訓(xùn)練它們理解什么叫做"好的回答"。這就像是只教學(xué)生考試技巧，卻沒有教他們?nèi)绾握嬲斫夂捅磉_思想。

團隊的方法恰好彌補了這個缺陷。通過明確的標(biāo)準(zhǔn)化訓(xùn)練，模型不僅學(xué)會了什么是正確答案，還學(xué)會了什么是高質(zhì)量的回答。這種全面的能力使得模型在各種實際應(yīng)用場景中都能表現(xiàn)出色。

在成本效益分析上，新方法展現(xiàn)出了顯著的優(yōu)勢。雖然初期的數(shù)據(jù)處理和模型訓(xùn)練需要一定的投入，但訓(xùn)練出來的模型在運行時非常高效。特別是標(biāo)量獎勵模型，每次判斷只需要生成一個詞匯的計算量，卻能提供準(zhǔn)確的質(zhì)量評價。這種高效率使得新方法在大規(guī)模應(yīng)用中具有明顯的經(jīng)濟優(yōu)勢。

研究團隊還貼心地提供了完整的開源方案，包括數(shù)據(jù)處理流程、模型訓(xùn)練代碼和評測工具。這意味著其他研究者和開發(fā)者可以直接使用他們的成果，無需從零開始。這種開放的態(tài)度不僅推動了整個領(lǐng)域的發(fā)展，也體現(xiàn)了NVIDIA團隊的學(xué)術(shù)責(zé)任感。

在論文的最后部分，團隊誠實地討論了當(dāng)前方法的局限性和未來的改進方向。他們承認，雖然二元判斷簡化了很多問題，但現(xiàn)實世界中確實存在一些難以用簡單的"是非"來判斷的復(fù)雜情況。如何在保持方法簡潔性的同時處理這些復(fù)雜情況，將是未來研究的重要方向。

此外，團隊也注意到，不同文化和背景的人對同一個標(biāo)準(zhǔn)可能有不同的理解。比如，什么叫做"清晰的表達"，中文用戶和英文用戶可能會有不同的標(biāo)準(zhǔn)。如何讓方法適應(yīng)這種文化差異，也是一個值得深入研究的問題。

總的來說，這項研究為AI訓(xùn)練領(lǐng)域帶來了一個重要的方法論突破。它不僅在技術(shù)上取得了顯著成果，更在理念上提出了新的思考方向：與其讓機器盲目地學(xué)習(xí)人類的偏好，不如教會它們理解評判的標(biāo)準(zhǔn)。這種從"模仿"到"理解"的轉(zhuǎn)變，可能是AI走向真正智能的重要一步。

研究成果的實際意義遠超出了學(xué)術(shù)范圍。在教育領(lǐng)域，這種方法可以幫助開發(fā)更好的自動評分系統(tǒng)，不僅能判斷答案對錯，還能評價表達質(zhì)量、邏輯清晰度等。在內(nèi)容創(chuàng)作領(lǐng)域，可以幫助作者了解自己的文章在哪些具體方面需要改進。在客戶服務(wù)領(lǐng)域，可以幫助評估服務(wù)質(zhì)量，確保每個客戶都能得到滿足其具體需求的服務(wù)。

更重要的是，這種方法體現(xiàn)了一種更加民主和透明的AI發(fā)展方向。傳統(tǒng)的AI系統(tǒng)往往像一個黑箱，用戶不知道它是如何做出判斷的。而新方法讓每一個判斷標(biāo)準(zhǔn)都清晰可見，用戶可以根據(jù)自己的需要調(diào)整關(guān)注點，這大大增加了AI系統(tǒng)的可解釋性和可控性。

隨著這項技術(shù)的進一步發(fā)展和應(yīng)用，我們有理由相信，未來的AI系統(tǒng)將變得更加智能、更加可靠，也更加貼近人類的實際需求。這不僅是技術(shù)的進步，更是AI與人類關(guān)系的一次重要改善，讓機器真正成為人類的智能助手，而不是令人困惑的黑箱。

Q&A

Q1：RLBFF二元靈活反饋強化學(xué)習(xí)是什么？它解決了什么問題？

A：RLBFF是NVIDIA團隊開發(fā)的一種新的AI訓(xùn)練方法，它將復(fù)雜的質(zhì)量評價分解為一系列明確的"是非"判斷。傳統(tǒng)方法要么太模糊（人類反饋），要么太局限（可驗證獎勵），RLBFF結(jié)合了兩者優(yōu)點，既有廣泛適用性又有明確標(biāo)準(zhǔn)，讓AI能夠理解具體的評判標(biāo)準(zhǔn)而不是盲目模仿人類偏好。

Q2：這個方法訓(xùn)練出來的AI模型效果怎么樣？

A：效果非常顯著。RLBFF訓(xùn)練的模型在JudgeBench測試中獲得81.4%的成績，位居第一名。更重要的是，用這種方法訓(xùn)練的Qwen3-32B模型在綜合測試中能夠媲美OpenAI的o3-mini和DeepSeek R1等知名商業(yè)模型，但推理成本卻只有它們的不到5%，實現(xiàn)了性能和效率的雙重突破。

Q3：普通用戶能夠使用這種技術(shù)嗎？

A：目前NVIDIA團隊已經(jīng)完全開源了相關(guān)技術(shù)，包括數(shù)據(jù)處理流程、模型訓(xùn)練代碼和評測工具，研究者和開發(fā)者可以直接使用。對于普通用戶來說，雖然不能直接操作，但隨著這項技術(shù)的推廣應(yīng)用，未來會在各種AI應(yīng)用中受益，比如更智能的寫作助手、更準(zhǔn)確的自動評分系統(tǒng)等。