醫(yī)療領(lǐng)域的人工智能正在經(jīng)歷一場安靜的革命。2025年5月，帝國理工學(xué)院的劉徹、香港科技大學(xué)的王浩哲、慕尼黑工業(yè)大學(xué)的潘家臻等研究人員在arXiv（arXiv:2505.17952v1）上發(fā)表了一項突破性研究：《Beyond Distillation: Pushing the Limits of Medical LLM Reasoning with Minimalist Rule-Based RL》（超越蒸餾：利用極簡規(guī)則強化學(xué)習(xí)推動醫(yī)療大語言模型推理能力的極限）。這項研究成果徹底改變了我們對醫(yī)療AI推理能力培養(yǎng)的認(rèn)知，有興趣深入了解的讀者可以通過該團隊的項目頁面（https://cheliu-computation.github.io/AlphaMed/）獲取更多信息。

想象一下，你正在教一個新手烹飪美食。傳統(tǒng)上，你需要先手把手地示范每個步驟（監(jiān)督式微調(diào)，SFT），然后再讓他嘗試并給予反饋（強化學(xué)習(xí)，RL）。但如果你只告訴他"這道菜成功了"或"這道菜失敗了"，不提供任何中間步驟的指導(dǎo)，他能學(xué)會烹飪復(fù)雜美食嗎？這正是AlphaMed研究的核心突破——它證明了醫(yī)療AI可以僅通過最終答案的簡單反饋就學(xué)會復(fù)雜的醫(yī)學(xué)推理，而無需昂貴的"思維鏈"（CoT）示范數(shù)據(jù)。

在醫(yī)療領(lǐng)域，AI的推理能力至關(guān)重要。當(dāng)醫(yī)生診斷疾病時，他們不僅需要給出最終診斷，還需要解釋推理過程："患者有這些癥狀，可能的原因是A、B或C，考慮到患者的年齡和既往病史，最可能的診斷是B。"這種透明的思維過程對于醫(yī)療決策的可信度和安全性至關(guān)重要。

然而，傳統(tǒng)方法培養(yǎng)AI的醫(yī)療推理能力面臨一個大問題：它們依賴于從GPT-4o等封閉源模型"蒸餾"（復(fù)制）的"思維鏈"訓(xùn)練數(shù)據(jù)。這就像需要一位米其林星級廚師先展示每一個烹飪步驟，才能教會新廚師烹飪。這種依賴不僅成本高昂，還限制了AI發(fā)展的獨立性和可擴展性。

AlphaMed團隊提出了一個大膽問題：我們能否完全摒棄這種依賴，僅通過極簡規(guī)則獎勵就培養(yǎng)出強大的醫(yī)療推理能力？答案是肯定的，而且效果驚人。

AlphaMed的秘訣在于采用極簡的規(guī)則強化學(xué)習(xí)（RL）方法。想象一下，不是告訴AI"這是思考的正確步驟"，而是只告訴它"你的最終答案是對的"或"你的最終答案是錯的"，然后讓AI自己探索如何得出正確答案的推理路徑。這就像只告訴學(xué)生考試成績，而不提供任何解題步驟，卻期望學(xué)生自己悟出解題方法。令人驚訝的是，AI確實能夠從這種極簡反饋中發(fā)展出結(jié)構(gòu)化的推理能力！

研究團隊發(fā)現(xiàn)，關(guān)鍵不在于提供詳細(xì)的推理示范，而在于訓(xùn)練數(shù)據(jù)的信息豐富度、數(shù)量和難度分布。他們構(gòu)建了一個信息豐富、難度均衡的醫(yī)療問答數(shù)據(jù)集，并通過一系列精心設(shè)計的實驗揭示了AI推理能力發(fā)展的規(guī)律。

最終，AlphaMed在六個醫(yī)療問答基準(zhǔn)測試上都取得了領(lǐng)先成績，甚至超越了更大的封閉源模型，如DeepSeek-V3-671B和Claude-3.5-Sonnet。這一成果證明，醫(yī)療AI的推理能力可以通過更加開放、高效和可擴展的方式培養(yǎng)，為未來醫(yī)療AI的發(fā)展開辟了新道路。

讓我們深入探索這項研究的細(xì)節(jié)，了解AlphaMed如何重新定義醫(yī)療AI推理能力的培養(yǎng)方式。

一、研究背景：醫(yī)療AI面臨的推理挑戰(zhàn)

想象你是一位醫(yī)學(xué)院的學(xué)生，正在準(zhǔn)備一場重要的臨床考試。你不僅需要給出正確的診斷，還需要解釋你的思考過程："我認(rèn)為這是肺炎而非支氣管炎，因為患者有持續(xù)高燒、X光顯示肺部浸潤，并且抗生素治療后癥狀改善"。這種逐步推理的能力，在醫(yī)學(xué)領(lǐng)域被稱為"思維鏈"（Chain-of-Thought，CoT），是醫(yī)生專業(yè)素養(yǎng)的核心。

近年來，大語言模型（LLMs）的推理能力有了顯著提高，尤其在數(shù)學(xué)問題求解、代碼生成等需要復(fù)雜推理的任務(wù)上表現(xiàn)優(yōu)異。這些進展表明LLMs有潛力進行跨領(lǐng)域的多步推理。而在醫(yī)療領(lǐng)域，推理能力更是至關(guān)重要。臨床自然語言處理任務(wù)通常需要解讀微妙的患者信息，整合來自不同來源的知識，并做出明智的決策。更重要的是，推理提供了對AI決策過程的洞察，讓研究人員和臨床醫(yī)生能夠檢驗結(jié)論是如何得出的，這對建立臨床信任至關(guān)重要。

目前，大多數(shù)醫(yī)療大語言模型通過監(jiān)督式微調(diào)（SFT）獲取推理能力，這種方法需要大量的"思維鏈"數(shù)據(jù)集，這些數(shù)據(jù)要么是手工制作的，要么是從GPT-4o等閉源商業(yè)模型中蒸餾出來的。之后，這些模型通常還會通過強化學(xué)習(xí)（RL）進一步優(yōu)化。然而，這種管道嚴(yán)重依賴初始的SFT階段和昂貴的CoT數(shù)據(jù)，這不僅產(chǎn)生了大量的標(biāo)注和蒸餾成本，還帶來了可擴展性和可訪問性挑戰(zhàn)，因為它將模型開發(fā)與昂貴的外部資源綁定在一起。

就像一個廚師學(xué)徒必須先觀看大廚的示范，然后才能嘗試自己烹飪一樣，傳統(tǒng)的醫(yī)療AI訓(xùn)練方法認(rèn)為AI必須先"看到"專家如何一步步思考，才能發(fā)展出自己的推理能力。但這種依賴性帶來了巨大的成本和復(fù)雜性。

AlphaMed團隊提出了一個大膽的問題：我們能否通過極簡規(guī)則強化學(xué)習(xí)實現(xiàn)醫(yī)療推理，而不依賴于蒸餾的CoT數(shù)據(jù)？這就像問：學(xué)習(xí)烹飪是否一定需要大廚的手把手教導(dǎo)，還是可以僅通過嘗試錯誤和簡單反饋（"好吃"或"不好吃"）就學(xué)會復(fù)雜料理技巧？

二、AlphaMed方法：極簡規(guī)則如何激發(fā)復(fù)雜推理

在傳統(tǒng)的廚師培訓(xùn)中，學(xué)徒需要觀看師傅示范每一個步驟，從切菜到調(diào)味，再到火候控制。類似地，傳統(tǒng)的AI訓(xùn)練需要提供詳細(xì)的思維鏈數(shù)據(jù)，告訴AI每一步該如何思考。但AlphaMed采用了完全不同的方法，這更像是給學(xué)徒一道菜的配方和最終成品的照片，然后只告訴他"對"或"錯"，讓他自己摸索出完美烹飪的步驟。

AlphaMed團隊的創(chuàng)新之處在于使用稱為"組相對策略優(yōu)化"（GRPO）的強化學(xué)習(xí)方法。這聽起來很復(fù)雜，但實際上可以簡單理解為：給AI提供一個醫(yī)學(xué)問題，讓它生成多個不同的回答嘗試，然后只告訴它哪些回答是正確的，哪些是錯誤的，而不提供任何中間推理步驟的指導(dǎo)。

具體來說，當(dāng)面對一個問題（如"患者出現(xiàn)這些癥狀，最可能的診斷是什么？"）時，AI會生成多個候選回答。每個回答會得到一個簡單的二元獎勵：如果最終答案正確，獎勵為1；如果錯誤，獎勵為0。這種極簡的規(guī)則獎勵模型完全不關(guān)心AI是如何得出答案的，只關(guān)心最終結(jié)果是否正確。

想象一下，你給一個孩子一本填空題練習(xí)冊，但不教他解題方法，只告訴他答案對錯。隨著時間推移，這個孩子可能會自己總結(jié)出規(guī)律和解題方法。AlphaMed正是通過這種方式學(xué)習(xí)醫(yī)學(xué)推理——它從簡單的對錯反饋中，逐漸發(fā)展出結(jié)構(gòu)化的推理過程。

研究團隊選擇了Llama3.1-8B-Instruct和Llama3.1-70B-Instruct作為基礎(chǔ)模型，并使用verl2框架進行規(guī)則強化學(xué)習(xí)。訓(xùn)練過程中，每批次包含64個問答對，每個問題生成8個候選答案，總共訓(xùn)練了300步。8B模型在8臺Nvidia A800-80G GPU上訓(xùn)練，而70B模型則在64臺A800-80G GPU上訓(xùn)練。

最令人驚訝的是，盡管AI只接收到最終答案的對錯反饋，它卻自發(fā)地展現(xiàn)出多步推理行為，通過連續(xù)分析得出最終答案，而這種行為完全沒有被顯式教導(dǎo)。這就像一個孩子不僅學(xué)會了解題，還自發(fā)地學(xué)會了展示解題步驟，盡管沒有人要求他這樣做。

三、研究數(shù)據(jù)策略：信息量和難度分布的藝術(shù)

想象你在準(zhǔn)備一場馬拉松比賽。你的訓(xùn)練計劃應(yīng)該包含什么？全是輕松慢跑？全是高強度沖刺？還是各種難度和距離的組合？AlphaMed團隊面臨類似的問題：什么樣的訓(xùn)練數(shù)據(jù)最能激發(fā)AI的推理能力？

研究團隊首先收集了三個大規(guī)模公開的多選醫(yī)療問答數(shù)據(jù)集：MedQA（來自美國醫(yī)師執(zhí)照考試USMLE的專家級臨床問題）、MedMCQA（來自印度醫(yī)學(xué)入學(xué)考試AIIMS和NEET的事實性和推理性問題）以及PubMedQA（專注于生物醫(yī)學(xué)研究問答的數(shù)據(jù)集）。

為了量化問題難度，研究人員使用Llama3.1-8B-Instruct模型對每個問題進行五次推理嘗試，然后計算正確預(yù)測的比例作為問題難度的代理指標(biāo)?；谶@個比例，他們將問題分為六個難度級別（L1-L6）：L1包括所有五次嘗試都正確的問題（最簡單），而L6則包括所有預(yù)測都錯誤的問題（最難）。

研究團隊進行了一系列精心設(shè)計的實驗，探索了三個關(guān)鍵問題：

1. 極簡規(guī)則強化學(xué)習(xí)能否在沒有蒸餾CoT監(jiān)督的情況下激勵推理能力？

研究人員從三個數(shù)據(jù)集各自的難度級別中抽樣200個樣本，構(gòu)建了三個平衡子集（每個1,200個樣本）：MedQA-Sub、MedMCQA-Sub和PubMedQA-Sub。他們使用Llama3.1-8B-Instruct作為基礎(chǔ)模型，分別在每個子集上使用極簡強化學(xué)習(xí)進行訓(xùn)練。

結(jié)果令人驚訝：所有經(jīng)過訓(xùn)練的模型在六個基準(zhǔn)測試上都取得了顯著提升，比如在MedQA上提高了15.5%，在MedXpert上提高了8.8%。更令人驚訝的是，這些模型的表現(xiàn)與HuatuoGPT-o1-8B（一個通過GPT-4o蒸餾的CoT數(shù)據(jù)進行SFT訓(xùn)練，并使用3B獎勵模型進一步RL微調(diào)的模型）相當(dāng)甚至更好。

尤其在最具挑戰(zhàn)性的MedXpert基準(zhǔn)測試上，三個變體都優(yōu)于HuatuoGPT-o1-8B。這些結(jié)果表明，推理能力可以通過小規(guī)模、低成本的多選題QA數(shù)據(jù)上的極簡RL有效激發(fā)，而無需依賴蒸餾的CoT數(shù)據(jù)，甚至可以優(yōu)于使用更復(fù)雜策略訓(xùn)練的模型。

有趣的是，研究發(fā)現(xiàn)數(shù)據(jù)集的信息豐富度是推理性能的關(guān)鍵驅(qū)動因素。MedQA問題平均長度最長，包含最豐富的信息，因此在此數(shù)據(jù)上訓(xùn)練的模型表現(xiàn)最好；MedMCQA次之；而自動生成的PubMedQA信息量最少，對應(yīng)的模型表現(xiàn)最弱。

2. 數(shù)據(jù)集數(shù)量和多樣性如何影響推理？

研究者將每個難度級別的樣本數(shù)從200增加到400，使每個子集的總樣本量從1,200增加到2,400。擴大信息豐富的數(shù)據(jù)集（MedQA-Sub和MedMCQA-Sub）顯著提升了模型性能，但擴大信息量較低的PubMedQA-Sub卻沒有帶來改善。

關(guān)于數(shù)據(jù)多樣性，研究發(fā)現(xiàn)將MedMCQA-Sub添加到MedQA-Sub進一步提高了性能，凸顯了結(jié)合多樣化且信息豐富的數(shù)據(jù)集的好處。然而，將PubMedQA-Sub納入反而導(dǎo)致性能下降，表明嘈雜和信息量較低的數(shù)據(jù)不僅無助于提高推理能力，還可能有害。

3. 問題難度如何塑造推理能力的出現(xiàn)和泛化？

研究團隊分析了不同訓(xùn)練難度對六個基準(zhǔn)測試性能的影響。有趣的是，他們發(fā)現(xiàn)不同基準(zhǔn)表現(xiàn)出不同的模式：MedQA、MedMCQA和PubMedQA呈現(xiàn)倒U形趨勢，性能在中等難度（L1-L4）達(dá)到峰值，但在更難的樣本（L5-L6）下降，表明高難度數(shù)據(jù)的回報遞減。

相比之下，MMLU-ProM和GPQA-M顯示振蕩模式，而MedXpert隨著難度增加穩(wěn)步提高，凸顯了難樣本對復(fù)雜任務(wù)的價值。這表明混合難度訓(xùn)練對廣泛泛化至關(guān)重要。

研究還發(fā)現(xiàn)，僅在簡單數(shù)據(jù)（L1+L2，總共2,400個樣本）上訓(xùn)練的模型已經(jīng)能夠與HuatuoGPT-o1-8B在多個基準(zhǔn)測試上相匹配或超越。這表明推理能力可以從簡單數(shù)據(jù)中涌現(xiàn)，挑戰(zhàn)了當(dāng)前基準(zhǔn)設(shè)計的充分性，引發(fā)對真正衡量醫(yī)療LLM推理進展的思考。

四、AlphaMed的突破性成果：超越專家模型

基于上述發(fā)現(xiàn)，研究團隊構(gòu)建了最終的訓(xùn)練集，包括MedQA的所有樣本（因其高信息豐富度）以及MedMCQA的均衡難度樣本，總計19,178個問答對。這個數(shù)據(jù)集用于訓(xùn)練最終模型：基于Llama3.1-8B-Instruct的AlphaMed(8B)和基于Llama3.1-70B-Instruct的AlphaMed(70B)，兩者都通過極簡規(guī)則強化學(xué)習(xí)優(yōu)化。

結(jié)果令人震驚。AlphaMed在所有六個醫(yī)療問答基準(zhǔn)測試上都取得了領(lǐng)先成績，超越了使用傳統(tǒng)SFT+RL流程訓(xùn)練的模型，甚至超過了通過蒸餾CoT數(shù)據(jù)進行SFT訓(xùn)練的模型。

在8B規(guī)模上，AlphaMed(8B)超越了更大的QwQ-32B模型在具有挑戰(zhàn)性的域外基準(zhǔn)測試上的表現(xiàn)。而在70B規(guī)模上，AlphaMed(70B)甚至超越了封閉源模型如GPT-4o和Claude-3.5-Sonnet，以及開源的DeepSeek-V3（擁有671B參數(shù)）。

具體來說，在六個基準(zhǔn)測試中：

1. MedQA：AlphaMed(8B)達(dá)到76.19%的準(zhǔn)確率，AlphaMed(70B)達(dá)到87.52%，超越所有其他模型 2. MedMCQA：AlphaMed(8B)達(dá)到64.47%，AlphaMed(70B)達(dá)到75.09% 3. PubMedQA：AlphaMed(8B)達(dá)到80.40%，AlphaMed(70B)達(dá)到80.90% 4. MMLU-ProM：AlphaMed(8B)達(dá)到66.67%，AlphaMed(70B)達(dá)到79.56%，超過GPT-4o的74.50% 5. GPQA-M：AlphaMed(8B)達(dá)到58.44%，AlphaMed(70B)達(dá)到77.46%，超過Claude-3.5-Sonnet的66.67% 6. MedXpert：AlphaMed(8B)達(dá)到22.14%，AlphaMed(70B)達(dá)到32.56%，超過DeepSeek-V3的21.33%

這些結(jié)果證明，通過極簡規(guī)則強化學(xué)習(xí)和精心構(gòu)建的多選題問答數(shù)據(jù)集，可以實現(xiàn)高效、可擴展的醫(yī)療推理能力培養(yǎng)，而無需依賴蒸餾的CoT監(jiān)督。

五、AlphaMed的實際應(yīng)用：模型推理過程的透明度展示

AlphaMed不僅僅是在性能上超越了其他模型，它還展現(xiàn)出令人驚訝的推理透明度。盡管訓(xùn)練過程中只有最終答案的二元反饋，沒有任何推理過程的指導(dǎo)，但模型自發(fā)地生成了結(jié)構(gòu)化的步驟推理。

例如，當(dāng)被問及一個關(guān)于抗凝治療的問題時，AlphaMed不僅給出了正確答案，還自發(fā)地展示了系統(tǒng)的推理步驟：首先評估患者的血栓栓塞風(fēng)險和出血風(fēng)險，然后確定橋接抗凝的需求，接著評估各種抗凝選項，并根據(jù)患者的機械二尖瓣置換和手術(shù)風(fēng)險做出最終決定。

在另一個例子中，當(dāng)面對需要數(shù)值計算的問題時，AlphaMed展示了多步驟數(shù)值推理能力，準(zhǔn)確計算出絕對風(fēng)險降低（ARR）和相對風(fēng)險（RR）。

而在診斷題中，模型能夠應(yīng)用結(jié)構(gòu)化推理來診斷小兒哮喘，識別臨床特征，將它們與病理生理學(xué)聯(lián)系起來，并分析X光發(fā)現(xiàn)，盡管訓(xùn)練過程中只有最終答案選擇的監(jiān)督。

這種自發(fā)涌現(xiàn)的步驟推理展示了AlphaMed的透明決策過程，這對醫(yī)療應(yīng)用至關(guān)重要，因為它允許臨床醫(yī)生檢查AI如何得出結(jié)論，從而建立信任和確保安全。

六、研究局限性與未來展望

盡管AlphaMed在多選題QA任務(wù)上取得了令人印象深刻的成果，但其能力仍然受到這些封閉式基準(zhǔn)測試性質(zhì)的限制。研究團隊坦承，當(dāng)前的評估主要基于現(xiàn)有的主流醫(yī)療QA數(shù)據(jù)集，這些都是封閉式的，可能無法完全捕捉真實世界臨床推理的全部復(fù)雜性。

在當(dāng)前研究環(huán)境中，系統(tǒng)地評估模型在開放式QA任務(wù)上的表現(xiàn)面臨挑戰(zhàn)，因為這類任務(wù)不僅缺乏完善的基準(zhǔn)，而且本質(zhì)上具有主觀性，通常需要人類評估才能進行有意義的評估。研究團隊計劃在未來設(shè)計并發(fā)布涉及人在環(huán)評估的開放式基準(zhǔn)，以實現(xiàn)對醫(yī)療LLM推理和決策能力的更全面、更細(xì)致的評估。

此外，研究團隊觀察到，雖然在更具挑戰(zhàn)性的基準(zhǔn)測試（如MedXpert）上，更難的訓(xùn)練樣本確實能提高性能，但其他基準(zhǔn)測試展現(xiàn)出混合或平穩(wěn)的趨勢。這表明現(xiàn)有的基準(zhǔn)測試可能不足以評估推理能力的真正進展，凸顯了對更具挑戰(zhàn)性、更注重推理的醫(yī)療QA基準(zhǔn)的需求。

未來研究方向可能包括：

1. 開發(fā)更具挑戰(zhàn)性的醫(yī)療推理基準(zhǔn)，能夠更好地評估AI的真實推理能力 2. 探索如何將這種推理能力擴展到開放式問答和臨床決策支持系統(tǒng) 3. 研究數(shù)據(jù)信息豐富度的更精確量化方法，以優(yōu)化訓(xùn)練數(shù)據(jù)選擇 4. 將極簡規(guī)則強化學(xué)習(xí)方法應(yīng)用于其他醫(yī)療AI任務(wù)，如醫(yī)學(xué)影像分析和臨床文檔理解

總的來說，AlphaMed不僅建立了一個強大的醫(yī)療LLM，還提供了對模型如何通過涌現(xiàn)推理達(dá)到最終預(yù)測的見解，鼓勵進一步探索醫(yī)療自然語言處理中的可解釋系統(tǒng)。

七、結(jié)論：重新定義醫(yī)療AI推理的學(xué)習(xí)方式

歸根結(jié)底，AlphaMed研究的核心發(fā)現(xiàn)可以用一個簡單的類比來理解：就像一個學(xué)生可以通過做大量練習(xí)題并只獲得答案的對錯反饋就能學(xué)會數(shù)學(xué)推理一樣，AI也可以通過簡單的多選題反饋發(fā)展出復(fù)雜的醫(yī)學(xué)推理能力，而無需手把手地教導(dǎo)每一個思考步驟。

這項研究的意義遠(yuǎn)超醫(yī)療領(lǐng)域。它挑戰(zhàn)了我們對AI學(xué)習(xí)方式的基本假設(shè)，表明復(fù)雜的推理能力可以從簡單的反饋信號中自發(fā)涌現(xiàn)，而不必依賴于昂貴的專家示范。這就像發(fā)現(xiàn)一個孩子可以通過閱讀故事和簡單的反饋就能自學(xué)閱讀理解，而不需要教師詳細(xì)解釋每一個理解步驟。

對普通人而言，這項研究意味著醫(yī)療AI可能會變得更加普及和可訪問。由于訓(xùn)練成本的降低和對封閉源模型依賴的減少，更多機構(gòu)可以開發(fā)適合自己需求的醫(yī)療AI，這可能導(dǎo)致更多創(chuàng)新解決方案的出現(xiàn)，最終惠及更廣泛的患者群體。

AlphaMed的成功也提醒我們重新思考AI評估的方式。如果一個模型可以在沒有接觸過復(fù)雜推理樣本的情況下就在復(fù)雜推理任務(wù)上表現(xiàn)出色，那么我們當(dāng)前的基準(zhǔn)測試可能無法真正反映AI的推理進展。這強調(diào)了開發(fā)更具挑戰(zhàn)性、更注重推理的評估方法的重要性。

最后，AlphaMed研究表明，醫(yī)療AI的未來可能不在于構(gòu)建更復(fù)雜的訓(xùn)練流程或收集更多專家標(biāo)注數(shù)據(jù)，而在于更智能地設(shè)計訓(xùn)練數(shù)據(jù)和學(xué)習(xí)信號。就像一個好老師知道如何設(shè)計恰到好處的練習(xí)題來促進學(xué)生的思考能力一樣，AI研究者需要找到最能激發(fā)AI潛能的數(shù)據(jù)策略。

這項研究為醫(yī)療AI的未來開辟了一條更加開放、高效和可擴展的道路，證明了有時候，學(xué)習(xí)的最佳方式不是被告知如何思考，而是被激勵去思考。