這項由韓國KAIST的Simon A. Aytes、Jinheon Baek和Sung Ju Hwang，以及DeepAuto.ai的研究團隊共同完成的研究發(fā)表于2025年5月，題為《Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching》。有興趣深入了解的讀者可以通過arXiv:2503.05179v2訪問完整論文。

當我們遇到復雜問題時，大腦往往不會一開始就在腦海中寫出完整的句子，而是先勾勒出思維的輪廓。數(shù)學家會用簡潔的符號表示復雜的概念，醫(yī)生會用專業(yè)術(shù)語快速交流病情，建筑師會畫出草圖而不是詳細描述。這種"思維草圖"讓專家們能夠高效地處理復雜信息。

研究團隊發(fā)現(xiàn)，當前大型語言模型的推理方式就像一個話癆的學生，即使是簡單的數(shù)學題也要寫出冗長的解題過程。比如計算"火車以每小時60英里的速度行駛3小時能走多遠"這樣的問題，傳統(tǒng)的鏈式思維方法會產(chǎn)生大段文字說明，而實際上用"距離=速度×時間=60×3=180英里"這樣的簡潔表達就足夠了。這種冗余不僅浪費計算資源，還增加了成本。

研究團隊開發(fā)出一套名為"思維草圖"（Sketch-of-Thought，簡稱SoT）的新方法，讓AI能夠像人類專家一樣用簡潔、結(jié)構(gòu)化的方式進行推理。這套方法不需要重新訓練模型，只需要改變與AI對話的方式，就能讓輸出內(nèi)容減少多達78%，同時保持甚至提升準確性。

**一、三種認知啟發(fā)的推理方式**

研究團隊基于認知科學原理，設計了三種不同的"思維草圖"方式，就像為不同類型的問題配備了專門的工具。

第一種叫做"概念鏈接"，靈感來自人類的聯(lián)想記憶。當你聽到"首爾"這個詞時，大腦會自動聯(lián)想到"韓國"，進而想到"韓元"。這種方法用箭頭連接關(guān)鍵概念，形成推理鏈條。比如回答"首爾使用什么貨幣"時，AI會簡潔地表達為"首爾→韓國→韓元"，而不是寫出"首爾是韓國的首都，韓國的官方貨幣是韓元"這樣的完整句子。這種方法特別適合常識推理、多步推理和邏輯推理任務。

第二種叫做"分塊符號化"，基于工作記憶的組塊理論。認知科學研究表明，人類一次只能在工作記憶中保持5到9個信息單位，但我們可以通過"分塊"來處理更復雜的信息，就像記憶電話號碼時我們會分成區(qū)號、前綴和后四位數(shù)字。這種方法將數(shù)學推理轉(zhuǎn)換為緊湊的符號表達。比如計算汽車加速度問題時，AI會直接寫"a=2.5m/s?，t=10s，vi=15m/s，vf=15+(2.5×10)，vf=40m/s"，而不是用自然語言詳細解釋每一步。

第三種叫做"專家詞匯"，模仿領域?qū)＜沂褂玫膶I(yè)簡寫。就像醫(yī)生說"STEMI"而不是"ST段抬高型心肌梗死"，工程師用"μm"而不是"微米"一樣，這種方法使用領域特定的縮寫和符號來壓縮推理過程。當處理醫(yī)學問題時，AI會使用"STEMI→ST段抬高心梗，MONA→嗎啡、氧氣、硝酸酯類、阿司匹林"這樣的專業(yè)表達，而不是寫出完整的醫(yī)學術(shù)語解釋。

**二、智能路由系統(tǒng)的自動選擇**

面對成千上萬的不同問題，如何為每個問題選擇最合適的推理方式呢？研究團隊開發(fā)了一個輕量級的"路由器"，就像一個經(jīng)驗豐富的圖書管理員，能夠快速判斷每本書應該放在哪個書架上。

這個路由器基于DistilBERT模型構(gòu)建，經(jīng)過14200個樣本的訓練學習。當收到一個新問題時，它會分析問題的語言特征和結(jié)構(gòu)模式，然后自動選擇最適合的推理方式。比如，當遇到包含數(shù)字、公式或計算的問題時，它會選擇"分塊符號化"方式。當問題涉及概念之間的關(guān)系推理時，它會選擇"概念鏈接"方式。當問題充滿專業(yè)術(shù)語和領域知識時，它會選擇"專家詞匯"方式。

實驗結(jié)果顯示，這個路由器的準確率達到96.4%，能夠在絕大多數(shù)情況下做出正確的選擇。更重要的是，它的運行開銷非常小，不會顯著增加計算成本。

**三、廣泛實驗驗證效果顯著**

為了驗證"思維草圖"方法的有效性，研究團隊進行了大規(guī)模的實驗測試，就像一次全面的體檢，從多個角度檢驗這個方法的健康狀況。

他們在15個不同類型的推理數(shù)據(jù)集上進行測試，涵蓋數(shù)學推理、常識推理、邏輯推理、多步推理、科學推理和醫(yī)學推理等六大類別。這些數(shù)據(jù)集包括GSM8K（小學數(shù)學應用題）、CommonsenseQA（常識問答）、LogiQA（邏輯推理）、HotPotQA（多步推理）、QASC（科學推理）和PubMedQA（醫(yī)學推理）等知名數(shù)據(jù)集。

測試涵蓋了7種不同的大型語言模型，包括開源模型Qwen-2.5系列（7B、14B、32B參數(shù)版本）、LLaMA-3.1-8B和LLaMA-3.2-11B，以及閉源模型GPT-4o和Claude Sonnet 3.5。這樣的測試范圍確保了結(jié)果的普遍適用性。

實驗結(jié)果令人印象深刻。在保持推理準確性的同時，"思維草圖"方法平均減少了73%的輸出token數(shù)量。在某些模型上，這個數(shù)字甚至達到78%。更令人驚喜的是，在數(shù)學推理和多步推理任務中，這種方法不僅減少了輸出長度，還提高了準確性。

具體來看，在Qwen-2.5-32B模型上，"思維草圖"達到了82.30%的準確率，略高于傳統(tǒng)鏈式思維的82.24%，同時將輸出長度減少了74.36%。在GPT-4o上，準確率為84.55%，僅比傳統(tǒng)方法低0.09%，但輸出長度減少了76.2%。這種效果在不同規(guī)模的模型上都得到了驗證。

**四、多語言和多模態(tài)的適應能力**

研究團隊還測試了"思維草圖"方法在不同語言和輸入模態(tài)下的表現(xiàn)，就像檢驗一個翻譯工具是否能在不同語言間自如切換。

在多語言測試中，他們選擇了韓語、意大利語和德語進行實驗。結(jié)果顯示，這種方法在所有三種語言上都實現(xiàn)了超過85%的token減少。雖然在韓語和意大利語上準確率略有下降（分別為1.01%和2.00%），但在德語上反而提高了1.50%。這表明"思維草圖"的核心原理能夠跨越語言界限，在不同的語言結(jié)構(gòu)中保持有效性。

在多模態(tài)測試中，研究團隊使用包含圖像的ScienceQA和GQA數(shù)據(jù)集進行實驗。結(jié)果顯示，即使在處理視覺信息時，這種方法仍然能夠有效減少文本輸出長度。在ScienceQA上，輸出長度減少80.95%，準確率僅下降1.00%。在GQA上，準確率下降4.00%，但仍實現(xiàn)了77.2%的token減少。這種在視覺推理任務上的表現(xiàn)證明了方法的通用性。

**五、與現(xiàn)有方法的深入比較**

為了更全面地評估"思維草圖"的價值，研究團隊將其與其他壓縮推理方法進行了詳細比較，就像在超市里比較不同品牌產(chǎn)品的性價比。

他們比較了三種基線方法：傳統(tǒng)的鏈式思維（CoT）、受限鏈式思維（CCoT）和草稿鏈式思維（CoD）。受限鏈式思維通過限制總字數(shù)（45個單詞）來減少輸出長度，草稿鏈式思維則限制每個推理步驟的長度（5個單詞以內(nèi)）。

比較結(jié)果顯示，雖然草稿鏈式思維能夠?qū)崿F(xiàn)最激進的長度壓縮（平均減少75.83%），但準確率下降了4.68%。受限鏈式思維的表現(xiàn)更為平衡，但準確率仍下降了4.66%，token減少率為67.87%。相比之下，"思維草圖"方法在實現(xiàn)73.49%token減少的同時，準確率僅下降1.07%，顯示出更好的精度-效率平衡。

更重要的是，"思維草圖"方法還能與其他高級推理策略結(jié)合使用。研究團隊測試了與自一致性（Self-Consistency）、自精化（Self-Refine）和多智能體辯論（Multi-Agent Debate）的結(jié)合效果。結(jié)果顯示，在所有三種場景中，"思維草圖"都能在提升性能的同時大幅減少token使用量。比如在自精化場景中，性能提升0.27%的同時token減少60.3%。

**六、深入的路由分析和案例研究**

研究團隊對路由器的工作機制進行了深入分析，就像解剖一個精密儀器來理解其工作原理。

分析顯示，路由器的選擇與任務類型高度吻合。在數(shù)學推理任務（如GSM8K、SVAMP、AQUA-RAT）中，幾乎所有樣本都被路由到"分塊符號化"方式。在常識推理和多步推理任務中，絕大多數(shù)樣本被路由到"概念鏈接"方式。在醫(yī)學推理任務（如PubMedQA、MedQA）中，大部分樣本被路由到"專家詞匯"方式。這種高度的對應關(guān)系證明了路由器能夠準確識別不同類型問題的特征。

通過具體案例分析，可以更清楚地看到不同方式的效果。比如對于數(shù)學問題"達雷爾和艾倫的年齡比是7:11，如果他們現(xiàn)在的總年齡是162歲，請計算艾倫10年后的年齡"，"分塊符號化"方式會產(chǎn)生類似"設年齡為7x和11x，7x+11x=162，x=9，艾倫現(xiàn)在99歲，10年后109歲"的簡潔表達。

對于常識問題"北極熊需要什么環(huán)境"，"概念鏈接"方式會表達為"北極熊→北極→寒冷環(huán)境"。對于醫(yī)學問題"鈥激光是輸尿管最佳的體內(nèi)碎石器嗎"，"專家詞匯"方式會使用"Ho:YAG激光→體內(nèi)碎石→輸尿管→最佳選擇"這樣的專業(yè)表達。

**七、實際應用價值和影響**

"思維草圖"方法的價值不僅體現(xiàn)在實驗數(shù)據(jù)上，更在于其實際應用的廣闊前景。在當前AI服務成本日益成為關(guān)注焦點的背景下，這種方法提供了一個既保持質(zhì)量又降低成本的解決方案。

對于企業(yè)用戶來說，token使用量的大幅減少直接轉(zhuǎn)化為成本節(jié)約。以GPT-4o為例，如果原本需要1000個token來完成一個推理任務，使用"思維草圖"方法后只需要約240個token，成本降低了76%。對于大規(guī)模應用的企業(yè)來說，這種節(jié)約是非?？捎^的。

對于模型服務提供商來說，輸出長度的減少意味著計算資源的節(jié)約和服務效率的提升。同樣的硬件資源可以服務更多的用戶請求，或者為相同數(shù)量的用戶提供更快的響應速度。

更重要的是，這種方法不需要重新訓練模型，只需要改變提示詞設計，這大大降低了部署門檻。任何使用大型語言模型的應用都可以相對容易地集成這種方法，無需額外的技術(shù)投入或硬件升級。

研究還顯示，"思維草圖"方法與現(xiàn)有的高級推理策略兼容性良好。這意味著已經(jīng)在使用復雜推理流程的應用可以無縫集成這種優(yōu)化，獲得額外的效率提升而不需要重新設計整個系統(tǒng)。

**八、局限性和未來發(fā)展方向**

盡管"思維草圖"方法取得了顯著成果，研究團隊也誠實地指出了當前的局限性和未來的改進方向。

目前的方法使用固定的示例來指導模型行為，這可能限制了對任務內(nèi)細微變化的適應性。未來的研究可能會探索檢索增強的示例策略，根據(jù)具體問題動態(tài)選擇最相關(guān)的示例，從而提高方法的靈活性和適應性。

另一個需要考慮的問題是，"思維草圖"方法通過壓縮中間推理步驟來提高效率，但在某些高風險應用場景中，完整的推理過程可能是必需的。比如在醫(yī)療診斷或法律分析中，詳細的推理步驟有助于人類專家理解和驗證AI的決策過程。因此，在這些領域應用時需要謹慎考慮可解釋性和透明度的要求。

研究團隊還指出，當前的三種推理范式雖然覆蓋了大多數(shù)常見的推理類型，但隨著AI應用場景的不斷擴展，可能需要開發(fā)更多專門針對特定領域或任務類型的推理范式。這為未來的研究提供了廣闊的探索空間。

此外，路由器模型雖然表現(xiàn)良好，但其訓練數(shù)據(jù)來自GPT-4o的標注，可能繼承了該模型的某些偏見。未來的研究可能需要探索更多樣化和客觀的標注方法，以提高路由決策的公平性和準確性。

說到底，這項研究為大型語言模型的高效推理提供了一個全新的思路。通過模仿人類專家的思維方式，"思維草圖"方法成功地在保持推理質(zhì)量的同時大幅提高了效率。這不僅是技術(shù)上的突破，更是對AI推理機制的深層理解和優(yōu)化。

隨著AI技術(shù)的快速發(fā)展和廣泛應用，效率和成本問題變得越來越重要。這項研究提供的解決方案不僅解決了當前的實際問題，也為未來AI系統(tǒng)的設計提供了重要啟示。通過認知科學指導的設計理念，我們可以讓AI系統(tǒng)更好地模仿人類思維的優(yōu)勢，實現(xiàn)真正的智能化。

對于普通用戶來說，這意味著未來與AI交互時可能會獲得更快的響應速度和更低的使用成本。對于開發(fā)者和研究者來說，這項研究展示了跨學科合作的價值，認知科學的洞察如何指導AI技術(shù)的改進。對于整個AI行業(yè)來說，這種效率導向的研究方向可能會推動更多創(chuàng)新，讓AI技術(shù)變得更加實用和普及。

有興趣深入了解技術(shù)細節(jié)的讀者可以查閱完整論文，其中包含了詳細的實驗設計、數(shù)據(jù)分析和技術(shù)實現(xiàn)細節(jié)。這項研究不僅在學術(shù)上具有重要價值，更為AI技術(shù)的實際應用提供了切實可行的改進方案。

Q&A

Q1：思維草圖方法是什么？它是如何工作的？ A：思維草圖是一種讓AI用簡潔方式進行推理的方法，模仿人類專家的思維模式。它包含三種方式：概念鏈接（用箭頭連接關(guān)鍵概念）、分塊符號化（用數(shù)學符號表達）、專家詞匯（使用專業(yè)簡寫）。系統(tǒng)會自動選擇最適合的方式來處理不同類型的問題。

Q2：這種方法會不會影響AI回答的準確性？ A：不會，反而在某些情況下還能提高準確性。實驗顯示，在大幅減少輸出長度（平均73%）的同時，準確率變化很小（平均僅下降1.07%）。在數(shù)學和多步推理任務中，準確率甚至有所提升。

Q3：普通用戶能使用這種技術(shù)嗎？有什么好處？ A：目前這是一項研究技術(shù)，需要AI服務提供商集成到他們的系統(tǒng)中。一旦普及，用戶將享受到更快的響應速度、更低的使用成本，同時獲得同樣準確的回答。這種方法不需要重新訓練模型，部署相對容易。