這項由首爾大學的田亨成（Hyesung Jeon）、李錫?。⊿eojune Lee）、姜凡石（Beomseok Kang）、金載?。↗ae-Joon Kim）等學者，以及成均館大學的金率化（Yulhwa Kim）共同完成的研究，發(fā)表于2025年9月的arXiv預印本平臺（論文編號：arXiv:2509.17428v3）。對于想要了解更多技術細節(jié)的讀者，可以通過該編號查找完整論文。

在當今這個人工智能飛速發(fā)展的時代，大型語言模型就像是擁有超強記憶力和理解力的數(shù)字大腦。不過，這些"大腦"有個麻煩：它們實在太"重"了，需要消耗大量的計算資源才能正常工作。就好比你有一臺功能強大但極其耗電的超級計算機，雖然性能卓越，但電費賬單讓人頭疼不已。

為了解決這個問題，研究人員們一直在尋找兩種"減負"的方法：一種叫量化，就像把高清視頻壓縮成標清版本，雖然畫質(zhì)稍有損失，但文件小了很多；另一種叫參數(shù)高效微調(diào)，就像只給汽車更換幾個關鍵部件而不是整臺車都換新，既省錢又能提升性能。

然而，當研究人員試圖將這兩種方法結合使用時，卻遇到了意想不到的難題。傳統(tǒng)的低秩適應方法（就是那種只更換關鍵部件的方法）在處理壓縮后的模型時，往往表現(xiàn)得不盡如人意。這就像是你用普通扳手去修復精密儀器，工具雖然能用，但精度不夠，修復效果大打折扣。

近年來，一些基于傅里葉變換的新方法開始嶄露頭角，它們就像是更精密的修復工具，理論上應該能更好地處理這類問題。但研究團隊發(fā)現(xiàn)，直接將這些新工具應用到壓縮模型上時，效果反而不如預期，甚至還增加了計算開銷。這種情況就像是你花大價錢買了一套頂級工具，結果發(fā)現(xiàn)在特定環(huán)境下反而不如傳統(tǒng)工具好用。

面對這個難題，首爾大學的研究團隊提出了一個創(chuàng)新解決方案：QWHA（量化感知沃爾什-阿達馬變換適配）。這個方法的巧妙之處在于，它選擇了沃爾什-阿達馬變換作為核心工具，這種變換有個獨特優(yōu)勢——它只需要用加法和減法運算，就像用最簡單的算盤也能完成復雜計算一樣。

更重要的是，研究團隊還設計了一套聰明的初始化策略。這就像是在開始修復工作之前，先仔細觀察哪些地方最需要修復，然后合理分配修復資源。他們的方法叫做AdaAlloc（自適應分配），能夠智能地決定在哪些地方投入更多精力，確保修復效果最佳。

實驗結果令人振奮。在各種測試場景下，QWHA方法都表現(xiàn)出了明顯的優(yōu)勢，特別是在極低精度（2位）量化的困難情況下，性能提升尤為顯著。更令人驚喜的是，這種方法不僅效果更好，訓練速度也比傳統(tǒng)的傅里葉變換方法快了許多倍。

這項研究的意義遠超技術層面。隨著人工智能應用的普及，如何讓強大的AI模型在普通設備上高效運行，成為了一個關鍵問題。QWHA方法的出現(xiàn)，為這個問題提供了一個既實用又高效的解決方案，有望讓更多人能夠享受到AI技術帶來的便利。

一、破解AI模型"瘦身"難題的科學原理

要理解QWHA方法的創(chuàng)新之處，我們首先需要了解AI模型面臨的根本挑戰(zhàn)?，F(xiàn)代大型語言模型就像是一座裝滿了各種知識的巨大圖書館，每本書（參數(shù)）都承載著特定的信息。當我們要讓這座圖書館在手機或個人電腦上運行時，就必須找到方法來"壓縮"這些知識，同時盡可能保持其完整性。

量化技術就是這種壓縮的核心方法。想象你要把一幅用256種顏色繪制的精美油畫，轉(zhuǎn)換成只能使用16種顏色的簡化版本。在這個過程中，大部分顏色可以找到相對接近的替代色，但總有一些特別鮮艷或特殊的顏色（我們稱之為"異常值"）很難找到合適的替代。這些異常值在量化過程中會產(chǎn)生較大的誤差，就像原本鮮紅的蘋果在簡化版本中可能變成了暗紅色。

在AI模型中，這些異常值往往對應著模型中最重要的知識和能力。當量化過程無法準確保留這些關鍵信息時，整個模型的性能就會顯著下降。這就是為什么簡單的量化方法往往效果不佳的根本原因。

參數(shù)高效微調(diào)方法的出現(xiàn)，為這個問題提供了另一種思路。傳統(tǒng)的LoRA（低秩適配）方法就像是在壓縮后的圖書館中添加一個小型補充書架，專門存放那些在壓縮過程中丟失的重要信息。但這種方法有個限制：補充書架的容量是固定的，當需要存放的信息超過這個容量時，效果就會受到影響。

基于傅里葉變換的新方法試圖突破這個限制。它們的思路是將信息轉(zhuǎn)換到頻域空間，就像是將時間序列的音樂轉(zhuǎn)換成頻譜分析圖。在這個新的空間里，重要的信息往往更加集中，理論上可以用更少的參數(shù)達到更好的效果。然而，研究團隊發(fā)現(xiàn)，當這些方法應用到量化模型時，實際效果并不理想。

問題的關鍵在于變換核心的選擇。傳統(tǒng)的傅里葉變換、余弦變換等方法使用的是正弦和余弦函數(shù)，這些函數(shù)變化平滑連續(xù)，但對于量化誤差中的突變和跳躍卻不夠敏感。這就像是用平滑的曲線來描述鋸齒狀的圖形，總是會有不匹配的地方。

沃爾什-阿達馬變換的出現(xiàn)改變了這一切。這種變換使用的基函數(shù)是方波形式的，具有突變特性，正好與量化誤差中的跳躍變化相匹配。更重要的是，沃爾什-阿達馬變換矩陣只包含+1和-1兩種值，這意味著所有運算都可以用簡單的加法和減法完成，完全避免了復雜的乘法運算。

這種設計的優(yōu)勢是多重的。首先，運算效率極高，特別適合資源受限的環(huán)境。其次，方波特性使其能夠更準確地捕捉量化誤差中的異常值。最后，簡單的運算形式使得硬件實現(xiàn)變得更加容易，為實際應用鋪平了道路。

研究團隊通過大量實驗驗證了這一理論。他們發(fā)現(xiàn)，在相同的參數(shù)預算下，沃爾什-阿達馬變換能夠捕捉到更多的量化誤差能量，這意味著能夠更有效地補償量化過程中的信息損失。具體來說，它能夠覆蓋異常值系數(shù)的比例比其他方法高出約18%，這個數(shù)字看似不大，但在AI模型的性能表現(xiàn)上卻能帶來顯著差異。

二、智能資源分配策略：讓每個"修復工具"都用在刀刃上

確定了使用沃爾什-阿達馬變換作為核心工具后，下一個關鍵問題是如何智能地分配有限的修復資源。這就像是一個精明的工程師在修復一臺復雜機器時，需要仔細判斷哪些部件最需要關注，哪些部件可以暫時忽略。

傳統(tǒng)的方法通常采用兩種極端策略：要么完全隨機分配資源，要么只關注問題最嚴重的部分。隨機分配就像是蒙著眼睛修機器，雖然確保了公平性，但效率低下；只關注嚴重問題則像是只修復最明顯的故障，雖然看似合理，但往往會導致其他部分得不到必要的維護。

QWHA方法中的AdaAlloc策略采用了一種更加平衡和智慧的方法。它首先分析每個通道（可以理解為機器的不同功能模塊）中量化誤差的嚴重程度，然后按照誤差大小按比例分配修復資源。這就像是一個經(jīng)驗豐富的維修師傅，既會重點關注問題嚴重的部分，也不會完全忽略其他看似正常的部分。

這種策略的數(shù)學基礎相當優(yōu)雅。研究團隊使用了一個溫度參數(shù)來控制分配的集中程度，就像調(diào)節(jié)熱水器的溫度一樣簡單直觀。當溫度參數(shù)較高時，資源分配更加平均；當溫度參數(shù)較低時，資源更多地集中在問題嚴重的區(qū)域。通過調(diào)節(jié)這個參數(shù)，可以在不同應用場景下找到最佳的平衡點。

更巧妙的是，AdaAlloc策略還考慮了一個重要的約束條件：確保每個通道都至少分配到最少的資源，哪怕是看起來問題不大的通道。這種設計基于一個深刻的洞察：在AI模型中，即使是看似不重要的參數(shù)也可能在某些特定情況下發(fā)揮關鍵作用。忽略任何一個通道都可能導致模型在某些任務上的性能下降。

在確定了資源分配策略后，下一步是精確選擇需要修復的具體位置。這個過程就像是在每個功能模塊內(nèi)部，精確定位最需要調(diào)整的部件。研究團隊采用了基于重要性的選擇策略：在每個通道內(nèi)，選擇那些對減少量化誤差貢獻最大的位置。

但是，僅僅選擇位置還不夠，還需要確定如何調(diào)整這些位置的參數(shù)值。這就涉及到了QWHA方法的另一個創(chuàng)新點：參數(shù)值精化技術。傳統(tǒng)方法往往直接使用預計算的理論值，但研究團隊發(fā)現(xiàn)，在稀疏約束下（只能調(diào)整有限數(shù)量的參數(shù)），這些理論值往往不是最優(yōu)的。

參數(shù)值精化技術的原理是重新投影。想象你要在一個有限的畫布上繪制一幅復雜的圖畫，你可能需要調(diào)整某些細節(jié)以適應空間限制。類似地，當只能調(diào)整有限數(shù)量的參數(shù)時，需要重新計算這些參數(shù)的最佳值，以在約束條件下達到最佳的誤差補償效果。

這個過程涉及到線性代數(shù)中的最小二乘法求解。雖然數(shù)學原理復雜，但其直觀理解很簡單：就是在給定的約束條件下，找到能夠最大程度減少整體誤差的參數(shù)組合。研究團隊的實驗表明，這種精化過程能夠?qū)虞敵稣`差降低約46%，這是一個相當顯著的改進。

整個AdaAlloc策略的設計體現(xiàn)了工程優(yōu)化中的一個重要原則：在約束條件下尋求最優(yōu)解。它不追求理論上的完美，而是在現(xiàn)實限制下尋找最實用的解決方案。這種務實的方法正是QWHA能夠在實際應用中取得成功的關鍵因素。

三、實驗驗證：在真實場景中展現(xiàn)實力

為了驗證QWHA方法的有效性，研究團隊設計了一系列全面的實驗，就像是讓一個新研發(fā)的工具在各種不同的工作環(huán)境中接受考驗。這些實驗涵蓋了不同的模型規(guī)模、不同的壓縮程度，以及不同類型的任務，確保結果的可靠性和普適性。

實驗使用的模型包括了當前最先進的幾種大型語言模型：Mistral-7B-v0.3、LLaMA-3.1-8B和LLaMA-3.2-3B。這些模型就像是不同品牌和型號的汽車，雖然基本功能相似，但在具體性能和特性上各有差異。通過在多種模型上測試，可以確保QWHA方法的普適性。

測試任務也經(jīng)過精心選擇，主要包括兩大類：常識問答和數(shù)學推理。常識問答任務測試模型對日常知識的理解和應用能力，就像是測試一個人是否能夠回答"蘋果是什么顏色"這樣的基本問題。數(shù)學推理任務則測試模型的邏輯思維能力，類似于讓模型解答數(shù)學應用題。

實驗結果令人印象深刻。在4位量化（將原始32位精度壓縮到4位）的情況下，QWHA方法在常識問答任務上的準確率比最佳基準方法提高了約0.5-1.5個百分點。雖然這個數(shù)字看起來不大，但在AI領域，哪怕0.1%的提升都可能代表著數(shù)百萬次正確回答的差異。

更令人興奮的是在極端壓縮情況下的表現(xiàn)。在2位量化（壓縮程度極高）的場景中，QWHA方法顯示出了更加明顯的優(yōu)勢。在某些測試中，性能提升達到了2-3個百分點，這在技術上是一個相當顯著的躍升。這就像是在極其困難的環(huán)境下，QWHA方法仍然能夠保持穩(wěn)定的表現(xiàn)，而其他方法則開始顯露疲態(tài)。

訓練效率的提升同樣引人注目。傳統(tǒng)的基于傅里葉變換的方法由于需要進行復雜的矩陣運算，訓練時間往往很長。以批處理大小為1的情況為例，SSH方法需要63.3小時，LoCA方法需要92.3小時，而QWHA方法只需要18.2小時。這種效率提升不僅節(jié)省了時間成本，更重要的是降低了能源消耗，使得這種方法在實際應用中更具可行性。

研究團隊還進行了詳細的消融實驗，就像是逐一測試汽車的各個部件性能。他們分別測試了沃爾什-阿達馬變換和AdaAlloc策略的獨立貢獻，發(fā)現(xiàn)兩者的結合確實產(chǎn)生了協(xié)同效應。單獨使用沃爾什-阿達馬變換已經(jīng)能夠帶來性能提升，而加上智能的資源分配策略后，效果進一步增強。

特別有趣的是關于參數(shù)預算的實驗。研究團隊發(fā)現(xiàn)，QWHA方法在較小的參數(shù)預算下就能達到其他方法需要更多參數(shù)才能實現(xiàn)的性能。這就像是一個高效的工程師，用更少的工具就能完成同樣質(zhì)量的工作。這個發(fā)現(xiàn)對實際應用具有重要意義，因為在資源受限的環(huán)境中，參數(shù)數(shù)量往往是一個硬約束。

實驗還揭示了一個重要現(xiàn)象：QWHA方法的優(yōu)勢隨著量化程度的加深而變得更加明顯。在16位精度下，各種方法的差異相對較?。坏S著精度降低到4位、3位、2位，QWHA的優(yōu)勢逐漸凸顯。這表明該方法特別適合于需要極限壓縮的應用場景。

四、理論分析：深入理解成功背后的數(shù)學原理

QWHA方法的成功并非偶然，而是建立在扎實的理論基礎之上。研究團隊通過深入的數(shù)學分析，揭示了該方法優(yōu)于傳統(tǒng)方法的根本原因，就像是解釋為什么某種設計的橋梁能夠承受更大重量一樣。

首先，讓我們理解為什么沃爾什-阿達馬變換特別適合處理量化誤差。量化過程產(chǎn)生的誤差具有一個重要特征：它們往往表現(xiàn)為突變形式。當一個權重值因為量化限制而被"截斷"到某個邊界值時，產(chǎn)生的誤差是跳躍式的，而不是漸變的。這就像是將一個連續(xù)的坡道強行改造成階梯狀，每個臺階之間都存在突然的高度變化。

傳統(tǒng)的傅里葉變換基于正弦和余弦函數(shù)，這些函數(shù)是平滑連續(xù)的，就像是用絲綢曲線來描繪鋸齒狀的圖形。雖然理論上任何函數(shù)都可以用傅里葉級數(shù)表示，但對于包含大量突變的量化誤差，需要使用很多高頻成分才能準確表示，這就導致了效率低下。

相比之下，沃爾什-阿達馬變換使用的基函數(shù)本身就是方波形式，具有天然的跳躍特性。這就像是用專門設計的鋸齒模板來描繪鋸齒圖形，匹配度天然就很高。研究團隊通過分析證明，對于量化誤差的頻譜特性，沃爾什-阿達馬變換能夠用更少的系數(shù)達到同樣的表示精度。

數(shù)學分析還揭示了QWHA方法在秩容量方面的優(yōu)勢。傳統(tǒng)的低秩方法受到內(nèi)在維度的嚴格限制，就像是用一個固定大小的盒子來裝東西，無論如何調(diào)整，容量都是有限的。而基于變換的方法，由于變換矩陣是滿秩的，理論上可以達到矩陣的最大秩。

這種理論優(yōu)勢在實驗中得到了驗證。研究團隊測量了不同方法產(chǎn)生的適配器權重的實際秩，發(fā)現(xiàn)QWHA方法能夠達到接近100%的歸一化秩，而傳統(tǒng)的LoRA方法只能達到約6.3%。這種巨大的差異解釋了為什么QWHA在復雜任務上表現(xiàn)更優(yōu)。

AdaAlloc策略的理論基礎同樣深厚。研究團隊將參數(shù)選擇問題形式化為一個約束優(yōu)化問題，目標是在給定參數(shù)預算下最小化層輸出誤差。雖然這是一個NP難問題（理論上沒有多項式時間的精確解法），但通過巧妙的分解策略，將問題轉(zhuǎn)化為兩個相對簡單的子問題：參數(shù)位置選擇和參數(shù)值確定。

參數(shù)位置選擇采用了一種平衡策略，既考慮了誤差的嚴重程度，又保證了每個通道都有最少的參數(shù)分配。這種設計基于一個重要的理論洞察：在稀疏優(yōu)化中，完全貪心的策略往往不是最優(yōu)的，因為它可能導致某些重要但不那么明顯的模式被忽略。

參數(shù)值確定則使用了投影方法，這是一種在約束條件下尋找最優(yōu)解的標準技術。關鍵創(chuàng)新在于，不是簡單地使用理論上的密集解，而是在選定的稀疏支撐上重新求解最優(yōu)化問題。這種"重投影"技術考慮了參數(shù)之間的相互作用，因此能夠達到更好的近似效果。

研究團隊還分析了QWHA方法的計算復雜度。雖然初始化過程需要進行一些額外的計算，但由于沃爾什-阿達馬變換可以用快速算法實現(xiàn)，總體的計算開銷仍然是可控的。更重要的是，一旦初始化完成，訓練過程的計算復雜度與傳統(tǒng)方法相當，但由于使用了更有效的變換核，實際運行時間反而更短。

五、廣泛影響：改變AI應用的未來格局

QWHA方法的意義遠遠超出了技術本身，它為AI技術的普及和應用開辟了新的可能性。在當前AI快速發(fā)展的背景下，如何讓強大的AI能力在各種設備上高效運行，已經(jīng)成為一個關鍵的挑戰(zhàn)。

在移動設備領域，QWHA方法的影響尤為深遠?，F(xiàn)代智能手機雖然性能強大，但相比于數(shù)據(jù)中心的服務器，在內(nèi)存和計算能力方面仍然存在較大限制。傳統(tǒng)的大型語言模型往往需要數(shù)十GB的內(nèi)存空間，這對手機來說是難以承受的。通過QWHA方法，可以將模型大小壓縮到幾GB甚至更小，同時保持相當?shù)男阅芩健?/p>

這種技術進步帶來的直接好處是用戶體驗的提升。AI助手可以完全在本地運行，不需要依賴網(wǎng)絡連接，響應速度更快，隱私保護更好。用戶不再需要擔心網(wǎng)絡延遲或者數(shù)據(jù)泄露的問題，可以隨時隨地享受AI服務。

在物聯(lián)網(wǎng)和邊緣計算領域，QWHA方法同樣具有重要價值。許多IoT設備具有更嚴格的資源約束，甚至連智能手機的計算能力都無法企及。但通過極限壓縮技術，這些設備也有可能獲得一定的AI能力。例如，智能攝像頭可以在本地進行圖像分析，智能音箱可以本地處理語音指令，這將大大提升這些設備的智能化水平。

從商業(yè)角度來看，QWHA方法有助于降低AI應用的部署成本。企業(yè)不再需要投入大量資金購買高端GPU集群，就能夠部署相對強大的AI服務。這種成本降低將使更多中小企業(yè)能夠負擔得起AI技術，從而推動整個行業(yè)的發(fā)展。

在科研領域，QWHA方法為其他壓縮和優(yōu)化技術的研究提供了新的思路。沃爾什-阿達馬變換的成功應用表明，針對特定問題選擇合適的數(shù)學工具比盲目追求理論上的最優(yōu)解更為重要。這種務實的研究方法可能會影響未來AI優(yōu)化技術的發(fā)展方向。

環(huán)境保護角度也不容忽視。AI模型的訓練和部署消耗大量電力，產(chǎn)生不少碳排放。QWHA方法通過提高計算效率，可以顯著減少能源消耗。根據(jù)研究團隊的測算，使用QWHA方法可以將訓練時間減少到傳統(tǒng)方法的1/3到1/5，這意味著相應的能源消耗也將大幅降低。

教育領域同樣將受益匪淺。個性化學習助手可以在普通的學習設備上運行，為每個學生提供定制化的輔導。由于不依賴云端服務，這些AI助手可以在網(wǎng)絡條件較差的地區(qū)正常工作，有助于縮小數(shù)字教育差距。

醫(yī)療健康領域的應用前景也很廣闊。便攜式醫(yī)療設備可以集成AI診斷能力，在偏遠地區(qū)提供初級醫(yī)療服務。由于數(shù)據(jù)完全在本地處理，患者的隱私得到了更好的保護，這對醫(yī)療應用來說尤為重要。

當然，我們也要客觀看待這項技術的局限性。雖然QWHA方法在性能和效率方面都有顯著提升，但它仍然無法完全彌補極端壓縮帶來的性能損失。在需要最高精度的應用場景中，可能仍然需要使用較大的模型。此外，該方法主要針對語言模型進行了優(yōu)化，在其他類型的AI模型上的效果還有待進一步驗證。

總的來說，QWHA方法代表了AI技術發(fā)展的一個重要方向：不僅追求性能的提升，更關注實際應用的可行性。這種平衡理論創(chuàng)新與工程實用性的研究方法，為AI技術的普及應用鋪平了道路。隨著相關技術的不斷成熟，我們有理由期待一個AI能力更加普及、應用更加便民的未來。

說到底，QWHA方法最大的價值不在于它解決了某個特定的技術難題，而在于它為AI技術的民主化做出了貢獻。通過讓AI模型能夠在更廣泛的設備上高效運行，這項技術有助于打破技術壁壘，讓更多人能夠享受到AI帶來的便利。這種技術進步的意義，遠遠超越了學術研究的范疇，它關乎我們每個人的數(shù)字化未來。

研究團隊已經(jīng)將相關代碼開源，這意味著全世界的研究者和開發(fā)者都可以基于這項工作進行進一步的改進和應用。開源精神的體現(xiàn)，不僅加速了技術的傳播和發(fā)展，也體現(xiàn)了科研工作者促進人類共同進步的理念。在AI技術快速發(fā)展的今天，這種開放合作的態(tài)度顯得尤為珍貴。

Q&A

Q1：QWHA方法是什么？它能解決什么問題？

A：QWHA是一種讓AI模型既能壓縮變小又能保持聰明度的新技術。它主要解決的問題是：當我們把大型AI模型壓縮到手機等小設備上運行時，如何避免模型變"笨"。傳統(tǒng)方法要么壓縮效果不好，要么性能下降太多，QWHA通過特殊的數(shù)學變換和智能資源分配，在兩者之間找到了很好的平衡點。

Q2：沃爾什-阿達馬變換為什么比其他數(shù)學方法更有效？

A：沃爾什-阿達馬變換的特別之處在于它只用加法和減法運算，不需要復雜的乘法，就像用最簡單的算盤也能完成精確計算。更重要的是，它使用方波形式的函數(shù)，天然適合處理AI模型壓縮過程中產(chǎn)生的跳躍式誤差，而傳統(tǒng)的正弦余弦函數(shù)處理這類突變問題效率較低。

Q3：這項技術對普通用戶有什么實際好處？

A：最直接的好處是AI助手可以完全在手機上運行，不需要聯(lián)網(wǎng)，響應更快、更保護隱私。你的智能手機、智能音箱等設備可以變得更聰明，同時不會很快耗盡電量。對于網(wǎng)絡條件不好的地區(qū)，這意味著也能享受到高質(zhì)量的AI服務。長遠來看，這會讓AI技術變得更普及、成本更低。