這項由NVIDIA團隊在2025年9月發(fā)表的研究，標志著大型語言模型訓練精度優(yōu)化的重要突破。論文詳細介紹了NVFP4格式及其配套訓練方法，有興趣深入了解的讀者可以通過arXiv:2509.25149查詢完整論文。

當我們談?wù)撊斯ぶ悄苡柧殨r，就像在討論一場精密的烹飪過程。廚師需要精確控制火候、調(diào)料分量，而AI訓練則需要精確控制數(shù)字的表示方式。長期以來，訓練大型語言模型就像用最精細的電子秤稱量每一粒鹽——雖然精確，但效率極低，成本高昂。NVIDIA的研究團隊現(xiàn)在找到了一種新方法，讓這個過程既保持精度，又大大提高效率。

傳統(tǒng)的大型語言模型訓練需要使用16位甚至32位的數(shù)字精度，這就好比用顯微鏡來觀察每一個細節(jié)。雖然能看得很清楚，但處理速度慢，需要的存儲空間大，耗電量也驚人。近年來，8位精度訓練已經(jīng)成為主流，就像從顯微鏡換成了高倍放大鏡——精度稍有降低，但效率大大提升。

現(xiàn)在，NVIDIA團隊更進一步，成功實現(xiàn)了4位精度訓練。這就像從放大鏡換成了普通眼鏡，看起來精度下降了很多，但通過巧妙的技術(shù)手段，竟然能保持幾乎相同的"視力"。這種突破意味著訓練速度可以提升2到3倍，同時將內(nèi)存使用量減少一半。

一、NVFP4格式：精密的數(shù)字壓縮藝術(shù)

要理解NVFP4的革命性，我們需要先了解數(shù)字在計算機中的存儲方式。傳統(tǒng)上，計算機存儲一個數(shù)字需要多個"格子"，每個格子記錄數(shù)字的不同部分——就像用多個抽屜來存放一個物品的不同部分。4位格式意味著只用4個這樣的格子，空間極其有限。

NVFP4的巧妙之處在于引入了"微縮放"技術(shù)。想象一下，你要把一大堆不同大小的物品裝進很多個小盒子里。傳統(tǒng)方法是為每個盒子選擇一個固定的縮放比例，但這樣會導致有些物品裝不下，有些盒子又浪費了很多空間。NVFP4采用了更聰明的兩級縮放策略：首先，對整個物品集合應用一個全局縮放，確保所有物品都能大致適配；然后，為每個小盒子再應用一個局部縮放，讓每個盒子的利用率達到最佳。

具體來說，NVFP4將16個連續(xù)的數(shù)值組成一個"塊"，這比傳統(tǒng)MXFP4格式的32個數(shù)值的塊要小。較小的塊意味著每個塊內(nèi)數(shù)值的變化范圍更小，更容易找到合適的縮放比例。同時，NVFP4使用E4M3格式存儲塊級縮放因子，而不是傳統(tǒng)的UE8M0格式，這就像用更精密的尺子來測量，雖然測量范圍小了一些，但精度大大提高了。

為了彌補塊級縮放范圍的不足，NVFP4在整個張量級別又增加了一個FP32縮放因子。這種兩級縮放策略確保了至少6.25%的數(shù)值（每個塊中的最大絕對值）能以接近8位精度的質(zhì)量存儲，而其余數(shù)值則以4位精度存儲。

二、訓練方法：保持穩(wěn)定的四大法寶

僅僅有了NVFP4格式還不夠，就像有了最好的食材，還需要正確的烹飪方法才能做出美味佳肴。NVIDIA團隊開發(fā)了四項關(guān)鍵技術(shù)來確保4位精度訓練的穩(wěn)定性。

第一項技術(shù)是混合精度策略。研究團隊發(fā)現(xiàn)，并非所有的網(wǎng)絡(luò)層都能承受4位精度的"考驗"。就像在建筑中，承重墻需要用更堅固的材料，而隔斷墻可以用輕質(zhì)材料一樣。他們發(fā)現(xiàn)網(wǎng)絡(luò)的最后幾層特別敏感，需要保持更高的精度。在12B參數(shù)的模型中，他們將前兩個塊和后八個塊保持在BF16精度，只占網(wǎng)絡(luò)總線性層的16%，但這對訓練穩(wěn)定性至關(guān)重要。

第二項技術(shù)是隨機哈達瑪變換。這聽起來很復雜，但其實就像洗牌一樣。在4位精度下，某些特別大的數(shù)值（異常值）會嚴重影響整體的表示質(zhì)量，就像一個班級里有個特別高的學生會影響全班的平均身高計算。隨機哈達瑪變換通過數(shù)學方法將這些異常值"打散"分布到更多位置，使得整體分布更加均勻，更適合4位精度表示。

第三項技術(shù)是二維塊縮放。在訓練過程中，同一個權(quán)重矩陣會在前向傳播和反向傳播中以不同的方向被使用，就像一張紙既可以橫著讀也可以豎著讀。傳統(tǒng)方法會導致同一個矩陣在兩個方向上有不同的量化表示，這違背了數(shù)學上的鏈式法則。二維塊縮放確保權(quán)重矩陣在前向和反向傳播中保持一致的量化表示，就像確保這張紙無論怎么旋轉(zhuǎn)，上面的字都能被正確識別。

第四項技術(shù)是隨機舍入。傳統(tǒng)的舍入方法總是按照固定規(guī)則進行，比如總是四舍五入，這會引入系統(tǒng)性偏差，就像一個天平總是向一邊傾斜。隨機舍入引入了隨機性，使得舍入過程在統(tǒng)計上是無偏的，特別是對梯度這樣的敏感數(shù)據(jù)，這種無偏性對訓練穩(wěn)定性至關(guān)重要。

三、實驗驗證：規(guī)?？涨暗某晒y試

為了驗證NVFP4技術(shù)的有效性，NVIDIA團隊進行了一次規(guī)?？涨暗膶嶒?。他們訓練了一個120億參數(shù)的混合Mamba-Transformer模型，使用了10萬億個訓練token。這個規(guī)模有多大呢？如果把每個token比作一個單詞，10萬億個token大約相當于人類歷史上所有書籍內(nèi)容的數(shù)十倍。

更令人印象深刻的是，這是目前公開記錄中使用4位精度進行的最長訓練實驗。整個訓練過程持續(xù)了相當長的時間，研究團隊需要確保在如此長的訓練過程中，模型不會出現(xiàn)發(fā)散或性能退化的問題。

實驗結(jié)果令人振奮。NVFP4訓練的模型在驗證損失上與FP8基線保持了驚人的接近。在穩(wěn)定訓練階段，相對誤差始終保持在1%以下，即使在訓練后期學習率衰減階段，誤差也僅略微超過1.5%。這就像用普通眼鏡看東西，雖然理論上精度不如顯微鏡，但在實際應用中幾乎看不出差別。

在下游任務(wù)評估中，NVFP4展現(xiàn)出了與FP8相當?shù)男阅?。在MMLU-Pro任務(wù)上，NVFP4達到了62.58%的準確率，幾乎與FP8的62.62%準確率相當。在數(shù)學推理、代碼生成、多語言理解等多個領(lǐng)域，NVFP4都表現(xiàn)出了令人滿意的性能。唯一稍有不足的是在代碼生成任務(wù)上，NVFP4的表現(xiàn)略低于FP8，但研究團隊認為這可能是由于評估的隨機性造成的。

四、硬件支持：Blackwell架構(gòu)的完美配合

NVFP4的成功不僅在于算法創(chuàng)新，還得益于NVIDIA最新Blackwell架構(gòu)GPU的硬件支持。這就像為新的烹飪方法配備了專門的廚具，硬件和軟件的完美配合才能發(fā)揮最大效能。

Blackwell架構(gòu)的Tensor Core專門針對多種微縮放格式進行了優(yōu)化，包括MXFP8、MXFP6、MXFP4和NVFP4。這些Tensor Core可以直接讀取窄精度輸入和對應的8位縮放因子，在硬件層面完成縮放和累加操作，最終以FP32精度輸出結(jié)果。

在性能方面，F(xiàn)P4運算相比FP8有顯著提升。在GB200芯片上，F(xiàn)P4運算速度是BF16的4倍，在更新的GB300芯片上更是達到6倍。同時，內(nèi)存使用量相比FP8減少約50%。這種硬件加速對于需要大量矩陣運算的大模型訓練來說意義重大。

Blackwell架構(gòu)還原生支持多種舍入模式，包括最近偶數(shù)舍入和隨機舍入，為FP4轉(zhuǎn)換指令提供了靈活的選擇。這種硬件層面的支持讓NVFP4技術(shù)能夠在實際部署中達到理論性能。

五、格式對比：NVFP4 vs MXFP4

在4位浮點格式的競爭中，NVFP4面臨著MXFP4的挑戰(zhàn)。為了證明NVFP4的優(yōu)勢，研究團隊進行了直接對比實驗。

他們使用80億參數(shù)的混合Mamba-Transformer模型，在1萬億token上進行訓練。實驗結(jié)果顯示，NVFP4相比MXFP4有明顯優(yōu)勢。具體來說，MXFP4相對于BF16基線的誤差約為2.5%，而NVFP4的誤差僅為1.5%。

更有趣的是，為了讓MXFP4達到與NVFP4相同的損失水平，需要額外訓練36%的token，即從1萬億token增加到1.36萬億token。這意味著使用NVFP4可以節(jié)省大量的訓練時間和計算資源。

這種優(yōu)勢主要源于NVFP4在數(shù)值表示上的改進。MXFP4受限于二的冪次縮放因子，經(jīng)常浪費FP4的表示能力，而NVFP4的更精確縮放能夠更充分地利用有限的4位空間。

六、技術(shù)細節(jié)：量化過程的藝術(shù)

NVFP4的量化過程就像一位技藝精湛的工匠，需要在有限的空間內(nèi)安排好每一個細節(jié)。整個過程分為幾個精心設(shè)計的步驟。

首先是全局張量級縮放。系統(tǒng)計算整個張量的絕對最大值，然后確定一個全局縮放因子，使得所有數(shù)值都能大致適應FP4×FP8的表示范圍。這個全局縮放的計算公式是6×448除以張量的絕對最大值，其中6是FP4能表示的最大值，448是E4M3格式能表示的最大值。

接下來是局部塊級縮放。對于每個16元素的塊，系統(tǒng)找到塊內(nèi)的絕對最大值，然后計算一個局部縮放因子，使得這個最大值正好映射到FP4的最大表示值。為了確保這個縮放因子能用E4M3格式存儲，系統(tǒng)首先將其乘以全局編碼縮放因子，然后量化為E4M3格式。

最后是實際的轉(zhuǎn)換過程。每個元素被乘以對應的局部編碼縮放因子，然后量化為FP4格式。在Tensor Core進行矩陣運算時，硬件會自動應用相應的解碼縮放因子，將結(jié)果恢復到正確的數(shù)值范圍。

這個過程的巧妙之處在于確保原始數(shù)值能夠通過編碼和解碼過程盡可能準確地恢復。雖然由于精度限制不可能完全無損，但通過精心設(shè)計的雙級縮放策略，大部分數(shù)值都能保持相當高的精度。

七、訓練穩(wěn)定性：從理論到實踐

要讓4位精度訓練真正穩(wěn)定，不僅需要好的數(shù)值表示格式，更需要在訓練過程中處理各種可能出現(xiàn)的問題。NVIDIA團隊通過大量消融實驗驗證了每項技術(shù)的必要性。

在保留高精度層方面，實驗顯示如果將所有層都量化為FP4，訓練會很快發(fā)散。通過分析不同層的敏感性，研究團隊發(fā)現(xiàn)網(wǎng)絡(luò)的最后幾層特別容易受到量化誤差的影響。這些層處理的是最終的輸出特征，需要更高的數(shù)值精度來保證準確性。保留這些關(guān)鍵層的高精度，就像在關(guān)鍵的承重結(jié)構(gòu)上使用更堅固的材料。

隨機哈達瑪變換的作用在大規(guī)模模型中更加明顯。在小規(guī)模實驗中，這項技術(shù)的效果并不顯著，但在120億參數(shù)的大模型上，移除這項技術(shù)會導致明顯的性能下降。這說明隨著模型規(guī)模的增大，異常值問題變得更加嚴重，需要更強的技術(shù)手段來解決。

二維塊縮放對權(quán)重張量特別重要。實驗顯示，如果權(quán)重在前向和反向傳播中使用不同的量化表示，會破壞訓練的數(shù)學一致性。相比之下，激活張量對這種不一致性的容忍度更高，因此可以使用更細粒度的一維縮放來獲得更好的量化精度。

隨機舍入主要應用于梯度張量。實驗證明，對權(quán)重和激活使用隨機舍入反而有害，因為會增加量化誤差。但對梯度使用隨機舍入能夠有效減少量化偏差，這對訓練的長期穩(wěn)定性至關(guān)重要。

八、精度切換：訓練后期的優(yōu)化策略

雖然NVFP4在整個訓練過程中表現(xiàn)出色，但在某些對損失要求極其嚴格的場景下，研究團隊還提供了一個巧妙的策略：在訓練后期切換到更高精度。

這就像在烹飪的最后階段使用更精細的調(diào)料。在訓練的前80%時間里，可以放心使用NVFP4來獲得高效率；當開始學習率衰減時，可以切換到BF16或MXFP8，這樣既享受了大部分訓練時間的高效率，又在最關(guān)鍵的收斂階段保證了最高的精度。

實驗顯示，如果在8.2萬億token處（約82%的訓練進度）切換精度，最終的損失能夠完全匹配FP8基線。即使在訓練的最后階段（10萬億token處）才切換，也能獲得顯著的損失改善。

更有趣的是，研究團隊發(fā)現(xiàn)主要的損失差距來自前向傳播的量化誤差。僅在前向傳播中切換到高精度就能恢復大部分性能，而反向傳播的精度切換效果有限。這個發(fā)現(xiàn)為實際應用提供了更加靈活的選擇：可以根據(jù)具體需求在計算效率和精度之間找到最佳平衡點。

九、技術(shù)挑戰(zhàn)：從實驗室到生產(chǎn)環(huán)境

雖然NVFP4技術(shù)在實驗中表現(xiàn)出色，但從研究原型到生產(chǎn)應用還面臨一些挑戰(zhàn)。當前的實現(xiàn)需要額外的內(nèi)存訪問來計算全局縮放因子，這會增加一定的內(nèi)存帶寬開銷。未來的優(yōu)化可能會考慮使用更細粒度的全局縮放，比如行級或塊級縮放，以減少這種開銷。

另一個考慮是不同模型架構(gòu)的適應性。目前的實驗主要集中在Transformer和Mamba架構(gòu)上，其他架構(gòu)如CNN或新興的架構(gòu)可能需要調(diào)整具體的技術(shù)參數(shù)。特別是混合專家模型（MoE）這類超大規(guī)模架構(gòu)，可能需要更復雜的精度分配策略。

此外，注意力機制和通信路徑目前仍使用高精度計算。雖然這些組件的計算量相對較小，但在某些內(nèi)存受限的場景下，將這些組件也擴展到NVFP4可能會帶來額外的內(nèi)存節(jié)省。

十、未來展望：4位精度訓練的廣闊前景

NVFP4技術(shù)的成功證明了4位精度大模型訓練的可行性，但這只是開始。研究團隊已經(jīng)在Transformer Engine中提供了完整的NVFP4支持，使得這項技術(shù)能夠被更廣泛地應用和驗證。

從規(guī)模法則的角度看，NVFP4可能會在更大模型和更長訓練過程中展現(xiàn)出更大優(yōu)勢。隨著模型參數(shù)達到千億甚至萬億級別，內(nèi)存和計算效率的重要性會進一步凸顯。同時，隨著訓練數(shù)據(jù)集規(guī)模的持續(xù)增長，訓練效率的提升將直接轉(zhuǎn)化為成本的節(jié)約和訓練速度的提升。

在應用場景方面，NVFP4不僅適用于預訓練，還有望擴展到后訓練階段，包括指令調(diào)優(yōu)、強化學習等環(huán)節(jié)。這種全流程的4位精度支持將為AI模型的開發(fā)和部署帶來革命性的效率提升。

說到底，NVFP4技術(shù)代表了AI訓練效率優(yōu)化的一個重要里程碑。它不僅在技術(shù)上實現(xiàn)了突破，更重要的是為未來更大規(guī)模、更高效的AI訓練鋪平了道路。這項技術(shù)讓原本需要龐大計算資源的大模型訓練變得更加親民，可能會加速AI技術(shù)的普及和應用。

對于整個AI行業(yè)來說，這意味著訓練成本的顯著降低和訓練速度的大幅提升。更多的研究機構(gòu)和公司將能夠負擔得起大模型的訓練，這無疑會推動整個領(lǐng)域的快速發(fā)展。同時，更高的訓練效率也意味著更低的能耗，這對于構(gòu)建可持續(xù)的AI生態(tài)系統(tǒng)具有重要意義。

Q&A

Q1：NVFP4格式相比傳統(tǒng)的訓練精度有什么實際好處？

A：NVFP4格式最大的好處是大幅提升訓練效率。它能讓大模型訓練速度提升2-3倍，同時將內(nèi)存使用量減少一半，這意味著訓練成本顯著降低。同時，通過巧妙的雙級縮放技術(shù)，NVFP4能在4位精度下保持與8位精度幾乎相同的模型性能，讓更多機構(gòu)能夠負擔得起大模型訓練。

Q2：NVFP4訓練需要特殊的硬件支持嗎？

A：是的，NVFP4需要NVIDIA最新的Blackwell架構(gòu)GPU支持。這些GPU的Tensor Core專門針對4位精度運算進行了優(yōu)化，能直接處理NVFP4格式的數(shù)據(jù)。在GB200芯片上，F(xiàn)P4運算速度是傳統(tǒng)BF16的4倍，在GB300芯片上更是達到6倍。目前這項技術(shù)已經(jīng)通過Transformer Engine完全支持。

Q3：普通研究者現(xiàn)在能使用NVFP4技術(shù)嗎？

A：可以的。NVIDIA已經(jīng)在Transformer Engine中提供了完整的NVFP4支持，研究者可以直接使用這項技術(shù)進行大模型訓練。不過需要注意的是，要充分發(fā)揮NVFP4的性能優(yōu)勢，需要使用支持Blackwell架構(gòu)的GPU。對于沒有最新硬件的用戶，雖然技術(shù)上可以運行，但無法獲得顯著的速度提升。