2025年5月，阿里巴巴錢文團(tuán)隊(duì)與浙江大學(xué)的研究人員發(fā)表了一篇引人注目的研究論文，題為《語言模型的并聯(lián)縮放定律》(Parallel Scaling Law for Language Models)。這項(xiàng)研究由浙江大學(xué)的陳牟翔、劉中信和阿里巴巴錢文團(tuán)隊(duì)的惠濱源、崔澤宇、楊嘉熙、劉代恒、林俊揚(yáng)等共同完成，發(fā)表于arXiv預(yù)印本平臺(tái)（arXiv:2505.10475v1）。

你是否曾經(jīng)想過，要讓人工智能變得更聰明，是不是一定要增加它的"大腦"大小（即參數(shù)量）或者讓它"思考"更久（即推理時(shí)間）？這兩種傳統(tǒng)方法各有缺點(diǎn)：增加參數(shù)需要更多內(nèi)存空間，而延長(zhǎng)推理時(shí)間則會(huì)讓用戶等待更久。阿里巴巴錢文團(tuán)隊(duì)提出了一個(gè)全新思路：如果我們讓AI同時(shí)從多個(gè)角度思考同一個(gè)問題，然后綜合這些思考結(jié)果，會(huì)不會(huì)既省空間又省時(shí)間，同時(shí)還能提升性能呢？

想象一下，當(dāng)你面對(duì)一個(gè)復(fù)雜問題時(shí)，你可能會(huì)從不同角度思考，或者咨詢幾個(gè)朋友的意見，然后綜合這些想法得出最終答案。這正是研究團(tuán)隊(duì)提出的"并聯(lián)縮放"（ParScale）方法的核心理念。這種方法不需要增加模型參數(shù)量，而是通過重復(fù)利用已有參數(shù)，同時(shí)從多個(gè)角度處理輸入信息，然后智能地整合這些結(jié)果，從而提升模型性能。

研究團(tuán)隊(duì)的實(shí)驗(yàn)結(jié)果令人振奮：他們發(fā)現(xiàn)，將計(jì)算并行擴(kuò)展P倍，其效果相當(dāng)于將模型參數(shù)量增加O(log P)倍，但內(nèi)存占用和推理延遲大大降低。舉個(gè)例子，對(duì)于一個(gè)1.6B參數(shù)的模型，使用8路并行計(jì)算可以節(jié)省22倍的內(nèi)存增長(zhǎng)和6倍的延遲增長(zhǎng)，同時(shí)達(dá)到與更大參數(shù)模型相當(dāng)?shù)男阅堋?/p>

更令人驚喜的是，研究者們還發(fā)現(xiàn)，可以通過一種"兩階段"訓(xùn)練策略，將現(xiàn)有預(yù)訓(xùn)練模型轉(zhuǎn)變?yōu)椴⑿锌s放模型，只需在少量數(shù)據(jù)上進(jìn)行微調(diào)就能實(shí)現(xiàn)性能提升。這種方法不僅適用于從頭訓(xùn)練新模型，還可以"改造"現(xiàn)有模型，大大降低了訓(xùn)練成本。

讓我們深入了解這項(xiàng)突破性研究的細(xì)節(jié)和它可能帶來的深遠(yuǎn)影響。

一、理解語言模型縮放的三種方式：從傳統(tǒng)到創(chuàng)新

想象一下，你正在建造一座摩天大樓。傳統(tǒng)上，你有兩種方法讓它變得更宏偉：要么增加建筑面積（參數(shù)縮放），要么增加建筑層數(shù)（推理時(shí)間縮放）。前者需要更多土地和材料，后者則會(huì)延長(zhǎng)建造時(shí)間。但現(xiàn)在，研究者們提出了第三種方法：在同一塊土地上同時(shí)建造多座相互連接的較小建筑（并行縮放），既節(jié)省空間又加快建造速度。

傳統(tǒng)的參數(shù)縮放方法就像是把AI的"大腦"做得更大。例如，DeepSeek-V3模型擁有6720億參數(shù)，這導(dǎo)致了龐大的內(nèi)存需求，難以在邊緣設(shè)備上部署。另一方面，推理時(shí)間縮放就像是給AI更多思考時(shí)間，讓它生成更多的"推理令牌"來解決問題。但研究者發(fā)現(xiàn)，有些強(qiáng)大的模型甚至?xí)?2+3=?"這樣的簡(jiǎn)單問題生成多達(dá)900個(gè)推理令牌，極大地增加了處理時(shí)間。

錢文團(tuán)隊(duì)受到了"無分類器引導(dǎo)"（Classifier-Free Guidance，CFG）的啟發(fā)。CFG是擴(kuò)散模型中廣泛使用的技術(shù)，它在推理階段使用兩次前向傳遞：首先進(jìn)行正常的前向傳遞獲得第一個(gè)輸出流，然后擾亂輸入（例如，丟棄輸入中的條件）獲得第二個(gè)輸出流。這兩個(gè)流基于預(yù)設(shè)的對(duì)比規(guī)則聚合，產(chǎn)生比單次傳遞更好的性能。研究團(tuán)隊(duì)提出假設(shè)：CFG之所以有效，是因?yàn)樗褂昧藘杀兜挠?jì)算量。

基于這一假設(shè)，他們提出了"并行縮放"（ParScale）方法。這種方法在訓(xùn)練和推理階段都增加模型的并行計(jì)算，同時(shí)保持參數(shù)幾乎不變。具體來說，他們對(duì)輸入應(yīng)用P種不同的可學(xué)習(xí)轉(zhuǎn)換，并行地通過模型傳遞這些輸入，然后動(dòng)態(tài)聚合P個(gè)輸出。這就像是同時(shí)從P個(gè)不同角度分析同一個(gè)問題，然后綜合各個(gè)視角的見解得出最終答案。

二、并行縮放的工作原理：一種全新的大模型能力提升方法

如果普通的大語言模型是一個(gè)專家在思考問題，那么并行縮放就像是讓多個(gè)專家同時(shí)思考同一個(gè)問題，然后綜合他們的意見。這些"專家"共享同樣的知識(shí)（模型參數(shù)），但各自從不同角度分析問題。

具體來說，并行縮放的實(shí)現(xiàn)包括三個(gè)關(guān)鍵步驟：

首先是輸入轉(zhuǎn)換。研究團(tuán)隊(duì)使用"前綴調(diào)優(yōu)"（Prefix Tuning）技術(shù)，為每個(gè)并行流添加不同的可學(xué)習(xí)前綴。這就像是給每位專家一個(gè)不同的思考角度或提示。通過實(shí)驗(yàn)，團(tuán)隊(duì)發(fā)現(xiàn)隨機(jī)初始化這些前綴就足以確保不同流之間的輸出多樣性。

其次是并行前向傳遞。模型使用相同的參數(shù)，但處理不同的輸入流。這些并行計(jì)算非常適合現(xiàn)代GPU，因此不會(huì)顯著增加推理延遲。

最后是輸出聚合。研究團(tuán)隊(duì)發(fā)現(xiàn)，使用動(dòng)態(tài)加權(quán)平均比靜態(tài)權(quán)重效果更好。他們?cè)O(shè)計(jì)了一個(gè)小型多層感知機(jī)網(wǎng)絡(luò)，將各流輸出轉(zhuǎn)換為聚合權(quán)重。為了防止某些流權(quán)重過大而其他流得不到充分訓(xùn)練，他們還應(yīng)用了標(biāo)簽平滑技術(shù)，確保每個(gè)流都有最小的非零權(quán)重。

研究者們進(jìn)行了大量的初步實(shí)驗(yàn)，發(fā)現(xiàn)不同的輸入轉(zhuǎn)換和輸出聚合策略對(duì)模型性能的影響相對(duì)較小，真正決定性的因素是并行計(jì)算的數(shù)量（即P值）。簡(jiǎn)單地說，讓模型從更多角度思考同一問題比改進(jìn)思考方式更重要。

這一發(fā)現(xiàn)極其重要，因?yàn)樗凳玖擞?jì)算資源和參數(shù)量對(duì)模型能力貢獻(xiàn)的基本關(guān)系，為我們理解人工智能的本質(zhì)提供了新視角。

三、從理論到實(shí)踐：并行縮放定律的證明與驗(yàn)證

研究團(tuán)隊(duì)不僅提出了并行縮放的方法，還建立了理論基礎(chǔ)，并通過大規(guī)模實(shí)驗(yàn)進(jìn)行了驗(yàn)證。他們提出的并行縮放定律是對(duì)著名的Chinchilla縮放定律的擴(kuò)展。

從理論上講，研究團(tuán)隊(duì)將并行縮放視為一種特殊的模型集成。傳統(tǒng)模型集成通常不共享參數(shù)，而并行縮放中的不同流共享絕大部分參數(shù)。他們通過數(shù)學(xué)推導(dǎo)證明，如果將P個(gè)流的預(yù)測(cè)聚合，最終模型的損失函數(shù)遵循一個(gè)新的縮放定律：

L = E + [A/(N·P^(1/α)·DIVERSITY)]^α

其中，DIVERSITY = [(P-1)ρ+1]^(-1/α)，ρ是不同流相對(duì)殘差之間的相關(guān)系數(shù)。

簡(jiǎn)單來說，這個(gè)公式表明增加P倍的并行計(jì)算相當(dāng)于將模型參數(shù)乘以一個(gè)因子(P^(1/α)·DIVERSITY)。當(dāng)不同流的輸出完全相關(guān)（ρ=1）時(shí)，并行計(jì)算沒有任何益處。當(dāng)流輸出完全獨(dú)立（ρ=0）時(shí)，模型損失與P成反比。當(dāng)流輸出負(fù)相關(guān)時(shí)，效果更好，理論上損失可以接近零。

為了將理論轉(zhuǎn)化為實(shí)踐可用的公式，團(tuán)隊(duì)基于初步觀察到的對(duì)數(shù)趨勢(shì)，提出了以下簡(jiǎn)化形式：

L = [A/(N·(k·log P+1))]^α + E

這里，k是一個(gè)可調(diào)參數(shù)，代表并行縮放的有效性。

為了驗(yàn)證這一理論，研究團(tuán)隊(duì)進(jìn)行了大規(guī)模預(yù)訓(xùn)練實(shí)驗(yàn)。他們使用Qwen-2.5的密集架構(gòu)和分詞器，從頭訓(xùn)練具有不同參數(shù)規(guī)模（從0.5B到4.4B）和不同并行流數(shù)量（從1到8）的語言模型。訓(xùn)練數(shù)據(jù)固定為420億個(gè)令牌，分別來自Stack-V2（Python子集）和Pile語料庫。

實(shí)驗(yàn)結(jié)果驚人地符合理論預(yù)期，擬合優(yōu)度（R?）高達(dá)0.998。研究發(fā)現(xiàn)，并行計(jì)算的縮放遵循對(duì)數(shù)趨勢(shì)，即從1到2、從2到4、從4到8的并行流增加帶來相似的性能提升。更重要的是，他們確認(rèn)了核心假設(shè)：P倍的并行計(jì)算相當(dāng)于將參數(shù)量增加O(log P)倍。

有趣的是，研究還發(fā)現(xiàn)，在Stack-V2上訓(xùn)練（側(cè)重編碼和推理能力）的模型比在Pile上訓(xùn)練（側(cè)重記憶能力）的模型從并行縮放中獲益更多。這暗示參數(shù)主要影響模型的記憶能力，而計(jì)算主要影響推理能力 - 這一洞察可能對(duì)未來AI系統(tǒng)的設(shè)計(jì)產(chǎn)生深遠(yuǎn)影響。

四、并行縮放的效率優(yōu)勢(shì)：空間與時(shí)間的完美平衡

并行縮放的最大亮點(diǎn)之一是其出色的推理效率。研究團(tuán)隊(duì)對(duì)比了并行縮放和參數(shù)縮放在相同性能水平下的內(nèi)存使用和推理延遲。

與關(guān)注計(jì)算浮點(diǎn)運(yùn)算數(shù)量的傳統(tǒng)方法不同，研究者認(rèn)為這不是評(píng)估大語言模型推理成本的理想指標(biāo)。因?yàn)門ransformer操作在解碼階段主要受內(nèi)存訪問而非計(jì)算量限制。因此，他們使用內(nèi)存占用和延遲作為衡量指標(biāo)。

實(shí)驗(yàn)結(jié)果表明，并行縮放僅略微增加內(nèi)存使用，即使在較大批處理大小下也是如此。這是因?yàn)椴⑿锌s放只引入少量額外參數(shù)（每個(gè)流約0.2%）并增加KV緩存大小（擴(kuò)大P倍），而KV緩存通常比模型參數(shù)占用少得多的GPU內(nèi)存。

在時(shí)間成本方面，當(dāng)批處理大小較小時(shí)，并行縮放添加的延遲極小，因?yàn)樗鼘?nèi)存瓶頸轉(zhuǎn)化為計(jì)算瓶頸，而并行計(jì)算對(duì)GPU非常友好。隨著批處理大小增加，解碼從內(nèi)存瓶頸轉(zhuǎn)向計(jì)算瓶頸，這會(huì)導(dǎo)致并行縮放的成本增加，但直到批處理大小為8時(shí)，它仍比參數(shù)縮放更高效。

研究表明，對(duì)于1.6B參數(shù)模型，當(dāng)使用8路并行縮放時(shí)，相比于達(dá)到相同性能的參數(shù)縮放方法，內(nèi)存增長(zhǎng)減少了22倍，延遲增長(zhǎng)減少了6倍（批處理大小為1）。這使得并行縮放特別適合智能手機(jī)、智能汽車和機(jī)器人等低資源邊緣設(shè)備，這些設(shè)備通常查詢較少，批處理大小較小。

研究者預(yù)計(jì)，隨著人工智能的普及，未來的大語言模型將逐漸從集中式服務(wù)器部署轉(zhuǎn)向邊緣部署。這凸顯了并行縮放在未來的巨大潛力。

五、兩階段訓(xùn)練策略：降低大模型訓(xùn)練成本的創(chuàng)新方法

雖然并行縮放在推理階段非常高效，但它在訓(xùn)練階段引入了約P倍的浮點(diǎn)運(yùn)算，顯著增加了計(jì)算密集型訓(xùn)練過程的開銷。為了解決這一限制，研究團(tuán)隊(duì)提出了兩階段訓(xùn)練策略：第一階段使用傳統(tǒng)預(yù)訓(xùn)練方法處理大部分?jǐn)?shù)據(jù)；第二階段僅對(duì)少量數(shù)據(jù)應(yīng)用并行縮放訓(xùn)練。

研究者遵循已有的最佳實(shí)踐，在第一階段采用預(yù)熱穩(wěn)定衰減（WSD）學(xué)習(xí)率調(diào)度，先進(jìn)行2K步預(yù)熱，然后固定學(xué)習(xí)率為3e-4。在第二階段，學(xué)習(xí)率從3e-4逐漸降至1e-5。

在第一階段，研究者使用了1萬億個(gè)令牌的高質(zhì)量混合數(shù)據(jù)進(jìn)行訓(xùn)練，包括3700億通用數(shù)據(jù)、800億數(shù)學(xué)數(shù)據(jù)和500億代碼數(shù)據(jù)。在第二階段，他們使用第一階段訓(xùn)練的模型作為主干，引入并行縮放所需的額外參數(shù)（使用0.02的標(biāo)準(zhǔn)差隨機(jī)初始化），并使用70億通用文本、70億數(shù)學(xué)數(shù)據(jù)和70億Stack-Python-Edu數(shù)據(jù)進(jìn)行訓(xùn)練。

實(shí)驗(yàn)結(jié)果表明，在第二階段開始時(shí)，P>1的模型由于引入隨機(jī)初始化參數(shù)，損失會(huì)暫時(shí)超過P=1的模型。但僅經(jīng)過少量數(shù)據(jù)處理（約0.0002T個(gè)令牌），模型就能快速適應(yīng)這些新引入的參數(shù)并保持穩(wěn)定。這證明了并行縮放可以通過很少的數(shù)據(jù)快速發(fā)揮作用。

研究者訓(xùn)練了一個(gè)1.8B參數(shù)模型，并將訓(xùn)練數(shù)據(jù)擴(kuò)展到1T個(gè)令牌，在21個(gè)下游基準(zhǔn)測(cè)試上，結(jié)果顯示隨著P的增加，性能呈上升趨勢(shì)，驗(yàn)證了并行縮放在大規(guī)模數(shù)據(jù)集上的有效性。具體來說，當(dāng)P從1增加到8時(shí)，并行縮放在通用任務(wù)上提升了2.6%，在數(shù)學(xué)和代碼任務(wù)上分別提升了7.3%和4.3%。在GSM8K上，它實(shí)現(xiàn)了10%的提升（相對(duì)提升34%）。這再次證實(shí)，并行縮放在處理推理密集型任務(wù)時(shí)更加有效。

研究團(tuán)隊(duì)還對(duì)模型進(jìn)行了指令微調(diào)，結(jié)果顯示當(dāng)P從1增加到8時(shí)，該方法在指令遵循基準(zhǔn)測(cè)試IFEval上實(shí)現(xiàn)了5%的改進(jìn)，在通用任務(wù)MMLU和推理任務(wù)GSM8K上也有顯著提升。這證明了所提出的并行縮放在后訓(xùn)練階段也表現(xiàn)出色。

六、應(yīng)用到現(xiàn)有預(yù)訓(xùn)練模型：并行縮放的實(shí)用性驗(yàn)證

研究團(tuán)隊(duì)進(jìn)一步研究了將并行縮放應(yīng)用到現(xiàn)成預(yù)訓(xùn)練模型的可能性，重點(diǎn)關(guān)注兩種設(shè)置：持續(xù)預(yù)訓(xùn)練和參數(shù)高效微調(diào)（PEFT）。

他們使用Pile和Stack-V2（Python）持續(xù)預(yù)訓(xùn)練Qwen-2.5（3B）模型。值得注意的是，Qwen-2.5已經(jīng)在18T數(shù)據(jù)上預(yù)訓(xùn)練，這些數(shù)據(jù)可能與Pile和Stack-V2有顯著重疊。實(shí)驗(yàn)結(jié)果表明，即使使用已經(jīng)徹底訓(xùn)練過的基礎(chǔ)模型和常用訓(xùn)練數(shù)據(jù)集，仍然可以實(shí)現(xiàn)性能提升。

更令人興奮的是，研究者還嘗試了使用PEFT來微調(diào)引入的參數(shù)，同時(shí)凍結(jié)主干權(quán)重。圖6(c)顯示，這種策略仍然能顯著改善下游代碼生成性能。更重要的是，這展示了動(dòng)態(tài)并行縮放的前景：我們可以部署相同的主干，并靈活地在各種場(chǎng)景中切換不同數(shù)量的并行流（例如，高吞吐量和低吞吐量），從而實(shí)現(xiàn)不同級(jí)別的模型能力之間的快速轉(zhuǎn)換。

這一發(fā)現(xiàn)意義重大，它意味著我們可以對(duì)現(xiàn)有的大型語言模型進(jìn)行"改造"，而不需要從頭訓(xùn)練新模型，從而大大降低資源消耗和環(huán)境影響。

七、并行縮放的更廣泛意義：計(jì)算與參數(shù)的角色重新定義

除了提供一種高效的大語言模型縮放方法，這項(xiàng)研究還引發(fā)了對(duì)機(jī)器學(xué)習(xí)中一個(gè)更基本問題的思考：模型能力是由參數(shù)決定還是由計(jì)算決定，它們各自的貢獻(xiàn)是什么？

傳統(tǒng)機(jī)器學(xué)習(xí)模型通常同時(shí)縮放參數(shù)和計(jì)算，這使得難以確定它們的貢獻(xiàn)比例。研究者提出的并行縮放和擬合的并行縮放定律可能為這個(gè)問題提供了一個(gè)新穎且量化的視角。

提出的縮放定律表明，計(jì)算的增加可以部分替代參數(shù)的增加，具體來說，P倍的并行計(jì)算相當(dāng)于增加O(log P)倍的參數(shù)。更有趣的是，并行縮放對(duì)推理密集型任務(wù)（如編程或數(shù)學(xué)）的提升更明顯，這暗示縮放計(jì)算能夠有效推動(dòng)推理能力的邊界。

研究者相信，大規(guī)模計(jì)算可以培育大規(guī)模智能。這項(xiàng)工作可能會(huì)啟發(fā)更多探索朝向人工通用智能（AGI）縮放計(jì)算的方法，并為機(jī)器學(xué)習(xí)的其他領(lǐng)域提供見解。

八、未來研究方向：并行縮放的廣闊前景

研究團(tuán)隊(duì)在論文中提出了幾個(gè)值得進(jìn)一步探索的方向：

首先是訓(xùn)練推理最優(yōu)語言模型。Chinchilla研究探討了在訓(xùn)練FLOP預(yù)算下確定參數(shù)和訓(xùn)練數(shù)據(jù)的訓(xùn)練最優(yōu)量的縮放定律?，F(xiàn)代大語言模型越來越關(guān)注推理最優(yōu)模型，一些實(shí)踐者使用比Chinchilla建議更多的數(shù)據(jù)來訓(xùn)練小模型，以提高推理效率。利用并行縮放，研究者希望確定如何在各種推理預(yù)算（如內(nèi)存、延遲和批處理大小）下分配參數(shù)數(shù)量和并行計(jì)算，從而擴(kuò)展推理最優(yōu)縮放定律。

其次是并行縮放定律的進(jìn)一步理論分析。盡管研究團(tuán)隊(duì)提出了一些理論結(jié)果，但直接建模DIVERSITY的挑戰(zhàn)限制了他們使用大量實(shí)驗(yàn)來擬合并行縮放定律。為什么多樣性與log P相關(guān)，是否存在超過O(log P)的增長(zhǎng)率，以及當(dāng)P遠(yuǎn)大于8時(shí)是否存在性能上限，仍然是開放問題。

第三是兩階段策略的最優(yōu)分割點(diǎn)。考慮到并行縮放在訓(xùn)練階段效率較低，研究者引入了兩階段策略，發(fā)現(xiàn)大語言模型仍然能夠利用相對(duì)較少的令牌學(xué)習(xí)并行計(jì)算以提高能力。他們目前使用1T比20B令牌作為分割點(diǎn)，但是否存在更優(yōu)的分割策略及其與性能的權(quán)衡關(guān)系也是一個(gè)有趣的研究方向。

第四是與混合專家（MoE）架構(gòu)的結(jié)合應(yīng)用。與Geiping等人提出的方法類似，并行縮放是一種計(jì)算密集型（但更高效）的策略，這在某種程度上與稀疏MoE（參數(shù)密集型）互補(bǔ)?？紤]到MoE對(duì)延遲友好而并行縮放對(duì)內(nèi)存友好，探索它們的組合是否能產(chǎn)生更高效和高性能的模型值得研究。

最后，雖然研究團(tuán)隊(duì)專注于語言模型，但并行縮放是一種更通用的方法，可以應(yīng)用于任何模型架構(gòu)、訓(xùn)練算法和訓(xùn)練數(shù)據(jù)。探索并行縮放在其他領(lǐng)域的應(yīng)用，甚至提出新的縮放定律，也是一個(gè)有前景的未來方向。

九、總結(jié)：并行縮放開創(chuàng)了大模型發(fā)展的新范式

說到底，阿里巴巴錢文團(tuán)隊(duì)提出的并行縮放方法代表了大模型發(fā)展的一個(gè)新范式。它通過創(chuàng)新地復(fù)用現(xiàn)有參數(shù)進(jìn)行多次并行計(jì)算，成功地減輕了參數(shù)縮放帶來的內(nèi)存壓力和推理時(shí)間縮放導(dǎo)致的時(shí)間延遲。

并行縮放的核心貢獻(xiàn)在于它發(fā)現(xiàn)并驗(yàn)證了一個(gè)全新的縮放定律：P倍的并行計(jì)算大約相當(dāng)于增加O(log P)倍的參數(shù)。這一發(fā)現(xiàn)不僅提供了一種更高效的模型縮放方式，還深化了我們對(duì)人工智能系統(tǒng)中計(jì)算和參數(shù)相對(duì)重要性的理解。

此外，研究團(tuán)隊(duì)提出的兩階段訓(xùn)練策略和對(duì)現(xiàn)有預(yù)訓(xùn)練模型的應(yīng)用表明，并行縮放不僅適用于從頭訓(xùn)練新模型，還可以用來增強(qiáng)現(xiàn)有模型的能力，大大降低了應(yīng)用門檻和資源需求。

對(duì)于普通用戶來說，這項(xiàng)技術(shù)的意義在于：未來我們可能會(huì)看到更多在邊緣設(shè)備上運(yùn)行的強(qiáng)大AI模型，如智能手機(jī)、智能汽車和家用機(jī)器人，它們能夠提供接近服務(wù)器級(jí)模型的性能，同時(shí)保持較低的內(nèi)存占用和響應(yīng)延遲。

對(duì)于AI研發(fā)人員來說，并行縮放提供了一種在資源有限情況下提升模型能力的新方法，可能會(huì)加速AI技術(shù)向更廣泛場(chǎng)景的普及。它還為理解計(jì)算和參數(shù)在模型能力中的作用提供了新視角，這可能會(huì)影響未來AI系統(tǒng)設(shè)計(jì)的基本思路。

最終，這項(xiàng)研究告訴我們，人工智能的進(jìn)步不僅僅依賴于更大的模型規(guī)模，還可以通過更聰明地使用現(xiàn)有資源來實(shí)現(xiàn)。正如研究團(tuán)隊(duì)所說："大規(guī)模計(jì)算可以培育大規(guī)模智能"，而他們的工作證明了這一點(diǎn)可以以出人意料的高效方式實(shí)現(xiàn)。

如果你對(duì)這項(xiàng)研究感興趣，可以訪問研究團(tuán)隊(duì)的代碼庫（https://github.com/QwenLM/ParScale）和模型檢查點(diǎn)（https://huggingface.co/ParScale），進(jìn)一步探索并親自體驗(yàn)并行縮放的強(qiáng)大功能。