作者 | 高飛
來(lái)源 | 科技行者

如果說(shuō)之前的“Wintel組合”代表了PC時(shí)代，“谷歌高通”組合代表移動(dòng)互聯(lián)網(wǎng)時(shí)代，那么現(xiàn)在的“OpenAI英偉達(dá)”組合則代表了新AI時(shí)代。而算力又是當(dāng)前最為稀缺的AI資源之一（數(shù)據(jù)同樣稀缺，下一代算法還沒(méi)有眉目），所以我就結(jié)合NVIDIA創(chuàng)始人兼CEO黃仁勛在中國(guó)臺(tái)灣地區(qū)的臺(tái)北國(guó)際電腦展(COMPUTEX 2024)的發(fā)言，談一下AI正在給世界帶來(lái)的五個(gè)變化。

AI是新的發(fā)動(dòng)機(jī)

如果沒(méi)記錯(cuò)的話，第四次工業(yè)革命的說(shuō)法已經(jīng)說(shuō)了十年，但大家之前沒(méi)感受到這個(gè)新工業(yè)革命到底“新”在哪。但ChatGPT問(wèn)世，讓AI基本上通過(guò)了圖靈測(cè)試，創(chuàng)造了一個(gè)真正的分水嶺。生成式AI帶來(lái)的本質(zhì)變化是，算力創(chuàng)造了一個(gè)新的發(fā)動(dòng)機(jī)，也建設(shè)了一個(gè)新的AI工廠（如下圖）。

用黃仁勛的話說(shuō)，最初作為超級(jí)計(jì)算機(jī)出現(xiàn)的設(shè)備，演化為一個(gè)高效運(yùn)轉(zhuǎn)的人工智能數(shù)據(jù)中心，它不斷地創(chuàng)造產(chǎn)出，不僅生成Token，更是一個(gè)創(chuàng)造價(jià)值的人工智能工廠，“這些Token可以是單詞、圖像、圖表、表格，甚至是歌曲、文字、語(yǔ)音和視頻。Token可以代表任何具有明確意義的事物，無(wú)論是化學(xué)物質(zhì)、蛋白質(zhì)、基因，還是天氣模式”。

生成式AI讓計(jì)算到產(chǎn)出的路徑極大程度縮短。原來(lái)的產(chǎn)出工作流是七個(gè)步驟：電能-計(jì)算-系統(tǒng)-編程-軟件-應(yīng)用-產(chǎn)出，現(xiàn)在直接縮短成三個(gè)步驟：電能-模型-智能，（雖然最終也需要Prompt提示詞才能使用模型，但是提示詞是基于自然語(yǔ)言的），這讓計(jì)算機(jī)的價(jià)值很容易被使用，也很容易被衡量。這和之前的蒸汽機(jī)、內(nèi)燃機(jī)、電動(dòng)機(jī)的道理是一樣的，電能直接轉(zhuǎn)化為生產(chǎn)力，只不過(guò)AI引擎輸出的不是動(dòng)力，而是腦力。

圖片出處：Shaw Talebi——如何從頭開(kāi)始構(gòu)建LLM

軟件業(yè)消亡或者重生

操作系統(tǒng)是人類操作計(jì)算機(jī)的底座，我一直有個(gè)看法，操作系統(tǒng)的更新?lián)Q代，就是交互界面的更新?lián)Q代，大概每20年就有一代。IBM PC開(kāi)啟的DOS，以鍵盤為交互方式；微軟開(kāi)發(fā)的Windows，由鼠標(biāo)為交互方式；蘋果創(chuàng)造的iPhone時(shí)刻，是由手指觸屏為交互方式；現(xiàn)在看來(lái)，以O(shè)penAI開(kāi)啟的自然語(yǔ)言交互，是真正的交互方式換屆。

1981 年的原始 MS-DOS 廣告

但是，這個(gè)變革不止改變了操作系統(tǒng)的邏輯，還改變了軟件業(yè)的邏輯。此前的操作系統(tǒng)，是由軟件和編程語(yǔ)言原來(lái)承載了計(jì)算機(jī)和人類之間的信息交換，現(xiàn)在則改為由模型+提示詞。

黃仁勛也提到，“應(yīng)用層也因此發(fā)生了變革：過(guò)去，應(yīng)用程序是由指令編寫的；而現(xiàn)在，它們通過(guò)組裝人工智能團(tuán)隊(duì)來(lái)構(gòu)建。雖然編寫程序需要專業(yè)技能，但幾乎每個(gè)人都知道如何分解問(wèn)題并組建團(tuán)隊(duì)。因此，未來(lái)的每家公司都會(huì)擁有一個(gè)龐大的Nim集合。你可以根據(jù)需要選擇專家，將它們連接成一個(gè)團(tuán)隊(duì)”。

這也讓我想起OpenAI創(chuàng)始成員，也是前特斯拉人工智能主管Andrej Karpathy在2023年1月5日發(fā)的一個(gè)推文“最熱門的新編程語(yǔ)言是英語(yǔ)”。（Nim是一個(gè)集成化的人工智能容器解決方案，包含了龐大的軟件集合，如CUDA、CUDACNN和TensorRT，以及Triton推理服務(wù)）

截圖來(lái)自O(shè)penAI創(chuàng)始成員、前特斯拉人工智能主管Andrej Karpathy推特，他在2023年1月5日發(fā)的一個(gè)推文講到“最熱門的新編程語(yǔ)言是英語(yǔ)”

如果說(shuō)SaaS方式消滅了傳統(tǒng)軟件的身體，是軟件業(yè)的自我革命。那么模型即將要消滅的，是傳統(tǒng)軟件業(yè)的靈魂。軟件這個(gè)概念永遠(yuǎn)存在，但是外在和內(nèi)在都被新技術(shù)撕碎。接下來(lái)，軟件業(yè)要么逐漸消亡，要么以新的方式重生。

網(wǎng)絡(luò)就是計(jì)算機(jī)（這次是真的）

“網(wǎng)絡(luò)即計(jì)算機(jī)”是Sun公司的第21號(hào)員工約翰·蓋奇在 1984 年為公司創(chuàng)造的一句口號(hào)。Wired雜志將這句話稱為“硅谷的真理”。

不過(guò)當(dāng)時(shí)約翰·蓋奇的靈感來(lái)自于互聯(lián)網(wǎng)，他在2019年的一個(gè)播客節(jié)目中說(shuō)，當(dāng)Sun推出第一臺(tái)科學(xué)工作站時(shí)，它們并不是非常強(qiáng)大的計(jì)算機(jī)，但是有一個(gè)巨大的屏幕，可以到互聯(lián)網(wǎng)，被設(shè)計(jì)為超級(jí)計(jì)算機(jī)的補(bǔ)充組件。但是現(xiàn)在的“網(wǎng)絡(luò)就是計(jì)算機(jī)”，計(jì)算機(jī)不是互聯(lián)網(wǎng)，是超計(jì)算機(jī)本身。

因?yàn)?，現(xiàn)在AI算力的之所以能實(shí)現(xiàn)新的指數(shù)級(jí)飛躍，靠的不再是傳統(tǒng)的芯片制程和芯片內(nèi)的架構(gòu)創(chuàng)新，而是芯片間的互聯(lián)網(wǎng)，或許我們可以稱之為internet of chips（芯聯(lián)網(wǎng)）。由Scalling Law所驅(qū)動(dòng)的AI算力需求，正在讓我們看到萬(wàn)卡集群，再到未來(lái)的十萬(wàn)卡，百萬(wàn)卡集群，芯片所構(gòu)成的網(wǎng)絡(luò)，形成一個(gè)巨大的計(jì)算機(jī)。所以黃仁勛說(shuō)，原來(lái)一顆小小的芯片是GPU，現(xiàn)在一個(gè)龐大的機(jī)柜也是一顆GPU。

IBM當(dāng)年說(shuō)世界有五臺(tái)計(jì)算機(jī)就夠了，從模型訓(xùn)練的大規(guī)模集群而言，或許未來(lái)真的只需要五臺(tái)計(jì)算機(jī)。當(dāng)然，我們說(shuō)的是在訓(xùn)練層面、在推理層面和端側(cè)AI層面，依然是百花齊放的。

黃仁勛在演講中著重介紹了MGX系統(tǒng)，整個(gè)系統(tǒng)中，有共計(jì)72個(gè)GPU，構(gòu)成了一個(gè)龐大的計(jì)算集群。這些GPU通過(guò)全新的MV鏈接技術(shù)緊密相連，又形成了一個(gè)無(wú)縫的計(jì)算網(wǎng)絡(luò)。“當(dāng)使用ChatGPT這樣的模型時(shí)，其背后是龐大的軟件堆棧。這個(gè)堆棧復(fù)雜而龐大，因?yàn)槟Ｐ蛽碛袛?shù)十億到數(shù)萬(wàn)億個(gè)參數(shù)，且不僅在一臺(tái)計(jì)算機(jī)上運(yùn)行，而是在多臺(tái)計(jì)算機(jī)上協(xié)同工作”。

智能的第一次并行

從計(jì)算機(jī)的并行，我們可以延續(xù)談一下智能的并行。

軟件工程領(lǐng)域有一個(gè)著名的布魯克斯定律(Brooks' Law)，說(shuō)向一個(gè)已經(jīng)延遲的項(xiàng)目中增加人力，往往會(huì)使項(xiàng)目更加延遲。即隨著團(tuán)隊(duì)規(guī)模的擴(kuò)大，溝通成本和管理開(kāi)銷也會(huì)增加，從而可能抵消增加人力帶來(lái)的收益。

在社會(huì)心理學(xué)領(lǐng)域，也有一個(gè)社會(huì)性懈怠(Social Loafing)，當(dāng)人們?cè)趫F(tuán)隊(duì)中工作時(shí)，個(gè)人的努力程度會(huì)比單獨(dú)工作時(shí)降低，是因?yàn)閭€(gè)人在團(tuán)隊(duì)中感到責(zé)任分散，或者認(rèn)為自己的貢獻(xiàn)不重要。

所以，兩個(gè)員工協(xié)同辦公，效率未必能上升一倍，如果安排不當(dāng)，甚至效率會(huì)降低。我想這也是996的本質(zhì)原因，讓一個(gè)人拼命干，比多個(gè)人合作干效率要高得多。其原因除了心理學(xué)因素之外，還在于人類間的數(shù)據(jù)無(wú)法共享，多個(gè)人難以處理同一個(gè)子項(xiàng)目，背后是智能無(wú)法并行。

但是這個(gè)問(wèn)題對(duì)于大模型而言并不存在，萬(wàn)卡、百萬(wàn)卡互聯(lián)的計(jì)算機(jī)，就是為處理共享數(shù)據(jù)而生的，實(shí)現(xiàn)了智能的并行。當(dāng)然，智能的并行（數(shù)據(jù)、管道、張量）也存在技術(shù)難度，如何優(yōu)化卡間通信，實(shí)現(xiàn)信息對(duì)齊？

黃仁勛解釋其中的難題在于延遲，通信模式的特點(diǎn)是高度突發(fā)性的流量，重要的不是平均吞吐量，而是最后一個(gè)到達(dá)的數(shù)據(jù)，因?yàn)槿绻阏趶乃腥四抢锸占糠纸Y(jié)果，并且我試圖接收你所有的部分結(jié)果，如果最后一個(gè)數(shù)據(jù)包到晚了，那么整個(gè)操作就會(huì)延遲（木桶原理）。

總之，AI可以一起工作，一個(gè)AI會(huì)，就是所有AI會(huì)，從而實(shí)現(xiàn)更大的智能程度。但是人類不能，三個(gè)臭皮匠也無(wú)法抵得上一個(gè)諸葛亮，某種程度三百個(gè)也不行。

大模型的下一步是物理世界

現(xiàn)在的大語(yǔ)言模型，一定不是AGI的終點(diǎn)。我們可以做一個(gè)“第一性原理”思考，真實(shí)世界有兩個(gè)部分組成，一個(gè)是頭腦世界，基于無(wú)形的信息；一個(gè)物理世界，基于有型的實(shí)體。

現(xiàn)在的LLM，只是在頭腦信息層面運(yùn)行，沒(méi)有觸及實(shí)體世界。AI（特別是生成式AI）和實(shí)體世界的接觸，還需要人作為界面，只要這一點(diǎn)沒(méi)有改觀，AI就很難說(shuō)是完全體（這也是Meta首席人工智能科學(xué)家楊立昆Yann LeCun抨擊語(yǔ)言模型路線的原因，斯坦福大學(xué)教授李飛飛也認(rèn)為語(yǔ)言模型多少參數(shù)都無(wú)法突破這一本質(zhì)）。

黃仁勛的解決方法是物理人工智能，“物理人工智能正引領(lǐng)人工智能領(lǐng)域的新浪潮，它們深諳物理定律，并能自如地融入我們的日常生活。為此，物理人工智能不僅需要構(gòu)建一個(gè)精準(zhǔn)的世界模型，以理解如何解讀和感知周圍世界，更需具備卓越的認(rèn)知能力，以深刻理解我們的需求并高效執(zhí)行任務(wù)”。

而對(duì)于物理智能而言，一個(gè)很重要的智能載體，可能是人形機(jī)器人。黃仁勛在今年NVIDIA GTC大會(huì)和Computex上的演講，都以人形機(jī)器人亮相為結(jié)尾。當(dāng)然，這其中也存在重要的商業(yè)機(jī)會(huì)，“與其他類型的機(jī)器人相比，訓(xùn)練人形機(jī)器人需要大量的數(shù)據(jù)。由于我們擁有相似的體型，通過(guò)演示和視頻能力提供的大量訓(xùn)練數(shù)據(jù)將極具價(jià)值”。

判別式AI時(shí)代，重頭戲是視覺(jué)；生成式AI時(shí)代，重頭戲是語(yǔ)言；AGI時(shí)代，或許是兩者兼有（最終像圣斗士一樣實(shí)現(xiàn)阿賴耶識(shí)，突破超越人類的既有感知）。