對(duì)于人工智能應(yīng)用程序的興奮情緒,讓已經(jīng)24歲的英偉達(dá)成為科技界最熱門(mén)的企業(yè)之一,股價(jià)直線飆升,過(guò)去兩年內(nèi)漲幅超過(guò)七倍,達(dá)到1000億美元,最近一個(gè)季度的收入暴增了56%。
勢(shì)如破竹的背后,你或許會(huì)好奇,曾經(jīng)一個(gè)只是負(fù)責(zé)在屏幕上繪制圖像的“圖形處理單元”,如今為何能夠肩負(fù)起解決復(fù)雜計(jì)算問(wèn)題的重任?GPU全面崛起,英偉達(dá)的答案很明確,一個(gè)有“強(qiáng)迫癥”的老板和十多年前的一次關(guān)鍵押注。
這家強(qiáng)勢(shì)增長(zhǎng)的公司背后的掌舵者是創(chuàng)始人兼CEO黃仁勛(Jen-Hsun Huang)。他擁有敏銳的戰(zhàn)略直覺(jué),個(gè)性出了名的嚴(yán)苛,常常穿深色的衣服,因此有人拿他來(lái)跟蘋(píng)果已故CEO史蒂夫·喬布斯(Steve Jobs)比較。(跟喬布斯一樣,黃仁勛也提出給公司打造富有吸引力的新總部大樓。該公司不久之后便將進(jìn)駐新總部)
黃仁勛今年已經(jīng)54歲,總是一身全黑,還經(jīng)常披件皮外套,在辦公室里走路風(fēng)風(fēng)火火,員工一般很難跟上他的步伐。他出生在臺(tái)灣,從小和家人一起生活在美國(guó)。青少年時(shí)期他特別喜歡打乒乓球,后來(lái)還成了當(dāng)?shù)芈劽捻敿饪旃デ騿T。Paddle Palace乒乓球公司的CEO也說(shuō),“他行動(dòng)敏捷,打球流暢且有力量,要不是從商了,本來(lái)或許可以成為全國(guó)頂尖的乒乓球運(yùn)動(dòng)員。”
從斯坦福畢業(yè)后,第二年他就開(kāi)始學(xué)習(xí)電子工程專(zhuān)業(yè)知識(shí),與前Sun Microsystems工程師Chris Malachowsky和Curtis Priem共同創(chuàng)建了顯卡制造公司英偉達(dá)。
不久,英偉達(dá)迅速在市場(chǎng)上辟出了一席之地。經(jīng)過(guò)與47家顯卡生產(chǎn)商的激烈爭(zhēng)奪后于1999年上市,而其他公司要不就是被收購(gòu)了,要不就是倒閉了,只留下AMD還在和英偉達(dá)兩強(qiáng)相爭(zhēng)。
為了存活下來(lái),黃仁勛告誡員工必須保持專(zhuān)注。他總是說(shuō)如果不努力,公司可能一個(gè)月內(nèi)就會(huì)破產(chǎn),這讓每個(gè)員工都感受到了壓迫和緊張感。
黃仁勛的競(jìng)爭(zhēng)“強(qiáng)迫癥”還反映在他總是向員工宣布好消息上。1997年的一次全體大會(huì)上,他向全體員工宣布英偉達(dá)銀行留存資金100萬(wàn)美元左右。同時(shí),公司已經(jīng)將芯片RIVA 128投入量產(chǎn)。這種消息總是搞得員工的心情十分忐忑。接著他從自己口袋里拿出一張紙,向大家解釋這是STB系統(tǒng)下的3000萬(wàn)美元顯卡訂單。那是英偉達(dá)第一次接到這么大筆單子,也標(biāo)志著英偉達(dá)顯卡芯片已經(jīng)成功打開(kāi)了HP和DELL這類(lèi)計(jì)算機(jī)制造商的市場(chǎng),當(dāng)時(shí)公司上下一片歡呼。
1998年,英偉達(dá)首次補(bǔ)上了季度利潤(rùn)不足,當(dāng)時(shí)黃仁勛還在辦公室給70個(gè)員工每人都發(fā)了一張1美元鈔票慶祝。
黃仁勛的“強(qiáng)迫癥”還是非常有效的。上市前后,英偉達(dá)經(jīng)過(guò)了多次“瀕死”體驗(yàn)。每次將芯片發(fā)給計(jì)算機(jī)制造商,員工總是面臨不立即行動(dòng)會(huì)死人的截止期限。有時(shí)在臺(tái)灣生產(chǎn)的芯片被檢測(cè)出來(lái)有問(wèn)題,寧愿損失一大筆錢(qián)也要全部回收殘次品。
黃仁勛的危機(jī)管理能力為他贏得了員工的敬重。1998年,英特爾推出了一款與英偉達(dá)競(jìng)爭(zhēng)的顯卡,黃仁勛組織了一系列全體會(huì)議,指示員工寫(xiě)出能提高玩游戲時(shí)的顯卡性能的軟件。后來(lái)還是保住了競(jìng)爭(zhēng)優(yōu)勢(shì)。英特爾制造的威脅在英偉達(dá)看來(lái)其實(shí)從未實(shí)現(xiàn)。
同年,Silicon Graphics起訴英偉達(dá)專(zhuān)利侵權(quán)。黃仁勛再次迅速掌控了有利局勢(shì),兩家公司最終同意授權(quán)對(duì)方專(zhuān)利。SGI后來(lái)還讓英偉達(dá)成為了自家計(jì)算機(jī)系統(tǒng)顯卡芯片的優(yōu)先選擇。黃仁勛的努力也幫助英偉達(dá)在首輪融資中吸引了眾多潛在投資者。
黃仁勛已經(jīng)證明了他的“能屈能伸”。公司創(chuàng)建以來(lái)的24年時(shí)間里,英偉達(dá)數(shù)次面臨生存困境,包括新芯片出問(wèn)題,和競(jìng)爭(zhēng)對(duì)手打官司等,黃仁勛都帶領(lǐng)員工渡過(guò)了危機(jī)。
多年來(lái),為了讓英偉達(dá)拓展新的市場(chǎng)領(lǐng)域,黃仁勛一直都會(huì)事先做好風(fēng)險(xiǎn)預(yù)估工作。就在10多年前,他下了一次關(guān)鍵性的賭注:押注一系列的改動(dòng)和軟件開(kāi)發(fā),來(lái)使得GPU能夠處理在電腦屏幕上繪畫(huà)以外的、更為復(fù)雜的任務(wù)。
然而,“此舉給公司帶來(lái)了極大的成本壓力。”黃仁勛說(shuō)。他估計(jì),該名為CUDA(統(tǒng)一計(jì)算設(shè)備架構(gòu))的項(xiàng)目每年需要花費(fèi)5億美元,而當(dāng)時(shí)公司的總營(yíng)收規(guī)模在30億美元左右。自從CUDA推出以來(lái),英偉達(dá)所有的支出都圍繞著將GPU轉(zhuǎn)化為更為通用計(jì)算工具,總額接近100億美元。
如此執(zhí)拗的霸道總裁真懷疑他是“處女座”。不過(guò),CUDA取得今天所有成績(jī),除了黃仁勛的堅(jiān)持,還有一個(gè)人功不可沒(méi),他就是伊恩·布克(Ian Buck),現(xiàn)任英偉達(dá) GPU 計(jì)算軟件總經(jīng)理。
Ian Buck于2004年加盟英偉達(dá)并創(chuàng)造了CUDA
Ian Buck對(duì)于GPU計(jì)算的研究最早起始于2000年。當(dāng)時(shí),Buck及其在斯坦福大學(xué)的一個(gè)小團(tuán)隊(duì)敏銳觀察到了圖形處理器在性能方面的優(yōu)勢(shì)和發(fā)展趨勢(shì)。他表示,將GPU用于通用計(jì)算的想法是從GPU支持可編程開(kāi)始的。
在最初幾年,他們遇到了非常大的困難。盡管初步試驗(yàn)可以證實(shí)GPU用于通用計(jì)算的巨大潛力,推廣這個(gè)想法卻十分不易。 終于在2003年,由Ian Buck領(lǐng)導(dǎo)的研究團(tuán)隊(duì)發(fā)布了Brook,這是第一個(gè)廣泛采用的使用數(shù)據(jù)并行架構(gòu)擴(kuò)展C的編程模型。同時(shí),Brook也是 GPU 通用計(jì)算方面先驅(qū)項(xiàng)目。
2004年,斯坦福大學(xué)博士生Ian Buck進(jìn)入英偉達(dá)實(shí)習(xí),開(kāi)始集合相關(guān)的硬件和軟件工程師創(chuàng)造GPGPU模型,這是CUDA研發(fā)的開(kāi)端。當(dāng)時(shí),Buck曾參與一項(xiàng)涉及簡(jiǎn)化利用GPU的眾多計(jì)算引擎過(guò)程的編程挑戰(zhàn)賽。
不久后,英偉達(dá)便對(duì)它的芯片作出改動(dòng),開(kāi)發(fā)出軟件輔助工具,其中包括支持標(biāo)準(zhǔn)的編程語(yǔ)言,而非用于向圖形芯片發(fā)出指令的神秘工具。在Ian Buck率領(lǐng)下,于2006年正式推出——CUDA,這是全球首款GPU上的通用計(jì)算解決方案。
CUDA是由英偉達(dá)開(kāi)發(fā)的用于圖形處理單元(GPU)上的通用計(jì)算的并行計(jì)算平臺(tái)和編程模型。利用CUDA,開(kāi)發(fā)人員可以通過(guò)利用GPU的功能大大加快計(jì)算應(yīng)用。事實(shí)上,在英偉達(dá)內(nèi)部,CUDA是作為所有GPU系列的通用平臺(tái)。
在GPU加速的應(yīng)用程序中,工作負(fù)載的順序部分在CPU上運(yùn)行,針對(duì)單線程性能進(jìn)行了優(yōu)化,而應(yīng)用程序的計(jì)算密集型部分則并行運(yùn)行在數(shù)千個(gè)GPU內(nèi)核上。使用CUDA時(shí),開(kāi)發(fā)人員使用C,C ++,F(xiàn)ortran,Python和MATLAB等流行語(yǔ)言進(jìn)行程序設(shè)計(jì),并以幾個(gè)基本關(guān)鍵字的形式通過(guò)擴(kuò)展表達(dá)并行性。CUDA工具包包括GPU加速庫(kù),編譯器,開(kāi)發(fā)工具和CUDA運(yùn)行時(shí)。
CUDA的核心設(shè)計(jì)理念就是計(jì)算機(jī)中的線程。與傳統(tǒng)CPU中的4、8和16個(gè)線程不同,GPU中的線程可以多達(dá)幾萬(wàn)個(gè)。
Buck表示,看起來(lái)這些線程的管理是一件十分復(fù)雜的事情。但實(shí)際上,編程人員主要的困難在于如何發(fā)揮這些線程的優(yōu)勢(shì),而不是管理這些線程。早期,CUDA的性能主要依賴(lài)編程人員人工發(fā)現(xiàn)代碼中可并行計(jì)算的部分。
目前,隨著CUDA庫(kù)的發(fā)展,這方面的工作開(kāi)始越來(lái)越自動(dòng)化。CUDA團(tuán)隊(duì)已經(jīng)開(kāi)發(fā)了很多石油、天然氣和國(guó)防等相關(guān)產(chǎn)業(yè)所使用的科學(xué)計(jì)算方面的庫(kù)。最終,2012年發(fā)布的Titan超級(jí)計(jì)算機(jī)使用了18688個(gè)英偉達(dá)Tesla K20 GPU作為協(xié)處理器,標(biāo)志著GPGPU在高性能計(jì)算方面的成功推廣和應(yīng)用。從2011年開(kāi)始,Top 500的超級(jí)計(jì)算機(jī)中至少有50臺(tái)會(huì)使用GPU進(jìn)行加速。而這些機(jī)器基本上也都出現(xiàn)在Green 500(全球節(jié)能超級(jí)計(jì)算機(jī)榜單)的列表中。
CUDA開(kāi)始受到越來(lái)越多的關(guān)注,CUDA的應(yīng)用也“百花齊放”。但Buck表示,其中最讓其影響深刻的就是,乳腺癌檢測(cè)和診斷的系統(tǒng)。與傳統(tǒng)方法相比,采用支持CUDA編程的Tesla GPU后,醫(yī)生能夠更早、更精確地發(fā)現(xiàn)乳腺癌。而美國(guó)國(guó)家癌癥研究所數(shù)據(jù)顯示,基于CUDA的系統(tǒng)在運(yùn)行蛋白質(zhì)配體運(yùn)算(用于研發(fā)治療癌癥和老年癡呆癥的新藥)時(shí)只需要原來(lái)1/12的時(shí)間。
英偉達(dá)的新圖形芯片Volta,據(jù)估計(jì)開(kāi)發(fā)成本高達(dá)30億美元
Buck還介紹說(shuō),他之前和來(lái)自很多工業(yè)界的人士交流發(fā)現(xiàn),他們寧愿犧牲性能,也不愿接受一門(mén)新的語(yǔ)言。為了能夠給相關(guān)編程人員提供很好的入門(mén)體驗(yàn),從而便于CUDA的推廣,CUDA采用了已經(jīng)流行的C語(yǔ)言作為基礎(chǔ)。
這樣,編程人員就不需要去學(xué)習(xí)特定的顯示芯片的指令或是特殊的結(jié)構(gòu),即可編寫(xiě)GPU上運(yùn)行的程序,這毫無(wú)疑問(wèn)促進(jìn)了CUDA在程序員之間的流行。
此外,英偉達(dá)當(dāng)年做出的一個(gè)決定也極為關(guān)鍵?,F(xiàn)在已是負(fù)責(zé)針對(duì) GPU 計(jì)算的所有工程、第三方支持以及開(kāi)發(fā)者營(yíng)銷(xiāo)活動(dòng)的 lan Buck 回憶說(shuō),英偉達(dá)讓自家消費(fèi)級(jí)GPU和高端產(chǎn)品都支持CUDA。這就意味著只要研究人員、學(xué)生有筆記本電腦或者臺(tái)式機(jī),就能在學(xué)校實(shí)驗(yàn)室和宿舍里開(kāi)發(fā)軟件。
英偉達(dá)還說(shuō)服了許多大學(xué)開(kāi)設(shè)課程,教學(xué)生用他們公司的最新編程技術(shù)。程序員們逐漸把GPU應(yīng)用于氣候建模、勘探石油和天然氣等很多領(lǐng)域。
Buck表示,CUDA在超級(jí)計(jì)算領(lǐng)域的成功應(yīng)用也迎來(lái)了很好的使用反饋。目前,Buck在英偉達(dá)的團(tuán)隊(duì)就根據(jù)用戶(hù)反饋開(kāi)始探索GPU內(nèi)存的管理方式。CUDA6就推出了一個(gè)新的軟件內(nèi)存管理特性,支持?jǐn)?shù)據(jù)在CPU內(nèi)存和GPU內(nèi)存之間的自動(dòng)轉(zhuǎn)移。計(jì)劃于2016年面世的英偉達(dá) Pascal GPU 架構(gòu)則將配備 NVLink,使 GPU 和 CPU 之間的數(shù)據(jù)傳輸速度較現(xiàn)有的 PCI-Express 標(biāo)準(zhǔn)加快5至12倍。
此外,為了進(jìn)一步減少編程工作,Cray、PGI以及英偉達(dá)等領(lǐng)先的HPC供應(yīng)商在2011年推出了OpenACC編程標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)定義了一組標(biāo)準(zhǔn)化的、高層次的代碼注釋?zhuān)笴/C++和Fortran編程人員可以利用GPU加速代碼運(yùn)行。英偉達(dá)在2015年7月更是發(fā)布了全新OpenACC免費(fèi)工具套件,讓相關(guān)研究人員能夠更多的關(guān)注科學(xué)本身。Buck也一再?gòu)?qiáng)調(diào),OpenACC的初衷就是讓用戶(hù)“首先是個(gè)科學(xué)家,然后才是一個(gè)程序員”。
英偉達(dá)花了好幾年才讓CUDA牽住了客戶(hù),不過(guò)CUDA也幫英偉達(dá)在高性能運(yùn)算市場(chǎng)索回了相應(yīng)的回報(bào)。2012年,CUDA和GPU與深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)合在一起,震驚了學(xué)術(shù)界。 當(dāng)時(shí),加拿大多倫多大學(xué)的Geoffrey Hinton帶著兩個(gè)學(xué)生,用GPU訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)拿下了ImageNet圖像識(shí)別大賽的冠軍。
Buck表示,在此之前,要通過(guò)程序員制定的規(guī)則訓(xùn)練系統(tǒng)在數(shù)百萬(wàn)圖像中識(shí)別出一張面孔,需要耗費(fèi)整整一個(gè)學(xué)期,而通過(guò)GPU,研究人員在短短幾周、幾天甚至幾個(gè)小時(shí)之內(nèi)就能完成訓(xùn)練過(guò)程。
這一幕,在不久前的GTC CHINA 2017大會(huì)上,黃仁勛便用 TensorRT (一款適用于CUDA GPU的優(yōu)化神經(jīng)網(wǎng)絡(luò)編譯器 )進(jìn)行了演示,搭配 Tesla V100 GPU 加速器的 TensorRT 每秒能夠識(shí)別多達(dá) 5700 張圖片,而如今所用的 CPU 則每秒僅能識(shí)別 140 張圖片。
企業(yè)數(shù)據(jù)中心是黃仁勛慧眼預(yù)見(jiàn)到的另一CUDA應(yīng)用領(lǐng)域。 目前,Tesla V100 AI 平臺(tái)目前已經(jīng)被諸多包括BAT、華為、浪潮、聯(lián)想在內(nèi)的中國(guó)領(lǐng)軍IT企業(yè)采用,用以升級(jí)自身數(shù)據(jù)中心與云服務(wù)基礎(chǔ)設(shè)施。
不過(guò),黃仁勛下的賭注也不是次次都能獲得回報(bào)。Tegra芯片本來(lái)是為智能手機(jī)和平板電腦研發(fā),但在這兩個(gè)市場(chǎng)并未奏效,后來(lái)只能轉(zhuǎn)移戰(zhàn)略目標(biāo)。
現(xiàn)在,這位霸道總裁又將目光轉(zhuǎn)向了汽車(chē)制造行業(yè)。
好文章,需要你的鼓勵(lì)
這項(xiàng)研究提出了"高效探測(cè)"方法,解決了掩碼圖像建模AI難以有效評(píng)估的問(wèn)題。通過(guò)創(chuàng)新的多查詢(xún)交叉注意力機(jī)制,該方法在減少90%參數(shù)的同時(shí)實(shí)現(xiàn)10倍速度提升,在七個(gè)基準(zhǔn)測(cè)試中均超越傳統(tǒng)方法。研究還發(fā)現(xiàn)注意力質(zhì)量與分類(lèi)性能的強(qiáng)相關(guān)性,生成可解釋的注意力圖譜,展現(xiàn)出優(yōu)異的跨域適應(yīng)性。團(tuán)隊(duì)承諾開(kāi)源全部代碼,推動(dòng)技術(shù)普及應(yīng)用。
伊利諾伊大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)了CLAIMSPECT系統(tǒng),通過(guò)層次化分解復(fù)雜爭(zhēng)議、智能檢索相關(guān)文獻(xiàn)、多角度收集觀點(diǎn)的方法,將傳統(tǒng)的"真假"判斷轉(zhuǎn)變?yōu)槎嗑S度分析。該系統(tǒng)能夠自動(dòng)構(gòu)建爭(zhēng)議話題的分析框架,識(shí)別不同觀點(diǎn)及其支撐證據(jù),為科學(xué)和政治爭(zhēng)議提供更全面客觀的分析,已在生物醫(yī)學(xué)和國(guó)際關(guān)系領(lǐng)域驗(yàn)證有效性。
清華大學(xué)研究團(tuán)隊(duì)首次提出情感認(rèn)知融合網(wǎng)絡(luò)(ECFN),讓AI能像人類(lèi)一樣理解和表達(dá)情感。該系統(tǒng)通過(guò)多層次情感處理架構(gòu),在情感識(shí)別準(zhǔn)確率上比現(xiàn)有最佳系統(tǒng)提升32%,情感表達(dá)自然度提升45%。研究突破了傳統(tǒng)AI情感理解的局限,實(shí)現(xiàn)了跨模態(tài)情感融合、動(dòng)態(tài)情感追蹤和個(gè)性化情感建模,為醫(yī)療、教育、客服等領(lǐng)域帶來(lái)革命性應(yīng)用前景。
哈佛大學(xué)研究團(tuán)隊(duì)通過(guò)創(chuàng)新的多智能體強(qiáng)化學(xué)習(xí)方法,讓AI在戰(zhàn)略游戲中學(xué)會(huì)復(fù)雜推理。研究發(fā)現(xiàn)AI通過(guò)游戲競(jìng)爭(zhēng)能發(fā)展出類(lèi)人思維能力,在邏輯推理、創(chuàng)造性解決問(wèn)題等方面表現(xiàn)顯著提升。這項(xiàng)突破性成果為未來(lái)AI在醫(yī)療、教育、城市管理等領(lǐng)域的應(yīng)用奠定基礎(chǔ),展現(xiàn)了通過(guò)模擬人類(lèi)學(xué)習(xí)過(guò)程培養(yǎng)真正智能AI的新路徑。