7月7日,燧原科技在上海發(fā)布一系列新品,包括第二代人工智能訓(xùn)練產(chǎn)品——“邃思2.0”芯片、基于邃思2.0的“云燧T20”訓(xùn)練加速卡和“云燧T21”訓(xùn)練OAM模組,全面升級(jí)的“馭算TopsRider”軟件平臺(tái)以及全新的“云燧集群”,成為國內(nèi)首家發(fā)布第二代人工智能訓(xùn)練產(chǎn)品組合的公司。
燧原科技第二代通用人工智能訓(xùn)練芯片“邃思2.0”
從2018年3月成立,到2019年12月推出第一款云端訓(xùn)練芯片“邃思”和第一代訓(xùn)練加速卡“云燧T10”,再到如今的“邃思2.0”和“云燧T20”——燧原科技完成對(duì)AI訓(xùn)練芯片的二次迭代,僅用了三年時(shí)間。
“路雖遠(yuǎn)行則將至,事雖難不做不成”,燧原科技CEO趙立東在現(xiàn)場(chǎng),用這14個(gè)字總結(jié)心路歷程。在他看來,這是一個(gè)AI算力爆炸的時(shí)代,過去五年,每3.5個(gè)月,AI算力加倍,換算成一年就是10倍,而目前AI算力生態(tài)鏈被壟斷。而燧原希望與合作伙伴打破這種壟斷,構(gòu)建一個(gè)沒有依賴的自主生態(tài)。
究竟如何做生態(tài)?燧原提出“燎原”計(jì)劃,以人工智能為起點(diǎn),構(gòu)建通用異構(gòu)計(jì)算生態(tài),構(gòu)建標(biāo)準(zhǔn)化的技術(shù)體系,共建完整的開發(fā)者生態(tài)、產(chǎn)業(yè)生態(tài)、科研生態(tài),服務(wù)數(shù)字中國。該計(jì)劃有三個(gè)特征:原始創(chuàng)新、標(biāo)準(zhǔn)化、開放姿態(tài)共建生態(tài)。
“第二代人工智能訓(xùn)練產(chǎn)品的發(fā)布,是燧原科技開發(fā)原始創(chuàng)新的算力產(chǎn)品和構(gòu)建自主生態(tài)又一重要的里程碑。通過芯片架構(gòu)和軟件平臺(tái)的升級(jí)迭代,提升產(chǎn)品競(jìng)爭(zhēng)力,滿足市場(chǎng)需求,從而加速產(chǎn)品商業(yè)化的步伐。”趙立東指出,“在復(fù)雜的國際大環(huán)境下,原始創(chuàng)新和自主生態(tài)成為發(fā)展趨勢(shì),這也是燧原科技自創(chuàng)立以來始終堅(jiān)持的戰(zhàn)略選擇,是支撐技術(shù)和業(yè)務(wù)長(zhǎng)遠(yuǎn)發(fā)展,不斷拉近與世界先進(jìn)水平的距離,并在市場(chǎng)競(jìng)爭(zhēng)中取得主動(dòng)的基礎(chǔ)。面向泛互聯(lián)網(wǎng)、傳統(tǒng)行業(yè)(金融、交通、電力、醫(yī)療、工業(yè)等)以及新基建三大業(yè)務(wù)方向,燧原科技正以全新、更具競(jìng)爭(zhēng)力的產(chǎn)品,服務(wù)市場(chǎng)和客戶。”
談到新產(chǎn)品,燧原科技COO張亞林現(xiàn)場(chǎng)介紹:“邃思2.0大幅提升了算力指標(biāo),升級(jí)后的馭算軟件平臺(tái)更加便捷易用和客戶友好,燧原科技也可針對(duì)客戶的場(chǎng)景和業(yè)務(wù)模型提供軟件定制化服務(wù)和優(yōu)化,打造差異化解決方案。此外,基于云燧T20和T21訓(xùn)練產(chǎn)品、GCU-LARE互聯(lián)技術(shù)和新一代馭算,燧原科技可以打造超大規(guī)模的集群產(chǎn)品CloudBlazer Matrix,有效降低人工智能超算集群的整體復(fù)雜度和成本,同時(shí)通過與合作伙伴的聯(lián)合開發(fā),一起構(gòu)建超大規(guī)模的液冷智能數(shù)據(jù)中心,以響應(yīng)國家‘低碳算力’和‘綠色一體化智能計(jì)算’的戰(zhàn)略方向。”
燧原科技CEO趙立東(左)與 燧原科技COO張亞林(右)共同發(fā)布“云燧T20”訓(xùn)練加速卡和“邃思2.0”芯片
據(jù)悉,邃思2.0的計(jì)算能力、存儲(chǔ)和帶寬、互聯(lián)能力較第一代訓(xùn)練產(chǎn)品有巨大提升,對(duì)超大規(guī)模的模型支持能力獲得顯著增強(qiáng)。而同步升級(jí)的馭算TopsRider軟件平臺(tái),成為燧原科技構(gòu)建原始創(chuàng)新軟件生態(tài)的基石。完全自研的軟硬件架構(gòu),助力燧原科技在知識(shí)產(chǎn)權(quán)和產(chǎn)品升級(jí)迭代上可以自主掌控方向和節(jié)奏。
燧原科技第二代通用人工智能訓(xùn)練加速卡“云燧T20”
燧原科技第二代通用人工智能訓(xùn)練模組“云燧T21”
四大核心升級(jí) 打造全新產(chǎn)品矩陣與智算集群
架構(gòu)升級(jí)實(shí)現(xiàn)算力飛躍:邃思2.0進(jìn)行了大規(guī)模的架構(gòu)升級(jí),新一代全自研的GCU-CARA全域計(jì)算架構(gòu),針對(duì)人工智能計(jì)算的特性進(jìn)行深度優(yōu)化,夯實(shí)了支持通用異構(gòu)計(jì)算的基礎(chǔ);支持全面的計(jì)算精度,涵蓋從FP32、TF32、FP16、BF16到INT8,并成為中國首款支持單精度張量TF32數(shù)據(jù)精度的人工智能芯片。單精度FP32峰值算力達(dá)到40 TFLOPS,單精度張量TF32峰值算力達(dá)到160 TFLOPS,均為國內(nèi)第一。
HBM2E存儲(chǔ)帶來海量吞吐:邃思2.0共搭載了4顆HBM2E片上存儲(chǔ)芯片,高配支持64 GB內(nèi)存,帶寬達(dá)1.8 TB/s,是中國第一個(gè)支持世界最先進(jìn)存儲(chǔ)HBM2E和單芯片64 GB內(nèi)存的產(chǎn)品。
高速互聯(lián)支撐算力擴(kuò)展:GCU-LARE全域互聯(lián)技術(shù)是燧原專為人工智能訓(xùn)練集群研發(fā)的互聯(lián)技術(shù),提供雙向300 GB/s互聯(lián)帶寬,支持?jǐn)?shù)千張?jiān)旗軨loudBlazer加速卡互聯(lián),實(shí)現(xiàn)優(yōu)異的線性加速比。
全新軟件駕馭澎湃算力:馭算TopsRider是燧原科技自主知識(shí)產(chǎn)權(quán)的計(jì)算及編程平臺(tái),通過軟硬件協(xié)同架構(gòu)設(shè)計(jì),充分發(fā)揮邃思2.0的性能;基于算子泛化技術(shù)及圖優(yōu)化策略,支持主流深度學(xué)習(xí)框架下的各類模型訓(xùn)練;利用Horovod分布式訓(xùn)練框架與GCU-LARE互聯(lián)技術(shù)相互配合,為超大規(guī)模集群的高效運(yùn)行提供解決方案。開放升級(jí)的編程模型和可擴(kuò)展的算子接口,為客戶模型的優(yōu)化提供了自定義的開發(fā)能力。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。