在雷軍透露下一代小米旗艦手機(jī)將會(huì)基于驍龍845平臺(tái)的20個(gè)小時(shí)后,高通的驍龍845平臺(tái)的技術(shù)細(xì)節(jié)得到了完整的公布。作為按規(guī)劃升級(jí)的產(chǎn)品,每一代自然會(huì)比上一代有各種性能、功能的進(jìn)步和提升,在人工智能已經(jīng)成為全球范圍內(nèi)科技領(lǐng)域最熱門話題的情況下,人工智能方面的特性也是這次高通第二屆驍龍技術(shù)峰會(huì)媒體關(guān)注的焦點(diǎn)。
高通QCT部門產(chǎn)品管理總監(jiān)Gary Brotman在演講中有一句直截了當(dāng)?shù)拇鸢福候旪?45上承載的是高通的第三代AI平臺(tái),比上一代產(chǎn)品的AI性能快了3倍。這句話里有兩個(gè)3值得注意,一個(gè)是快了3倍,另一個(gè)是第3代。所以后續(xù)有記者專門問道了這個(gè)問題,為什么高通驍龍的AI做到第3代,以前竟然沒關(guān)注過,或者大規(guī)模宣傳過。高通的答案是人工智能的應(yīng)用之前成熟度相對(duì)不高。但其實(shí)更值得注意的是,驍龍的AI不是全新的特性,而是升級(jí)到第三代的技術(shù),這能證明一件事,高通做AI不是迎合風(fēng)口,而是自身技術(shù)保持了具有前瞻性的技術(shù)積累。包括AI在內(nèi),如果想描述驍龍845的整體表現(xiàn),大致可以分為這四個(gè)方面:
而實(shí)現(xiàn)這些新特性的技術(shù)驅(qū)動(dòng)力則來源驍龍845上的計(jì)算、存儲(chǔ)、連接以及特定功能單元,下邊這張圖是這些單元的完整呈現(xiàn),包括X20 LTE modem、Adreno 630 視覺處理系統(tǒng)、Wi-Fi、Hexagon 685 DSP、Spectra 280 ISP、Aqstic Audio、Kryo 385 CPU、系統(tǒng)內(nèi)存和新的安全處理單元Secure Processing Unit等。
接下來分別講述一下這四個(gè)方面的具體性能提升和功能改進(jìn)。
根據(jù)高通的官方說法,通過驍龍845集成的Qualcomm Spectra™ 280 ISP和Qualcomm® Adreno™ 630視覺處理子系統(tǒng)。驍龍845移動(dòng)平臺(tái)將使消費(fèi)者能夠拍攝出電影級(jí)別的視頻,并打破現(xiàn)實(shí)與虛擬世界的界限。
這里值得關(guān)注的是兩方面,一個(gè)是色彩,一個(gè)XR(即VR/AR和MR)。
畫面的色彩表現(xiàn),主要由色深、色域和亮度決定。大家可以看這張圖,可以比較好的呈現(xiàn)845和上一代835的提升,其中內(nèi)部較小的多面體是835能夠達(dá)到的水準(zhǔn)(即Rec.709 SDR,是目前國際高清電視的標(biāo)準(zhǔn)),而外部的大多面體是驍龍845能夠達(dá)到的水準(zhǔn)Rec.2020廣色域,大家可以很直觀的看出色彩方面的數(shù)量變化,新平臺(tái)可以捕捉64倍的高動(dòng)態(tài)范圍色彩信息,支持在Ultra HD Premium顯示屏上的視頻拍攝與播放,并支持超過10億種色調(diào)的10位色深。
在XR方面,通過Adreno 630視覺處理子系統(tǒng)架構(gòu)則提升了驍龍845的XR表現(xiàn),讓驍龍845成為首款支持室內(nèi)空間定位(room-scale)六自由度(6DoF)和即時(shí)定位與地圖構(gòu)建(SLAM)的移動(dòng)平臺(tái),從而實(shí)現(xiàn)諸如避免墻壁碰撞等特性。
此外,與前代產(chǎn)品相比,驍龍845所引入的“Adreno視覺聚焦”可以顯著降低功耗,提升視覺質(zhì)量,并增強(qiáng)XR應(yīng)用性能。這里多說一句,我們?nèi)搜墼谟^察物體的時(shí)候,視覺中心比較清晰,而邊緣比較模糊,Adreno就是類似的技術(shù)邏輯,通過讓畫面聚焦視覺中心,優(yōu)先渲染,優(yōu)化功效輸出。
綜合而言,根據(jù)高通提供的數(shù)字,在視覺方面,驍龍845做到了30%的圖形處理速度提升,30%的能效提升,和2.5倍的現(xiàn)實(shí)接口數(shù)據(jù)吞吐帶寬的增加。
在人工智能方面,我們?cè)陂_始時(shí)提到,驍龍845承載的第三代AI移動(dòng)平臺(tái)。與前代系統(tǒng)級(jí)芯片(SoC)相比,驍龍845帶來了近三倍的AI整體性能提升。其他的變化還包括:
在開發(fā)方面,由于現(xiàn)在基于人工智能的應(yīng)用開發(fā)普遍是在各種人工智能框架上實(shí)現(xiàn)的,所以支持盡可能多的主流框架是AI平臺(tái)的重要指標(biāo)。驍龍神經(jīng)處理引擎(SNPE)SDK除了已支持Google TensorFlow和Facebook Caffe / Caffe2框架之外,現(xiàn)在還支持Tensorflow Lite和新的ONNX,以及Caffe2、CNTK和MxNet和Google Android NN API。這說明高通在AI生態(tài)上所建立的廣泛資源和開放態(tài)度,值得留意的是,在高通提供的AI生態(tài)圖中,包括多家中國公司,如百度和高通投資的商湯科技。
現(xiàn)在人工智能主要分為云智能和端智能兩方面。高通認(rèn)為,由于手機(jī)是和用戶隱私相關(guān)性極高的產(chǎn)品,所以端智能尤為重要,讓數(shù)據(jù)在端上處理,來向用戶交付智能服務(wù)。在今天的演示環(huán)節(jié)當(dāng)中,高通也展示了這方面的能力,下圖中,手機(jī)可以實(shí)時(shí)將所拍攝的畫面,轉(zhuǎn)化為不同的藝術(shù)作品風(fēng)格。
其他方面AI的進(jìn)步,還包括驍龍845 通過Qualcomm Aqstic音頻編解碼器(WCD9341)以低功率音頻子系統(tǒng),實(shí)現(xiàn)增強(qiáng)的始終開啟關(guān)鍵詞檢測(cè)和超低功耗語音處理,優(yōu)化語音驅(qū)動(dòng)的智能助手,從而使用戶能全天隨時(shí)通過語音與終端進(jìn)行交互,在一個(gè)演示中,基于高通技術(shù)的智能音箱可以在嘈雜的環(huán)境中,識(shí)別出主人的聲音,并做出實(shí)時(shí)反應(yīng)(在下圖中,大家可以感受一下距離,最遠(yuǎn)處擺桌子上就是智能印象,近景的灰衣服人為控制人)。
還需要說明的一點(diǎn)是,高通認(rèn)為智能的來源不應(yīng)該是單獨(dú)的單元,而應(yīng)該根據(jù)任務(wù)的不同,由不同的單元來處理,比如GPU,DSP或者視覺處理子系統(tǒng),驍龍845 AI方面涉及的處理單元見下圖。
和人工智能一樣,高通認(rèn)為這次安全是分層次的,不同的事件應(yīng)該由不同的安全機(jī)制保證。而驍龍845在安全方面的一個(gè)特別舉動(dòng),是引入了硬件隔離子系統(tǒng)——安全處理單元(SPU),目的是專門管理用戶識(shí)別信息,尤其是生物識(shí)別信息,比如指紋、面部特征等。另外高通還在本代產(chǎn)品當(dāng)中,引入了口令概念,讓手機(jī)更好的與個(gè)人身份綁定,避免通過篡改GPS信息偽造位置的情況發(fā)生,這在物流運(yùn)輸?shù)壬虡I(yè)場(chǎng)景當(dāng)中,是非?,F(xiàn)實(shí)的應(yīng)用。上述提到的幾點(diǎn),可以通過下圖做進(jìn)一步了解。
最后我們說一下高通845在速度和性能方面的變化,我們最后說這個(gè)話題不是因?yàn)椴恢匾歉咄ū旧硎亲鲞B接起家,這方面的提升是自然而然的。
具體而言,驍龍845集成了第二代千兆級(jí)LTE解決方案——驍龍X20 LTE調(diào)制解調(diào)器。理想條件下,可以3分鐘內(nèi)下載一部3GB的電影,在運(yùn)營商為5G做準(zhǔn)備時(shí),推動(dòng)加速普及千兆級(jí)LTE在全球的應(yīng)用。另外該調(diào)制解調(diào)器支持1.2Gbps的Category 18 LTE峰值下載速度,高達(dá)五載波聚合、許可輔助接入(LAA)、雙卡雙VoLTE,以及最多三個(gè)聚合載波上的4x4 MIMO。
在Wi-Fi方面,驍龍845還支持先進(jìn)的60GHz 802.11ad Wi-Fi,增加了對(duì)分集天線的支持,從而能實(shí)現(xiàn)4.6Gbps的多千兆比特網(wǎng)絡(luò)體驗(yàn);并集成具備先進(jìn)特性的802.11ac Wi-Fi,與前代產(chǎn)品相比,可實(shí)現(xiàn)16倍的連接設(shè)置速度提升。該平臺(tái)針對(duì)Bluetooth 5還有專門的優(yōu)化,另外,與前代相比,最多可將無線耳塞的功耗減少50%。
在性能方面,由于驍龍845采用新的影像和視覺處理架構(gòu),在視頻拍攝、游戲和XR應(yīng)用上功耗降低為30%(與前代產(chǎn)品相比)。得益于新的Adreno 630,圖像性能和能效比可提升高達(dá)30%。通過Qualcomm® Kryo™385架構(gòu),游戲、應(yīng)用程序啟動(dòng)時(shí)間和重負(fù)載型程序上可以實(shí)現(xiàn)高達(dá)25%的性能提升。下圖就是在同等負(fù)載下,845與前代的功耗比較,有了較大程度下降。
驍龍845移動(dòng)平臺(tái)現(xiàn)已向客戶出樣,搭載該平臺(tái)的商用終端預(yù)計(jì)將在2018年初開始出貨。最后我們?cè)倭信e一下驍龍845移動(dòng)平臺(tái)的特性,包括:
Qualcomm Spectra 280 ISP:
-支持Ultra HD Premium拍攝
-Qualcomm Spectra模組方案,支持主動(dòng)深度感測(cè)
-運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(MCTF)視頻拍攝
-多幀降噪
-高達(dá)1600萬像素@60fps高性能拍攝
-720p @480fps慢動(dòng)作視頻拍攝
-ImMotion計(jì)算攝影
Adreno 630視覺處理子系統(tǒng):
-與前代產(chǎn)品相比,圖像/視頻渲染提升30%,功耗降低30%
-室內(nèi)空間定位(room-scale)六自由度(6DoF)及即時(shí)定位與地圖構(gòu)建(SLAM)
-Adreno 視覺聚焦,包括分塊渲染(tile rendering)、眼球追蹤、多視角渲染(multiView rendering)、細(xì)粒度終斷(fine grain preemption)
-2K x 2K @120Hz,2.5倍顯示接口數(shù)據(jù)吞吐量提升
-增強(qiáng)的6DoF,支持手勢(shì)追蹤和控制器
Qualcomm® Hexagon™ 685 DSP:
-面向AI 和圖像的第三代Hexagon Vector DSP(HVX)
-第三代Qualcomm All-Ways Aware™傳感器中樞
-面向音頻的Hexagon標(biāo)量DSP
驍龍 X20 LTE 調(diào)制解調(diào)器:
-支持1.2 Gbps 千兆級(jí)LTE Category 18
-支持許可輔助接入(LAA)
-支持公民寬帶無線服務(wù)(CBRS)共享頻譜
-支持雙卡雙VoLTE(DSDV)
連接:
-支持多千兆比特11ad Wi-Fi,并可支持分集天線
-集成2x2 11ac Wi-Fi,支持雙頻并發(fā)(DBS)
-11k/r/v:增強(qiáng)運(yùn)營級(jí)Wi-Fi的移動(dòng)性能,快速建立連接,緩解擁堵
-專有增強(qiáng)的Bluetooth 5支持超低功耗無線耳塞,并同時(shí)向多個(gè)終端進(jìn)行音頻廣播
安全處理單元:
-生物信息識(shí)別(指紋、虹膜、語音、人臉)
-用戶和應(yīng)用數(shù)據(jù)保護(hù)
-集成方案,如集成SIM卡、支付及其他
Qualcomm Aqstic音頻:
-Qualcomm Aqstic音頻編解碼器(WCD934x):
播放:
-動(dòng)態(tài)范圍:130dB, THD+N: -109dB
-支持原生 DSD(DSD64/DSD128),脈沖編碼調(diào)制(PCM)高達(dá)384kHz/32bit
-低功耗語音激活:0.65mA
錄音:
-動(dòng)態(tài)范圍:109dB, THD+N: -103dB
-取樣:高達(dá)192kHz/24bit
Qualcomm® Quick Charge™ 4+
Kryo 385 CPU:
-四顆性能內(nèi)核,主頻高達(dá)2.8GHz(相較于前代產(chǎn)品,性能提升25%)
-四顆效率內(nèi)核,主頻高達(dá)1.8GHz
-2MB 共享L3緩存(新增)
-3MB系統(tǒng)緩存(新增)
10納米LPP FinFET制程工藝
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對(duì)弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。