2024年7月14日,第二十六屆中國(guó)北京國(guó)際科技產(chǎn)業(yè)博覽會(huì)(簡(jiǎn)稱 “北京科博會(huì)” )在北京國(guó)家會(huì)議中心舉行,由北京市政府主辦。本屆科博會(huì)首次推出“未來(lái)產(chǎn)業(yè)”系列推介發(fā)布活動(dòng),匯聚了中國(guó)聯(lián)通研究院、北京智源人工智能研究院、北京工業(yè)大學(xué)北京人工智能研究院等知名科研院所,以及IBM、高通、諾基亞貝爾等全球科技企業(yè),共同分享對(duì)未來(lái)產(chǎn)業(yè)新技術(shù)、新產(chǎn)品、新模式等創(chuàng)新應(yīng)用的見解和展望。
高通公司中國(guó)區(qū)研發(fā)負(fù)責(zé)人徐晧在該活動(dòng)中發(fā)表了題為《讓智能計(jì)算無(wú)處不在 加速開啟數(shù)字化未來(lái)》的演講。他闡述了人工智能(AI)在無(wú)線通信領(lǐng)域,尤其是在5G和6G技術(shù)演進(jìn)中的關(guān)鍵作用。徐晧還探討了如何運(yùn)用模型量化和壓縮技術(shù)將大規(guī)模AI模型應(yīng)用于手機(jī)等終端設(shè)備,并對(duì)AI在機(jī)器人等領(lǐng)域的應(yīng)用前景進(jìn)行了展望。
高通公司中國(guó)區(qū)研發(fā)負(fù)責(zé)人徐晧在2024年北京科博會(huì)“未來(lái)產(chǎn)業(yè)”系列推介發(fā)布活動(dòng)上發(fā)言
以下為演講實(shí)錄:
很高興有機(jī)會(huì)與大家分享高通關(guān)于人工智能方面的規(guī)劃和布局。我們正處于一個(gè)技術(shù)創(chuàng)新的時(shí)代,作為一個(gè)系統(tǒng)開發(fā)者,我深感幸運(yùn),因?yàn)楸姸嗉夹g(shù)方向都涌現(xiàn)出了大量創(chuàng)新。
在此,我想簡(jiǎn)要介紹幾個(gè)方向以及我們正在推進(jìn)的技術(shù)項(xiàng)目。首先,關(guān)于5G到6G的發(fā)展演進(jìn)。今年標(biāo)志著中國(guó)商用的第五年。業(yè)界普遍認(rèn)為,中國(guó)已成為全球5G商用的領(lǐng)跑者。我們欣喜地看到,從5G-A到6G在中國(guó)正穩(wěn)步推進(jìn)。從人工智能(AI)的角度來(lái)看,當(dāng)前最顯著的趨勢(shì)是生成式AI的廣泛應(yīng)用,涌現(xiàn)出諸多創(chuàng)新,例如ChatGPT和Stable Diffusion等大模型。這些模型會(huì)首先在云端上得到應(yīng)用,接下來(lái),我們將探討如何更有效地將這些大型語(yǔ)言模型集成到終端設(shè)備中。
此外,除了智能手機(jī),我們還在不斷探索將人工智能擴(kuò)展到其他終端形態(tài),如AI PC、機(jī)器人和XR(擴(kuò)展現(xiàn)實(shí))等。另一個(gè)值得關(guān)注的終端形態(tài)是軟件定義的汽車。中國(guó)在電動(dòng)汽車領(lǐng)域同樣取得了全球領(lǐng)先的出口量,這為技術(shù)創(chuàng)新提供了廣闊的空間。最后,空間計(jì)算是一個(gè)新興領(lǐng)域,它預(yù)示著從2D到3D交互形式的轉(zhuǎn)變。未來(lái),我們可以期待通過(guò)XR頭顯等設(shè)備獲得更加沉浸式的體驗(yàn),并采用更先進(jìn)的交互方式,如語(yǔ)音交互和手勢(shì)識(shí)別等。
首先,讓我們探討人工智能與無(wú)線通信的緊密結(jié)合。在從5G到6G的技術(shù)演進(jìn)中,除了傳統(tǒng)的編碼和調(diào)制解調(diào)技術(shù),一個(gè)重要的新方向是如何將人工智能應(yīng)用于無(wú)線通信。雖然無(wú)線通信已有幾十年的歷史,擁有成熟的解決方案,但仍存在一些挑戰(zhàn),這正是人工智能可以發(fā)揮作用的領(lǐng)域。我們將從網(wǎng)絡(luò)和終端兩個(gè)層面,全面探討AI對(duì)無(wú)線通信的影響。
將AI應(yīng)用于無(wú)線通信網(wǎng)絡(luò)可以分為三個(gè)階段:第一階段,在現(xiàn)有的無(wú)線通信系統(tǒng)中引入AI,替代某些模塊。例如,探索使用AI進(jìn)行信號(hào)處理與傳統(tǒng)方法相比有何不同。第二階段,實(shí)現(xiàn)跨節(jié)點(diǎn)的AI應(yīng)用,即如何讓手機(jī)與網(wǎng)絡(luò)之間,以及不同廠商的基站與手機(jī)之間,通過(guò)AI實(shí)現(xiàn)順暢的交流。這是當(dāng)前5G-A階段關(guān)注的重點(diǎn)問題。第三階段,期望在6G時(shí)代,網(wǎng)絡(luò)在設(shè)計(jì)之初就融入AI的原生應(yīng)用。
在端到端系統(tǒng)中,我們從網(wǎng)絡(luò)訓(xùn)練到終端設(shè)備(如手機(jī)、電腦、機(jī)器人、汽車等)的應(yīng)用,都需要考慮AI的整合。最近,我們與諾基亞合作進(jìn)行了互操作性測(cè)試,旨在驗(yàn)證網(wǎng)絡(luò)端和終端各自采用的AI算法如何協(xié)同工作。我們發(fā)現(xiàn),只需交換訓(xùn)練數(shù)據(jù),而不必支持模型共享,雙方就能獨(dú)立訓(xùn)練并實(shí)現(xiàn)良好協(xié)作。這一發(fā)現(xiàn)為AI在無(wú)線通信領(lǐng)域的推廣提供了有力證據(jù)。同時(shí),我們還證明了不同手機(jī)采用不同訓(xùn)練方式時(shí),都能通過(guò)AI與基站實(shí)現(xiàn)順暢連接。這表明AI為無(wú)線通信帶來(lái)了全新的可能性。
接下來(lái),我們將探討近年來(lái)在AI領(lǐng)域?qū)崿F(xiàn)終端側(cè)生成式AI的關(guān)鍵技術(shù)方向。首先,我們需要了解大語(yǔ)言模型通常擁有從十幾億到百億乃至千億級(jí)別的參數(shù)。如何將如此龐大的模型成功部署至終端設(shè)備,是一個(gè)至關(guān)重要的問題。其中一個(gè)解決方案是通過(guò)模型量化和壓縮技術(shù),將大型模型進(jìn)行有效縮減,使其能夠在手機(jī)等實(shí)際終端設(shè)備上正常運(yùn)行。
第二點(diǎn)是預(yù)測(cè)性解碼,即利用小型模型提供高效的多個(gè)解碼結(jié)果的猜測(cè)(Token),然后使用大語(yǔ)言模型一次多個(gè)token,從而快速提供解碼結(jié)果。在大多數(shù)情況下,僅需依賴小型模型提供高效運(yùn)算,而大型模型則作為定期的安全防護(hù)措施。這是另一個(gè)將大型模型濃縮至小型模型的技術(shù)方向。
另一個(gè)方向是模仿學(xué)習(xí)思路,即將大型模型的知識(shí)遷移至小型模型。這類似于讓小型模型(學(xué)生)學(xué)習(xí)大型模型(老師)的行為。在終端或手機(jī)上運(yùn)行的小型模型會(huì)根據(jù)大型模型的輸入輸出進(jìn)行學(xué)習(xí),不斷模仿老師的操作。未來(lái),我們將在手機(jī)上看到一個(gè)不斷學(xué)習(xí)、模仿老師模型的學(xué)生模型。
第四點(diǎn)是高效的圖像和視頻處理框架架構(gòu),以及異構(gòu)計(jì)算技術(shù),這些技術(shù)專業(yè)性較強(qiáng),這里不再詳細(xì)解釋。
通過(guò)上述技術(shù),我們可以將原始的大型模型大幅度壓縮,并使其在實(shí)際應(yīng)用中保持高效運(yùn)行。正如我們所見(見下圖),老師模型可能包含16個(gè)浮點(diǎn)運(yùn)算,我們可以將其輸入輸出用于教導(dǎo)學(xué)生模型。這樣一來(lái),學(xué)生模型便可以在手機(jī)上運(yùn)行,這種方式被稱為知識(shí)提煉,它允許我們?cè)谑謾C(jī)上運(yùn)行小型模型,同時(shí)每隔一段時(shí)間使用大型模型對(duì)小型模型生成的結(jié)果進(jìn)行驗(yàn)證和調(diào)整,從而使大型模型的知識(shí)和性能得以在小型終端模型上得到有效利用。
另一個(gè)關(guān)鍵技術(shù)是Orchestrator規(guī)劃器系統(tǒng),它實(shí)際上是當(dāng)前 AI Agent底層支持的重要組成部分。我們的目標(biāo)是使手機(jī)不僅僅能夠回答問題或講笑話,而是能夠根據(jù)用戶的想法去規(guī)劃一整套復(fù)雜的任務(wù)。這意味著AI Agent不僅僅是調(diào)用一兩個(gè)程序,而是能夠調(diào)用手機(jī)上任何一個(gè)應(yīng)用程序。
例如,如果你想要從北京規(guī)劃一次前往新疆的旅行,AI Agent可以根據(jù)你的日歷確定空閑時(shí)間,然后為你規(guī)劃最合適的行程,包括提供酒店信息。目前我們的手機(jī)還無(wú)法實(shí)現(xiàn)這樣的功能,但如果有一個(gè)AI Agent或具體化的AI操作,它能夠調(diào)用不同的應(yīng)用程序,了解你的喜好,掌握酒店和航班的最新情況,就能夠完成這些任務(wù)。在這個(gè)體系中,上層是一個(gè)應(yīng)用程序,即AI Agent,而下層則是Orchestrator規(guī)劃器系統(tǒng),負(fù)責(zé)調(diào)動(dòng)所有資源。這是我們目前正在布局的一個(gè)新的發(fā)展方向。
另一個(gè)重要的人工智能應(yīng)用領(lǐng)域是在機(jī)器人技術(shù)中。例如,在計(jì)算機(jī)視覺方面,機(jī)器人可以利用多種算法。借助大語(yǔ)音模型和AI,機(jī)器人實(shí)際上可以理解人類的需求和情感,從而執(zhí)行一系列復(fù)雜的操作。例如,機(jī)器人可以根據(jù)你的需求在貨架上選擇你需要的物品,并將其遞給你。
舉一個(gè)最近的演示例子,我們將大模型集成到了最新的高通驍龍支持的AI PC上。這臺(tái)AI PC能夠理解用戶的需求,生成相應(yīng)的指令,驅(qū)動(dòng)機(jī)器人執(zhí)行明確的匹配任務(wù),并指揮機(jī)器人完成各種操作。例如,我們能夠與機(jī)器人進(jìn)行對(duì)話。在聊天過(guò)程中,如果對(duì)機(jī)器人表示口渴,詢問有什么飲料可選,機(jī)器人會(huì)查看吧臺(tái)上的飲料,如水、可樂等,并詢問你想要哪一種。當(dāng)你選擇要一杯水時(shí),機(jī)器人會(huì)自動(dòng)操作,走到吧臺(tái),通過(guò)人工智能識(shí)別并取回礦泉水,遞給用戶。這樣的用例已經(jīng)是我們目前能夠?qū)崿F(xiàn)的。
在未來(lái)五年內(nèi),我們將看到越來(lái)越多這樣的AI在終端設(shè)備上的應(yīng)用,包括在無(wú)線技術(shù)方面的應(yīng)用。我們非常期待在技術(shù)創(chuàng)新中,與國(guó)內(nèi)合作伙伴進(jìn)行更多合作,共同推進(jìn)人工智能的技術(shù)能力演進(jìn)。謝謝。
好文章,需要你的鼓勵(lì)
這項(xiàng)研究提出了"高效探測(cè)"方法,解決了掩碼圖像建模AI難以有效評(píng)估的問題。通過(guò)創(chuàng)新的多查詢交叉注意力機(jī)制,該方法在減少90%參數(shù)的同時(shí)實(shí)現(xiàn)10倍速度提升,在七個(gè)基準(zhǔn)測(cè)試中均超越傳統(tǒng)方法。研究還發(fā)現(xiàn)注意力質(zhì)量與分類性能的強(qiáng)相關(guān)性,生成可解釋的注意力圖譜,展現(xiàn)出優(yōu)異的跨域適應(yīng)性。團(tuán)隊(duì)承諾開源全部代碼,推動(dòng)技術(shù)普及應(yīng)用。
伊利諾伊大學(xué)研究團(tuán)隊(duì)開發(fā)了CLAIMSPECT系統(tǒng),通過(guò)層次化分解復(fù)雜爭(zhēng)議、智能檢索相關(guān)文獻(xiàn)、多角度收集觀點(diǎn)的方法,將傳統(tǒng)的"真假"判斷轉(zhuǎn)變?yōu)槎嗑S度分析。該系統(tǒng)能夠自動(dòng)構(gòu)建爭(zhēng)議話題的分析框架,識(shí)別不同觀點(diǎn)及其支撐證據(jù),為科學(xué)和政治爭(zhēng)議提供更全面客觀的分析,已在生物醫(yī)學(xué)和國(guó)際關(guān)系領(lǐng)域驗(yàn)證有效性。
清華大學(xué)研究團(tuán)隊(duì)首次提出情感認(rèn)知融合網(wǎng)絡(luò)(ECFN),讓AI能像人類一樣理解和表達(dá)情感。該系統(tǒng)通過(guò)多層次情感處理架構(gòu),在情感識(shí)別準(zhǔn)確率上比現(xiàn)有最佳系統(tǒng)提升32%,情感表達(dá)自然度提升45%。研究突破了傳統(tǒng)AI情感理解的局限,實(shí)現(xiàn)了跨模態(tài)情感融合、動(dòng)態(tài)情感追蹤和個(gè)性化情感建模,為醫(yī)療、教育、客服等領(lǐng)域帶來(lái)革命性應(yīng)用前景。
哈佛大學(xué)研究團(tuán)隊(duì)通過(guò)創(chuàng)新的多智能體強(qiáng)化學(xué)習(xí)方法,讓AI在戰(zhàn)略游戲中學(xué)會(huì)復(fù)雜推理。研究發(fā)現(xiàn)AI通過(guò)游戲競(jìng)爭(zhēng)能發(fā)展出類人思維能力,在邏輯推理、創(chuàng)造性解決問題等方面表現(xiàn)顯著提升。這項(xiàng)突破性成果為未來(lái)AI在醫(yī)療、教育、城市管理等領(lǐng)域的應(yīng)用奠定基礎(chǔ),展現(xiàn)了通過(guò)模擬人類學(xué)習(xí)過(guò)程培養(yǎng)真正智能AI的新路徑。