提到芯片,我們的智能手機(jī)電腦、智能汽車、智能家居等等設(shè)備,無一離不開它,而芯片的產(chǎn)生有兩個(gè)階段:設(shè)計(jì)和制造,前者屬于軟件層面,后者屬于硬件層面。相對應(yīng)的,芯片公司也主要分為兩大類,芯片設(shè)計(jì)公司和芯片代工公司。所謂“一流的公司做設(shè)計(jì),二流的公司做品牌,三流的公司做生產(chǎn)。”這話放到芯片行業(yè)也不為過,從軟件設(shè)計(jì)、調(diào)試、流片成功到批量生產(chǎn),整個(gè)環(huán)節(jié)既復(fù)雜又燒錢,因此全球頂尖的芯片設(shè)計(jì)公司寥寥無幾。
而在2021世界人工智能大會期間,蘋果公司副總裁、大中華區(qū)董事總經(jīng)理葛越就分享了關(guān)于《Apple“芯”系創(chuàng)新》的主題演講,短短20分鐘的內(nèi)容信息量不少,包括蘋果的芯片優(yōu)勢、產(chǎn)品理念、隱私問題、開發(fā)者群體。其中她提到,其中她提到,蘋果設(shè)計(jì)的芯片不是用來出售,而是專門為蘋果量身定制。為了進(jìn)一步改善用戶體驗(yàn),蘋果還在芯片中搭載了“神經(jīng)網(wǎng)絡(luò)引擎(neural engine)”,即蘋果在芯片中專門用于機(jī)器學(xué)習(xí)的硬件,可用于圖像處理、人臉識別等。同時(shí)她還透露,蘋果大中華區(qū)的開發(fā)者目前已超過440萬人。
圖片攝于上海世界人工智能大會·智能芯片定義產(chǎn)業(yè)未來專題論壇現(xiàn)場。
以下是蘋果公司副總裁、大中華區(qū)董事總經(jīng)理葛越7月8日在上海世界人工智能大會·智能芯片定義產(chǎn)業(yè)未來專題論壇的演講實(shí)錄:
各位領(lǐng)導(dǎo),各位嘉賓,大家下午好!首先非常感謝主辦方再次邀請我參加世界人工智能大會。很高興和這么多的業(yè)界專家和同仁匯聚一堂,探討如何讓技術(shù)為社會的發(fā)展起到更加有效的影響,并肩負(fù)起企業(yè)應(yīng)有的社會擔(dān)當(dāng)。
Apple(蘋果公司)強(qiáng)大的人工智能技術(shù)幫助客戶、創(chuàng)意工作者、開發(fā)者取得成功。我們自豪地看到,無論在中國還是世界各地,Apple 的人工智能和機(jī)器學(xué)習(xí)技術(shù)正在改變著人們的生活。
今天我將分享Apple在人工智能和機(jī)器學(xué)習(xí)方面的做法,以及如何通過這些技術(shù)來幫助人們開創(chuàng)一個(gè)更美好、更健康、更繁榮、更加激動人心的未來。
Apple端到端的產(chǎn)品設(shè)計(jì),并嵌入機(jī)器學(xué)習(xí),從而實(shí)現(xiàn)眾多耳熟能詳?shù)墓δ?,增?qiáng)創(chuàng)造者和開發(fā)者的創(chuàng)新能力。在整個(gè)過程中,我們把用戶隱私放在首位,同時(shí)提供卓越的用戶體驗(yàn)。
一、談「蘋果芯片」:軟硬件結(jié)合,自研芯片不會對外出售
首先,我想談?wù)?Apple 產(chǎn)品和技術(shù)開發(fā)的理念。
我們對于我們創(chuàng)造的技術(shù)是有選擇性的。我們產(chǎn)品和技術(shù)的開發(fā)永遠(yuǎn)都是為了打造最好的產(chǎn)品,實(shí)現(xiàn)最好的體驗(yàn),獨(dú)一無二的軟硬件緊密結(jié)合讓我們能夠做到這一點(diǎn)。
Apple的端到端的產(chǎn)品設(shè)計(jì),從芯片到硬件再到軟件全棧式覆蓋。這意味著我們設(shè)計(jì)的是完整的用戶體驗(yàn),包括從芯片到操作系統(tǒng),以及從拍攝到分享、溝通、創(chuàng)造和學(xué)習(xí)等一系列的豐富功能。
讓我們從Apple的芯片說起。我們的芯片為我們自己的產(chǎn)品量身定制,并為機(jī)器學(xué)習(xí)進(jìn)行了專門的優(yōu)化。我們知道機(jī)器學(xué)習(xí)能夠?yàn)橛脩籼峁└鼮楠?dú)特的體驗(yàn),因此很早就開始研發(fā)能在設(shè)備端有效運(yùn)行復(fù)雜機(jī)器學(xué)習(xí)算法的芯片。
10多年前Apple就開始了這一工作,今天,我們幾乎所有產(chǎn)品都搭載了Apple自己的芯片。
我們的硬件技術(shù)團(tuán)隊(duì)采用了可擴(kuò)展的芯片架構(gòu),同樣的模塊可適用于多個(gè)系統(tǒng)級芯片(SoC)。芯片設(shè)計(jì)過程中,我們的工程師擁有著獨(dú)特的優(yōu)勢:他們設(shè)計(jì)的芯片不是用來出售給其他公司,而是專門為Apple特定的產(chǎn)品,甚至是為了特定功能而專門設(shè)計(jì)的。這種優(yōu)化貫穿于CPU、GPU、圖像信號處理器及更多組件。也正是這種不斷優(yōu)化卓越用戶體驗(yàn)的愿望,推動了我們開發(fā)出Apple神經(jīng)網(wǎng)絡(luò)引擎。
我們于2017年發(fā)布的 A11 仿生芯片中搭載了神經(jīng)網(wǎng)絡(luò)引擎,這是SoC中專門負(fù)責(zé)機(jī)器學(xué)習(xí)的單元。自那時(shí)起,我們不斷增加神經(jīng)網(wǎng)絡(luò)引擎的核心和能力。iPhone12搭載的A14仿生芯片中的神經(jīng)網(wǎng)絡(luò)引擎能夠完成驚人的計(jì)算能力,即每秒11萬億次的運(yùn)算。
去年,我們發(fā)布了搭載M1芯片的Mac,今年我們又發(fā)布了搭載M1芯片的 iPad Pro。這是我們有史以來最強(qiáng)大的一款芯片,性能和能效都大幅提升。M1是首款采用先進(jìn) 5 納米制程打造的個(gè)人電腦芯片,封裝了高達(dá)160億個(gè)晶體管,其數(shù)量為Apple所有芯片之最。
這款低能耗芯片搭載了世界上最快的中央處理器核心,擁有最卓越的中央處理器性能功耗比,配備了世界上最快的個(gè)人電腦集成顯卡,它的 Apple 神經(jīng)網(wǎng)絡(luò)引擎更帶來了突破性的機(jī)器學(xué)習(xí)性能。得益于此,M1 芯片完成了看似不可能完成的任務(wù):它的性能顯著提升,包括將機(jī)器學(xué)習(xí)速度提升最高 15 倍,與此同時(shí)電池續(xù)航時(shí)間最高提升 2 倍。
二、談「產(chǎn)品功能」:最好的產(chǎn)品是為所有人設(shè)計(jì)的產(chǎn)品
在開發(fā)產(chǎn)品和功能時(shí),我們最重要的目標(biāo)就是通過更加簡單易用、富有創(chuàng)意、并且充滿個(gè)性的技術(shù)讓用戶的生活變得更輕松。
因此,我們廣泛的將機(jī)器學(xué)習(xí)用于賦能用戶的日?;顒印@脵C(jī)器學(xué)習(xí)可以支持 Siri 語音識別,語言翻譯,設(shè)備端聽寫,將照片進(jìn)行分門別類。Apple Watch 上的洗手和睡眠等健康應(yīng)用也得益于此。機(jī)器學(xué)習(xí)甚至可以根據(jù)用戶的使用習(xí)慣,優(yōu)化 Apple 設(shè)備的續(xù)航和充電。
我們在每一次軟件更新中,持續(xù)創(chuàng)新機(jī)器學(xué)習(xí)能力。例如,iOS 15和 iPadOS 15 推出了一項(xiàng)我們稱之為“實(shí)況文本”的新功能。該功能可以識別圖片中的文字,因此用戶可以像選擇普通文本一樣選擇這些圖片中的文字。用戶可以拍一張指示牌的照片,通過機(jī)器學(xué)習(xí)就可以翻譯、搜索更多信息或分享給朋友。
iOS 15 和 iPadOS 15 中的另一項(xiàng)新功能叫做“視覺查找”。有了這個(gè)功能,大家可以選擇圖片中的一個(gè)對象,比如一款藝術(shù)品、一本書籍、一個(gè)動物或者一個(gè)地標(biāo),然后立即獲取關(guān)于這個(gè)對象更多的相關(guān)信息。
我們相信,最好的產(chǎn)品是為所有人設(shè)計(jì)的產(chǎn)品。機(jī)器學(xué)習(xí)也驅(qū)動了 Apple 圍繞輔助功能開展的諸多創(chuàng)新。在我們產(chǎn)品自帶的輔助功能中,強(qiáng)大的麥克風(fēng)可以充當(dāng)失聰人士的耳朵。當(dāng)他們的設(shè)備“聽到”火警、嬰兒啼哭或家用電器鳴叫等聲音時(shí),會立即通知用戶。
對視覺障礙用戶來說,Apple 產(chǎn)品的“旁白”功能使他們能夠無障礙地使用應(yīng)用程序。通過機(jī)器學(xué)習(xí),旁白能識別出設(shè)備屏幕上的內(nèi)容。它能幫助用戶“看見”圖像、文本或用戶界面上的按鈕等內(nèi)容,并向用戶解釋看到了什么。
還有一個(gè)令我們倍感興奮的例子。今年晚些時(shí)候,肢體殘障人士將能夠通過一項(xiàng)名為“輔助觸控功能”的技術(shù)更加充分地使用 Apple Watch。用戶佩戴手表時(shí),該技術(shù)將 Apple Watch 強(qiáng)大的傳感器與機(jī)器學(xué)習(xí)技術(shù)相結(jié)合,能夠檢測到肌肉運(yùn)動與肌腱活動的細(xì)微變化。因此,用戶只需通過手勢,甚至無需觸碰手表屏幕,就能移動屏幕上的指針,調(diào)用各種強(qiáng)大的功能。
通過這些方式,機(jī)器學(xué)習(xí)使得任何人都能輕松體驗(yàn) Apple 產(chǎn)品的魅力。我們相信,無論用戶使用產(chǎn)品的目的是什么,單純?yōu)榱藠蕵?,或是想在世界上留下自己的印記,我們都?yīng)該為他們做出最好的產(chǎn)品,也就是適合每個(gè)人使用的產(chǎn)品。
三、談「隱私問題」:蘋果不收集用戶信息、不存在服務(wù)器上、不出售
我們希望所有人使用我們的產(chǎn)品的時(shí)候能用得順心,也用得放心。因此我們將隱私保護(hù)置于一切產(chǎn)品開發(fā)的核心。
我們知道,機(jī)器學(xué)習(xí)需要使用大量數(shù)據(jù)。但人工智能和機(jī)器學(xué)習(xí)的有效性并不需要以犧牲用戶隱私為代價(jià)。對 Apple 的所有員工而言,這是我們的首要關(guān)注點(diǎn),也是基本的價(jià)值觀。同樣的隱私保護(hù)融入到我們?nèi)虍a(chǎn)品設(shè)計(jì)的每個(gè)階段之中。
無論是設(shè)計(jì)和訓(xùn)練機(jī)器學(xué)習(xí)模型,還是開發(fā)基于語音和文本的軟件,在開發(fā)的每個(gè)階段我們都會問自己同一個(gè)問題:“我們?nèi)绾文苡米钌俚臄?shù)據(jù)和最大程度的數(shù)據(jù)安全,打造最智能化的功能?”
因此我們不收集大量的個(gè)人信息,不將用戶數(shù)據(jù)存儲在服務(wù)器上,也不出售給第三方。我們并不需要做這種犧牲。在 Apple 所有的產(chǎn)品和服務(wù)中,我們僅使用必要的數(shù)據(jù)完成任務(wù),并盡量在設(shè)備端進(jìn)行數(shù)據(jù)處理。
當(dāng)機(jī)器學(xué)習(xí)是在用戶的設(shè)備端實(shí)時(shí)發(fā)生的時(shí)候,它不僅更安全,還更實(shí)用,更加個(gè)性化。
這里我想給大家舉幾個(gè)例子。Apple Pencil 能通過機(jī)器學(xué)習(xí)識別你的筆跡。面容 ID 和觸控 ID 能通過機(jī)器學(xué)習(xí)檢測你的面部或指紋。Apple Watch 也是通過機(jī)器學(xué)習(xí)檢測異常心率,并識別罕見的心臟疾病。在這個(gè)過程中,你的任何個(gè)人信息都從未離開過你的設(shè)備。
在運(yùn)行 iOS 15 和 iPadOS 15 的設(shè)備上,Apple 的神經(jīng)網(wǎng)絡(luò)引擎功能十分強(qiáng)大。用戶向 Siri 提問時(shí),我們的目標(biāo)是語音數(shù)據(jù)在設(shè)備端進(jìn)行處理。這意味著 Siri 不需要錄音,也不用問題發(fā)送到云端就可以處理和回答語音請求。 當(dāng)隱私被置于設(shè)計(jì)的核心時(shí),機(jī)器學(xué)習(xí)的力量更為強(qiáng)大,也更有溫度。
在照片應(yīng)用中也可以看到我們對用戶隱私的承諾。我們知道,照片中含有一些關(guān)于朋友、家人和日常生活的最私人的數(shù)據(jù)。因此當(dāng)你在照片中搜索人物、寵物或地點(diǎn)時(shí),搜索僅發(fā)生在你的 iPhone 或 iPad 上。
我們所有的產(chǎn)品都以這種標(biāo)準(zhǔn)進(jìn)行機(jī)器學(xué)習(xí)功能的開發(fā)。當(dāng)隱私得到保護(hù)時(shí),機(jī)器學(xué)習(xí)能夠發(fā)揮更巨大的潛力,激發(fā)創(chuàng)新,提升創(chuàng)造力。我們堅(jiān)持在設(shè)備端處理數(shù)據(jù)的努力,不僅更好地保護(hù)了隱私,還帶來了開創(chuàng)性的新功能。我們認(rèn)為魚和熊掌皆可得。
四、談「開發(fā)者」:教育是最重要的工具之一
正如大家所了解到的,Apple 對機(jī)器學(xué)習(xí)的投入不僅限于自身創(chuàng)新,也延伸到我們遍布在世界各地、不斷增長的龐大開發(fā)者社區(qū)。
世界各地的開發(fā)者都可以使用 Apple 機(jī)器學(xué)習(xí)的框架 Core ML,把機(jī)器學(xué)習(xí)模型融入到他們的應(yīng)用中去。這使得開發(fā)者能夠更輕松地開發(fā)精彩的新功能和新體驗(yàn)。Core ML 大約在四年前推出,我們興奮地看到,中國和世界各地?cái)?shù)以百萬的開發(fā)者都在使用這一框架。
比如上海的開發(fā)者 Versa 用了Core ML進(jìn)行創(chuàng)新,他們最新的編輯應(yīng)用「不咕剪輯」深受視頻博主喜愛。利用 Apple M1 芯片,「不咕剪輯」幾乎可以對視頻進(jìn)行實(shí)時(shí)逐幀處理。因?yàn)殚_發(fā)者們利用我們的產(chǎn)品和技術(shù)推出了優(yōu)秀的創(chuàng)新應(yīng)用,普通創(chuàng)意人員都可以享受以往只有專業(yè)工作室才能實(shí)現(xiàn)的視頻和圖像處理效果。
通過 Apple 的硬件設(shè)備,以及包括 Metal 在內(nèi)的技術(shù),開發(fā)者們能最大程度地發(fā)揮 App 中的圖形和計(jì)算潛能。Metal 幫助拓展了手機(jī)游戲的視覺前沿。同樣位于上海的開發(fā)者米哈游就基于此技術(shù),開發(fā)的《原神》在全球受到追捧,還獲了年度 iPhone 游戲的殊榮,相信很多人的 iPhone 上都有這款游戲。
類似這兩家的優(yōu)秀開發(fā)者在我們的平臺上還有很多,而且他們的隊(duì)伍還在不斷壯大。大中華區(qū)的開發(fā)者人數(shù)現(xiàn)在已經(jīng)超過了 440 萬人,過去兩年規(guī)模增長速度達(dá)到 76%。
Apple 強(qiáng)大的技術(shù)支持正在惠及越來越多的人。通過 Apple Developer Program,我們?yōu)楸姸嚅_發(fā)者提供了最先進(jìn)的技術(shù),幫助他們開發(fā)出更多更好的應(yīng)用。這其中包括成熟的大公司,也有小而美的新興企業(yè)。Apple 在 2020 年推出了 「App Store 小型企業(yè)計(jì)劃」,致力于為更多的小型開發(fā)者提供支持,幫助他們開發(fā)出深受全球喜愛的應(yīng)用。
我們認(rèn)為這些努力也才剛剛開始。Apple 除了在所有設(shè)備中配有一顆強(qiáng)大的“芯”來保障技術(shù)賦能我們的生態(tài)和社區(qū),更有一份為培育中國開發(fā)者社區(qū)全心投入的意愿和責(zé)任。我們在上海的「設(shè)計(jì)開發(fā)加速器」定期為中國的開發(fā)者舉辦線上和線下講座、研討會及社交活動。在全國各地不論是幾千人的大企業(yè),還是包括個(gè)人開發(fā)者在內(nèi)的小企業(yè),我們都會給予支持。
我們不僅支持現(xiàn)有的開發(fā)者,還通過“智惠計(jì)劃”激勵著未來一代。大家可能聽說過 WWDC 獎學(xué)金計(jì)劃和全國大學(xué)生移動應(yīng)用創(chuàng)新賽,這些競賽讓數(shù)以萬計(jì)的學(xué)生對編程產(chǎn)生濃厚的興趣。他們能獲得 Apple 工程師和成功開發(fā)者的指導(dǎo),并與世界各地志同道合的朋友見面。通過“智惠計(jì)劃”,我們還與中國發(fā)展研究基金和中國扶貧基金會等伙伴合作, 為數(shù)十萬從零到三歲的幼兒,農(nóng)村地區(qū)的學(xué)齡兒童以及職業(yè)學(xué)校的年輕人們提供幫助。
當(dāng)我們提供給人們出色的工具時(shí),他們就能實(shí)現(xiàn)非凡的創(chuàng)造。毫無疑問,教育正是最重要的工具之一。
我們很高興能將 Apple 芯片的能力和機(jī)器學(xué)習(xí)技術(shù)交給優(yōu)秀的年輕人、開發(fā)者、設(shè)計(jì)師和工程師,幫助他們實(shí)現(xiàn)夢想,我們更加期待用自己的教育之心承載我們的責(zé)任,賦能新一代。
我們深信深思者慮遠(yuǎn),登高者望遠(yuǎn),輕履者行遠(yuǎn)。我們愿和在座的各位領(lǐng)導(dǎo)和業(yè)界同仁上下求索,攜手同行,為用戶提供更卓越的技術(shù)、開拓更廣闊的天地、開創(chuàng)更美好的未來。
謝謝大家!
好文章,需要你的鼓勵
這項(xiàng)研究提出了"高效探測"方法,解決了掩碼圖像建模AI難以有效評估的問題。通過創(chuàng)新的多查詢交叉注意力機(jī)制,該方法在減少90%參數(shù)的同時(shí)實(shí)現(xiàn)10倍速度提升,在七個(gè)基準(zhǔn)測試中均超越傳統(tǒng)方法。研究還發(fā)現(xiàn)注意力質(zhì)量與分類性能的強(qiáng)相關(guān)性,生成可解釋的注意力圖譜,展現(xiàn)出優(yōu)異的跨域適應(yīng)性。團(tuán)隊(duì)承諾開源全部代碼,推動技術(shù)普及應(yīng)用。
伊利諾伊大學(xué)研究團(tuán)隊(duì)開發(fā)了CLAIMSPECT系統(tǒng),通過層次化分解復(fù)雜爭議、智能檢索相關(guān)文獻(xiàn)、多角度收集觀點(diǎn)的方法,將傳統(tǒng)的"真假"判斷轉(zhuǎn)變?yōu)槎嗑S度分析。該系統(tǒng)能夠自動構(gòu)建爭議話題的分析框架,識別不同觀點(diǎn)及其支撐證據(jù),為科學(xué)和政治爭議提供更全面客觀的分析,已在生物醫(yī)學(xué)和國際關(guān)系領(lǐng)域驗(yàn)證有效性。
清華大學(xué)研究團(tuán)隊(duì)首次提出情感認(rèn)知融合網(wǎng)絡(luò)(ECFN),讓AI能像人類一樣理解和表達(dá)情感。該系統(tǒng)通過多層次情感處理架構(gòu),在情感識別準(zhǔn)確率上比現(xiàn)有最佳系統(tǒng)提升32%,情感表達(dá)自然度提升45%。研究突破了傳統(tǒng)AI情感理解的局限,實(shí)現(xiàn)了跨模態(tài)情感融合、動態(tài)情感追蹤和個(gè)性化情感建模,為醫(yī)療、教育、客服等領(lǐng)域帶來革命性應(yīng)用前景。
哈佛大學(xué)研究團(tuán)隊(duì)通過創(chuàng)新的多智能體強(qiáng)化學(xué)習(xí)方法,讓AI在戰(zhàn)略游戲中學(xué)會復(fù)雜推理。研究發(fā)現(xiàn)AI通過游戲競爭能發(fā)展出類人思維能力,在邏輯推理、創(chuàng)造性解決問題等方面表現(xiàn)顯著提升。這項(xiàng)突破性成果為未來AI在醫(yī)療、教育、城市管理等領(lǐng)域的應(yīng)用奠定基礎(chǔ),展現(xiàn)了通過模擬人類學(xué)習(xí)過程培養(yǎng)真正智能AI的新路徑。
關(guān)注科技創(chuàng)新、技術(shù)投資。
以文會友,左手硬核科技,右手浪漫主義。