又是一屆谷歌開(kāi)發(fā)者大會(huì)(2024 Google I/O Connect)，從今年6月至8月歷時(shí)兩個(gè)月，這場(chǎng)“環(huán)球之旅”先后走過(guò)德國(guó)柏林、印度班加羅爾，最后壓軸之站來(lái)到中國(guó)北京。

作為每年Google I/O大會(huì)之后的衍生篇，“Connect系列活動(dòng)”如同“Connect(連接)”一詞的內(nèi)涵，更主張local+global(本地化+全球化)。彼時(shí)科技行者同時(shí)參與了5月份在美國(guó)山景城的Google I/O，感受頗深的是，谷歌一直在強(qiáng)調(diào)用Gemini將AI踐行到底；只不過(guò)這次在中國(guó)的內(nèi)容，谷歌傳遞了很多特色故事，這些故事有谷歌的AI如何點(diǎn)亮中國(guó)傳統(tǒng)文化，如何創(chuàng)造種類繁多的AI應(yīng)用，以及更重要的，如何賦能中國(guó)開(kāi)發(fā)者的成功出海。

這次北京活動(dòng)的第一天，剛好是8月7日，中國(guó)節(jié)氣里的立秋，是收獲的季節(jié)，但是在現(xiàn)場(chǎng)，或許“春耕”才符合他們的真實(shí)寫照。

AI舞臺(tái)上的“東方力量”

“中國(guó)開(kāi)發(fā)者是全球舞臺(tái)上不可或缺的先鋒力量。”Google大中華區(qū)總裁陳俊廷的這句開(kāi)場(chǎng)白，無(wú)疑是整場(chǎng)活動(dòng)的最佳注解，“過(guò)去一年里，來(lái)自中國(guó)的25個(gè)開(kāi)發(fā)團(tuán)隊(duì)，共有31款游戲和應(yīng)用，在全球不同地區(qū)斬獲了50個(gè)Google Play年度最佳獎(jiǎng)項(xiàng)。”

Google大中華區(qū)總裁陳俊廷

與這個(gè)成績(jī)相呼應(yīng)的，是陳俊廷接下來(lái)列舉的一個(gè)個(gè)案例，講述了中國(guó)公司如何利用AI、重塑商業(yè)模式、驅(qū)動(dòng)業(yè)務(wù)升級(jí)、為全球用戶帶去驚喜。

· 在數(shù)字營(yíng)銷領(lǐng)域。網(wǎng)易游戲在海外接觸Google Cloud Vertex AI平臺(tái)，提升了廣告文案創(chuàng)作效率，工作時(shí)間從原來(lái)的1周縮減到幾個(gè)小時(shí)，每月累計(jì)可以生成700多條定制化文案，定制化的營(yíng)銷服務(wù)“信手拈來(lái)”。

· 同樣是數(shù)字營(yíng)銷領(lǐng)域。“當(dāng)紅炸子雞”家居在線平臺(tái)Homary，通過(guò)Google AI賦能海外廣告投放，實(shí)現(xiàn)了投資回報(bào)率提升49%、轉(zhuǎn)化價(jià)值提升50%，可謂是賣爆全球。

· 在消費(fèi)電子領(lǐng)域。小米在海外提前布局AI，利用Google Cloud和Gemini，讓海外用戶感受“中國(guó)智造”的魅力。

當(dāng)然，AI助推進(jìn)步不僅限于尖端生產(chǎn)力，在傳承中國(guó)文化與造福社會(huì)方面，同樣擁有無(wú)限潛力。譬如：

· AI賦能傳統(tǒng)與現(xiàn)代的融合創(chuàng)新。廣州博物館與谷歌藝術(shù)與文化(Google Arts & Culture)合作，通過(guò)沉浸式線上展覽，向全球用戶呈現(xiàn)廣州千年港口的璀璨和飲食文化的魅力，比如廣彩、德化瓷、鎮(zhèn)海樓等，涵蓋了127件珍貴館藏圖片和10個(gè)豐富的文化故事。

· AI賦能可持續(xù)發(fā)展。在四川高原牧場(chǎng)，西南民族大學(xué)借助谷歌的AI開(kāi)源技術(shù)，改善了當(dāng)?shù)啬撩裆睢?strong>一位參與該項(xiàng)目的西南民族大學(xué)同學(xué)分享道：“紅原縣平均海拔3600米，這里有一望無(wú)際的草場(chǎng)，牦牛有沒(méi)有長(zhǎng)肉是牧民尤其關(guān)心的問(wèn)題，我們收集了大量的牦牛圖像數(shù)據(jù)，利用TensorFlow訓(xùn)練牦牛的關(guān)鍵點(diǎn)檢測(cè)，借助輕量化的TensorFlow Lite模型部署在APP上，現(xiàn)在牧民只需要拍攝牦牛的照片，就能估算出牦牛的體重，適時(shí)調(diào)整養(yǎng)殖策略。為了幫助農(nóng)民更好的進(jìn)行放牧規(guī)劃，我們利用谷歌的AI開(kāi)源技術(shù)ARCore，在APP上設(shè)計(jì)了放牧規(guī)劃模塊、草畜平衡模塊，幫助牧民進(jìn)入自家牧場(chǎng)了解情況，推動(dòng)牧場(chǎng)的可持續(xù)發(fā)展。”

· AI賦能社會(huì)公益。在中國(guó)26所偏遠(yuǎn)地區(qū)的小學(xué)課堂上，谷歌公益攜手欣欣教育基金會(huì)，通過(guò)“編譯夢(mèng)想”項(xiàng)目，對(duì)900多名學(xué)生進(jìn)行AI入門和基礎(chǔ)教育，為孩子們打開(kāi)AI世界的大門；在“善創(chuàng)未來(lái)”黑客馬拉松中，40多名開(kāi)發(fā)者以公益實(shí)踐為主題，帶來(lái)了兼具人文關(guān)懷、實(shí)用性和前瞻性的技術(shù)解決方案，比如此次會(huì)議介紹的兩個(gè)AI技術(shù)開(kāi)源項(xiàng)目：“手語(yǔ)村”與“智引線”，為聽(tīng)障和視障人士提供更多學(xué)習(xí)和生活的便利。

在谷歌看來(lái)，AI正在改變「開(kāi)發(fā)」的格局，從激發(fā)應(yīng)用創(chuàng)意，到重塑構(gòu)建方法，而谷歌始終致力于通過(guò)AI賦能的產(chǎn)品開(kāi)發(fā)工具和平臺(tái)，幫助出海開(kāi)發(fā)者大膽創(chuàng)新、高效創(chuàng)造、觸達(dá)全球。

那么對(duì)于這群可愛(ài)的開(kāi)發(fā)者們而言，有哪些AI賦能的產(chǎn)品開(kāi)發(fā)工具和平臺(tái)？答案，就要從Gemini開(kāi)始說(shuō)起。

用AI重塑開(kāi)發(fā)，狂卷Gemini

如果說(shuō)，曾經(jīng)你還搞不清楚谷歌千千萬(wàn)萬(wàn)產(chǎn)品的名字，那么以后不必?fù)?dān)心，因?yàn)楫?dāng)談及谷歌的AI時(shí)，它們只會(huì)指向同一個(gè)名字——Gemini。

Gemini，是谷歌現(xiàn)在最核心的基礎(chǔ)模型，同時(shí)被廣泛認(rèn)為是這家公司在AI時(shí)代的野心，此前谷歌CEO桑達(dá)爾·皮查伊(Sundar Pichai)在2024 Google I/O更是直言“谷歌正式邁向Gemini時(shí)代”。

從谷歌的表述來(lái)看，Gemini的獨(dú)特之處在于“它不是單獨(dú)在文本語(yǔ)料庫(kù)上訓(xùn)練的，而是一開(kāi)始就被設(shè)計(jì)為「多模態(tài)模型」”，所以它可同時(shí)處理多種類型的數(shù)據(jù)，文本、圖像、音視頻、代碼等。迄今，Gemini一共發(fā)布了兩代，Gemini 1.0（發(fā)布于2023年12月）和Gemini 1.5（發(fā)布于2024年2月），而為了匹配不同場(chǎng)景下的開(kāi)發(fā)需求，它目前一共有Ultra、Pro、Flash、Nano四個(gè)版本。其中：

· Gemini Ultra是谷歌規(guī)模最大、功能最強(qiáng)的模型，適用于“高度復(fù)雜的任務(wù)”。據(jù)說(shuō)它是第一個(gè)在 57 門學(xué)科的大規(guī)模多任務(wù)語(yǔ)言理解(MMLU)測(cè)試中優(yōu)于人類專家的語(yǔ)言模型，得分90%，這些學(xué)科包括數(shù)學(xué)、物理、歷史、法律、醫(yī)學(xué)等等。

· Gemini Pro適用于“各種廣泛的任務(wù)”。目前，Gemini 1.5 Pro版本做了顯著改進(jìn)，不僅支持200萬(wàn)token的上下文窗口，還提升了在編寫代碼、邏輯推理和規(guī)劃、多輪對(duì)話、理解音頻和圖像方面的能力，所以它適合“需要最高質(zhì)量響應(yīng)的復(fù)雜任務(wù)”，它回答的質(zhì)量也高。

· Gemini Nano是最高效的模型，適合處理“端側(cè)任務(wù)”（比如安卓手機(jī)），它可直接在移動(dòng)設(shè)備上運(yùn)行，提供低延遲響應(yīng)和數(shù)據(jù)隱私保護(hù)。

· Gemini Flash是谷歌迄今速度最快、最經(jīng)濟(jì)的模型，專門針對(duì)大規(guī)模、高頻率的運(yùn)算任務(wù)進(jìn)行了優(yōu)化，適合處理“高容量任務(wù)”。有意思的是，1.5 Flash是通過(guò)1.5 Pro 的訓(xùn)練過(guò)程進(jìn)行“提取”得到的，也就是說(shuō)，將大模型中的核心知識(shí)和技能轉(zhuǎn)移到這個(gè)較小但更高效的模型上。不過(guò)，盡管與1.5 Pro相比，1.5 Flash更輕量，但后者在處理大量信息時(shí)仍展現(xiàn)出強(qiáng)大的多模態(tài)推理能力，擅長(zhǎng)摘要制作、聊天應(yīng)用、提供圖說(shuō)和視頻字幕、以及從長(zhǎng)篇文件和表格中提取數(shù)據(jù)等任務(wù)。

總之，谷歌將逐漸把Gemini納入旗下所有產(chǎn)品里，包括搜索、地圖、照片、Workspace、安卓等。Gemini也會(huì)被集成到谷歌的眾多開(kāi)發(fā)工具中，包括Android Studio、Chrome DevTools、Project IDX、Colab、VS Code、IntelliJ和Firebase，可以幫助開(kāi)發(fā)者編寫、調(diào)試和測(cè)試代碼，還可以生成文檔、理解整個(gè)代碼庫(kù)等，化身“開(kāi)發(fā)助手”。

在谷歌的設(shè)想下，有了Gemini全家桶，開(kāi)發(fā)者可以專注于構(gòu)建AI功能，而谷歌專注于打磨這一王牌選手。但是，這還不夠。

Google Developer X和開(kāi)發(fā)者關(guān)系副總裁兼總經(jīng)理Jeanine Banks

Google Developer X和開(kāi)發(fā)者關(guān)系副總裁兼總經(jīng)理Jeanine Banks現(xiàn)場(chǎng)指出，為了滿足開(kāi)發(fā)者對(duì)靈活性和掌控力的需求，根據(jù)具體應(yīng)用場(chǎng)景對(duì)AI進(jìn)行微調(diào)、增強(qiáng)和接地氣，谷歌自己卷自己，推出與Gemini“一脈相承”的開(kāi)源大模型——Gemma，采用與Gemini相同的研究和技術(shù)。

Gemma發(fā)布于今年2月，分為2B（20億參數(shù)）和7B（70億參數(shù)）兩種尺寸版本，2B版本甚至可直接在筆記本電腦上運(yùn)行；今年6月，谷歌又推出了更強(qiáng)大、更高效、更安全的Gemma 2，擁有90億（‌9B）‌和270億（‌27B）‌兩種參數(shù)大小。

當(dāng)然，技術(shù)參數(shù)是一方面，怎么善用工具更重要。

谷歌這次也像往年一樣，分享了全套應(yīng)用開(kāi)發(fā)工具和服務(wù)的更新，覆蓋AI、Web、移動(dòng)端、云這4個(gè)開(kāi)發(fā)平臺(tái)，為AI時(shí)代的開(kāi)發(fā)者提供沃土。

比如谷歌的開(kāi)源UI工具包——Flutter，它可以在移動(dòng)端、Web端、桌面端觸及用戶，其全部使用單一共享代碼庫(kù)。而在會(huì)上，谷歌宣布更新了Flutter 3.24和Dart 3.5版本，其中包括新的Flutter GPU API 的早期預(yù)覽、Web上元素嵌入的增強(qiáng)、以及針對(duì) iOS 生態(tài)系統(tǒng)構(gòu)建的幾項(xiàng)更新，包括對(duì)Swift Package Manager的早期支持，以及對(duì)Cupertino widget 的功能更新。

傳統(tǒng)上，跨平臺(tái)框架在視覺(jué)效果上需要妥協(xié)，因?yàn)樗鼈円蕾囉诘讓悠脚_(tái)提供的高級(jí)抽象。而Flutter采用了不同的方法，擁有自己的渲染層，可以在每個(gè)設(shè)備上，提供硬件加速的圖形和流暢的性能。谷歌在Impeller和著色器方面取得了實(shí)質(zhì)性進(jìn)展，為圖形處理帶來(lái)了激動(dòng)人心的新可能 ——比如3D。

其中最大的亮點(diǎn)是Flutter GPU API的早期預(yù)覽，這是一個(gè)強(qiáng)大的底層圖形API，它直接集成到Flutter SDK中，開(kāi)發(fā)者可以通過(guò)該API，自定義光柵管線并直接向GPU提交繪制調(diào)用，使得創(chuàng)建專門的渲染器成為可能，如2D Canvas替代品、3D場(chǎng)景圖、甚至粒子系統(tǒng)，以創(chuàng)建視覺(jué)上令人驚嘆、高性能和身臨其境的體驗(yàn)，而無(wú)需通常需要的引擎級(jí)別的開(kāi)銷。

在flutter_scene中渲染的科幻太空頭盔的3D動(dòng)畫

現(xiàn)場(chǎng)聯(lián)動(dòng)環(huán)節(jié)，小米展示了利用Flutter，為小米SU7開(kāi)發(fā)車載配套應(yīng)用，包括遠(yuǎn)程車輛控制、接收車輛狀態(tài)的實(shí)時(shí)更新、在后排懸掛Pad安裝另外一塊拓展屏App等。“上手Flutter非常容易，并且開(kāi)發(fā)進(jìn)展迅速，我們預(yù)估比使用原生框架的效率高60%。”小米汽車智能座艙手機(jī)APP客戶端高級(jí)研發(fā)工程師陳作斌在宣傳片里分享道。

除了上述更新，谷歌還揭秘了開(kāi)源項(xiàng)目Project Oscar。它是一個(gè) AI代理（AI Agent）的參考實(shí)現(xiàn)，可協(xié)助維護(hù)開(kāi)源項(xiàng)目。它以Go編程語(yǔ)言項(xiàng)目為入手點(diǎn)，將來(lái)能為各種不同的開(kāi)源項(xiàng)目帶來(lái)助力，幫助開(kāi)發(fā)者全心投入編程工作。

這可以是AI開(kāi)發(fā)的試驗(yàn)田

誠(chéng)然，幾乎所有開(kāi)發(fā)者活動(dòng)，其實(shí)都有一個(gè)共性：盡可能激勵(lì)開(kāi)發(fā)者的創(chuàng)作靈感，谷歌的這次活動(dòng)也不例外。所以，如果我們把視角從主題演講的發(fā)布，挪到范圍更大的其他環(huán)節(jié)，就會(huì)發(fā)現(xiàn)有更多的開(kāi)發(fā)者聚集在現(xiàn)場(chǎng)的工作坊、展區(qū)體驗(yàn)、各種交流的場(chǎng)合里。

展區(qū)體驗(yàn)環(huán)節(jié)同樣是圍繞AI、Web、移動(dòng)端、云這4個(gè)主題分布，然而當(dāng)我實(shí)際體驗(yàn)時(shí)才得知，這些案例中的大部分，并非是已經(jīng)商業(yè)化的成熟案例，而是作為一個(gè)單純的demo，為啟發(fā)開(kāi)發(fā)者的創(chuàng)作靈感而準(zhǔn)備的。

比如多次亮相于谷歌開(kāi)發(fā)者大會(huì)的“大黃”——谷歌的一個(gè)實(shí)驗(yàn)性項(xiàng)目，目的是為了給開(kāi)發(fā)者提供靈感，展示AI如何量身定制一款交互助手。大黃的技術(shù)基因很多，它囊括了PaLM2、MakerSuite、MediaPipe、Vertex AI等，有了這些技術(shù)的加持，大黃可以與人實(shí)時(shí)對(duì)話。不過(guò)與去年相比，今年的大黃不僅會(huì)“說(shuō)話”，還能“看見(jiàn)”周圍環(huán)境。開(kāi)發(fā)者可以通過(guò)“大黃”，了解到如何用Gemma開(kāi)發(fā)交互助手。

再比如展區(qū)現(xiàn)場(chǎng)的“Golf with Gemini(高爾夫陪練)”體驗(yàn)，Gemini可以作為教練，從準(zhǔn)度、是否違規(guī)、優(yōu)雅度、桿前動(dòng)作、姿勢(shì)與力量、最終得分、總結(jié)等維度，對(duì)你每一次的揮桿，給出專業(yè)指導(dǎo)。現(xiàn)場(chǎng)采訪中，工作人員介紹了它的工作流：

· 視頻捕捉和處理：攝像機(jī)抓取玩家的高爾夫球比賽場(chǎng)景，所拍攝的視頻上傳到Google Cloud Storage；同時(shí)，利用計(jì)算機(jī)視覺(jué)的目標(biāo)檢測(cè)技術(shù)，在視頻中逐幀追蹤高爾夫球的運(yùn)動(dòng)，并提取球的位置、與球洞的距離、擊球次數(shù)等數(shù)據(jù)；

· 數(shù)據(jù)存儲(chǔ)與分析：提取的數(shù)據(jù)被實(shí)時(shí)傳輸?shù)紹igQuery，大量的數(shù)據(jù)被高效存儲(chǔ)和分析，分析結(jié)果隨后可被可視化，以更加了解高爾夫進(jìn)程。

· 基于生成式AI的實(shí)時(shí)趣味解說(shuō)：Gemini 1.5 Pro將基于拍攝的視頻和數(shù)據(jù)，生成實(shí)時(shí)趣味解說(shuō)。

諸如此類的體驗(yàn)還有很多，谷歌一直在通過(guò)寓教于樂(lè)的方式，來(lái)挖掘開(kāi)發(fā)潛能。甚至，為了培養(yǎng)中國(guó)開(kāi)發(fā)者，谷歌從教育抓起——「谷歌數(shù)字人才培養(yǎng)計(jì)劃」自2022年起與教育部合作，目前已為全國(guó)150多所高校的560多名教師開(kāi)展線下培訓(xùn)，累計(jì)覆蓋4萬(wàn)多名在校學(xué)生。

為了更好服務(wù)于中國(guó)開(kāi)發(fā)者走向海外，Google開(kāi)發(fā)者中文網(wǎng)站還上線了Google AI頁(yè)面，專門提供Google AI技術(shù)更新、實(shí)時(shí)的新聞動(dòng)態(tài)、豐富的學(xué)習(xí)資源；同時(shí)，谷歌通過(guò)“出海創(chuàng)業(yè)加速器(GFSA，Google for Startups Accelerator)”項(xiàng)目，助力中國(guó)創(chuàng)業(yè)者和開(kāi)發(fā)者決勝全球，并且每年舉行為期3個(gè)月的訓(xùn)練營(yíng)，為入營(yíng)企業(yè)提供三個(gè)月的免費(fèi)創(chuàng)業(yè)支持。

Google AI頁(yè)面(中文版）