近日,ARM發(fā)布 2023全面計(jì)算解決方案(TCS23),并于北京舉行了技術(shù)分享日活動(dòng),來(lái)自快手的技術(shù)專(zhuān)家分享了在大型項(xiàng)目中通過(guò)使用MTE來(lái)提升內(nèi)存安全的最新實(shí)踐。
ARM在 2023全面計(jì)算解決方案中,重點(diǎn)強(qiáng)調(diào)了內(nèi)存標(biāo)簽擴(kuò)展 (Memory Tagging Extension, MTE) 特性。據(jù)了解,MTE可以幫助開(kāi)發(fā)者在部署之前和之后檢測(cè)到內(nèi)存安全問(wèn)題,保證App內(nèi)存穩(wěn)定性提升用戶(hù)體驗(yàn),并減少安全漏洞降低受到攻擊的可能性。
作為領(lǐng)先的短視頻和直播平臺(tái),2023年一季度,快手應(yīng)用的DAU同比增長(zhǎng)8.3%達(dá) 3.74億,短視頻及直播內(nèi)容的總觀看次數(shù)同比增長(zhǎng)超10%,累計(jì)互關(guān)用戶(hù)對(duì)數(shù)超過(guò)296億對(duì)。為了給用戶(hù)提供極致體驗(yàn),快手非常重視App穩(wěn)定性和保護(hù)用戶(hù)的隱私安全。
來(lái)自快手的技術(shù)專(zhuān)家李銳介紹,通過(guò)與ARM、Google、VIVO、榮耀等公司合作,快手在大型Android工程項(xiàng)目中使用 Arm MTE 提高內(nèi)存安全,90% 的內(nèi)存安全問(wèn)題可以在 App 正式發(fā)布之前就在線下被檢測(cè)攔截,全面保障線上用戶(hù)的基礎(chǔ)體驗(yàn)。
在追求高性能和跨平臺(tái)的基礎(chǔ)軟件領(lǐng)域,快手使用C/C++/Assembly作為主要編程語(yǔ)言,這些語(yǔ)言提供了對(duì)內(nèi)存的直接靈活控制,程序員需要手動(dòng)管理內(nèi)存,包括分配、釋放和直接使用地址讀寫(xiě)內(nèi)存,通常被稱(chēng)為內(nèi)存不安全的語(yǔ)言。
在快手這樣量級(jí)的App里,由于多線程并發(fā)和對(duì)象生命周期的管理復(fù)雜,外加海量用戶(hù)、高使用時(shí)長(zhǎng)、碎片化設(shè)備等因素,很容易出現(xiàn)內(nèi)存破壞的問(wèn)題,導(dǎo)致了大量偶發(fā)崩潰。并且根據(jù)Google Android的報(bào)道,75%的漏洞都和內(nèi)存非法使用有關(guān)。
過(guò)去,快手主要基于LLVM ASan工具進(jìn)行內(nèi)存破壞檢測(cè),由于傳統(tǒng)內(nèi)存檢測(cè)工具的性能開(kāi)銷(xiāo)較高,且需要重新編譯所有源代碼,所以幾乎無(wú)法在快手這樣量級(jí)的大型項(xiàng)目日常開(kāi)發(fā)實(shí)踐中使用這些工具。
而快手MTE 自定義方案解決了這些問(wèn)題,打破了傳統(tǒng)內(nèi)存檢測(cè)工具的不可能三角?;谟脩?hù)真實(shí)場(chǎng)景,在高內(nèi)存負(fù)載下開(kāi)啟MTE,依然可以十分流暢的運(yùn)行快手app。包括視頻觀看、主頁(yè)刷feed流、生產(chǎn)拍攝、直播推拉流、電商等高頻使用內(nèi)存的業(yè)務(wù)場(chǎng)景。累計(jì)檢出內(nèi)存破壞bug數(shù)十個(gè),包括自研庫(kù)、三方庫(kù)和系統(tǒng)GPU驅(qū)動(dòng)庫(kù)等,在保證內(nèi)存安全方面發(fā)揮了重要作用。
快手穩(wěn)定性團(tuán)隊(duì)是國(guó)內(nèi)率先在Android應(yīng)用側(cè)把MTE技術(shù)完整落地用于大型App內(nèi)存安全檢測(cè)的,也早于Facebook和Unity在大型工程中實(shí)踐,取得了不錯(cuò)的收益。并且ARM也在2023MWC世界移動(dòng)通信大會(huì)上,將快手的實(shí)踐作為Case Study展示。
李銳表示,通過(guò)與ARM等合作伙伴的共同努力,快手技術(shù)團(tuán)隊(duì)將持續(xù)提升系統(tǒng)穩(wěn)定性和隱私安全,為用戶(hù)提供更好的體驗(yàn)。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專(zhuān)家搜索方法,讓AI能根據(jù)不同問(wèn)題靈活調(diào)整內(nèi)部專(zhuān)家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類(lèi)型問(wèn)題偏愛(ài)不同專(zhuān)家配置,為AI推理優(yōu)化開(kāi)辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過(guò)"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問(wèn)題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開(kāi)發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過(guò)滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問(wèn)題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開(kāi)辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過(guò)讓AI模型學(xué)習(xí)解決幾何問(wèn)題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來(lái)顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。