視頻化已是各行業(yè)大勢(shì)所趨,激發(fā)出多元化需求。面臨機(jī)遇與挑戰(zhàn),快手StreamLake專注于成為視頻化升級(jí)助推器,推出視頻化升級(jí)全鏈路解決方案。近期,快手StreamLake亮相LiveVideoStackCon 2022北京站,展示了一站式音視頻+AI解決方案。
快手高級(jí)副總裁、研發(fā)線負(fù)責(zé)人于冰在主論壇帶來(lái)《匯聚音視頻新能量,探索行業(yè)新藍(lán)?!分黝}演講,從視頻行業(yè)趨勢(shì)和痛點(diǎn)出發(fā),結(jié)合快手自身的探索、演進(jìn)歷程,探討AIGC、編解碼和AI結(jié)合等方向,分享了技術(shù)變革和突破的新思路。演講中,于冰表示,“在激發(fā)行業(yè)增長(zhǎng)點(diǎn)方向上,快手StreamLake圍繞音視頻+AI方向打造新產(chǎn)品,聚焦視頻質(zhì)量評(píng)估、PCDN、媒體傳輸協(xié)議、芯片等方向,推動(dòng)新一代視頻標(biāo)準(zhǔn)核心候選算法平臺(tái)ECM的發(fā)展,助力更多客戶實(shí)現(xiàn)視頻化業(yè)務(wù)轉(zhuǎn)型與增長(zhǎng)。”
圖:快手高級(jí)副總裁、研發(fā)線負(fù)責(zé)人于冰
活動(dòng)現(xiàn)場(chǎng),快手StreamLake舉辦了品牌專場(chǎng)。來(lái)自快手音視頻技術(shù)團(tuán)隊(duì)的專家們進(jìn)行了主題演講,結(jié)合行業(yè)發(fā)展最新動(dòng)態(tài),聚焦極致體驗(yàn),分享了在媒體處理、媒體傳輸協(xié)議、播放器等方向上最新進(jìn)展與落地應(yīng)用。
快手智能處理與編碼算法產(chǎn)品化之路
快手視頻圖像算法引擎負(fù)責(zé)人陳宇聰分享了在智能處理與編碼算法方向上的探索和應(yīng)用?;谠跇I(yè)務(wù)場(chǎng)景中的沉淀,他講述了如何將算法從0到1、從1到100實(shí)現(xiàn)落地應(yīng)用,通過內(nèi)部業(yè)務(wù)的積累和打磨,團(tuán)隊(duì)將算法產(chǎn)品化,并結(jié)合外部客戶業(yè)務(wù)需求,加速解決方案的迭代。此外,他還分享了StreamLake轉(zhuǎn)碼產(chǎn)品的技術(shù)亮點(diǎn)以及在客戶合作中的應(yīng)用案例,展示了質(zhì)臻輕流、質(zhì)臻影音對(duì)于視頻化業(yè)務(wù)發(fā)展的重要性。
媒體傳輸協(xié)議的演進(jìn)與未來(lái)
身處視頻大時(shí)代,視頻化需求飛速增長(zhǎng)??焓謧鬏斔惴ㄘ?fù)責(zé)人周超分享了在泛VoD、泛Live、泛RTC等場(chǎng)景中,媒體傳輸協(xié)議所面臨的挑戰(zhàn)?;诳焓諯TP、KLP、LAS等協(xié)議和標(biāo)準(zhǔn),周超講述了團(tuán)隊(duì)如何結(jié)合業(yè)務(wù)需求,在媒體傳輸上的優(yōu)化與實(shí)踐。他表示,“下一代媒體傳輸協(xié)議CMTP(Common Media Transport Protocol)具有四個(gè)特點(diǎn):架構(gòu)通用、全場(chǎng)景、高擴(kuò)展性、特性豐富,后續(xù)將逐步在業(yè)務(wù)中落地,以持續(xù)探索更多可能”。
打造音視頻極致消費(fèi)體驗(yàn)
長(zhǎng)期以來(lái),視頻方向都在追求清晰度,流暢度和互動(dòng)性??焓植シ偶夹g(shù)中心負(fù)責(zé)人蒼鵬在分享中從端側(cè)播放的視角來(lái)講述消費(fèi)體驗(yàn),介紹了規(guī)模龐大而設(shè)計(jì)精巧的快手點(diǎn)播鏈路?;诳焓趾A繑?shù)據(jù),建立了快手音視頻大數(shù)據(jù)體系及播放數(shù)據(jù)體系與指標(biāo)體系,實(shí)現(xiàn)量化度量,讓用戶體驗(yàn)可視化。同時(shí),蒼鵬還介紹了快手播放核心技術(shù)、自研內(nèi)核與優(yōu)化方案,展示了快手HDR播放、移動(dòng)端超分、3D環(huán)繞音效、6DoF自由視角播放、VR全景視頻和全景直播等特色功能。目前,相關(guān)技術(shù)及產(chǎn)品能力均已對(duì)外開放,為StreamLake業(yè)務(wù)中的眾多客戶提供服務(wù)。
在音視頻硬件互動(dòng)體驗(yàn)區(qū),快手StreamLake專業(yè)級(jí)會(huì)議麥克風(fēng)SoundMatrix A10也進(jìn)行了展示,其集成了先進(jìn)的AI多通道降噪算法、AI回聲消除算法和AI混響抑制算法,為高質(zhì)量的音頻會(huì)議保駕護(hù)航。該設(shè)備由一臺(tái)主設(shè)備、2個(gè)擴(kuò)展麥克風(fēng)組成,主設(shè)備配備四個(gè)高信噪比麥克風(fēng),能夠?qū)崿F(xiàn)360°全向拾音和10米超遠(yuǎn)拾音,可以支持大中小會(huì)議室的全方位覆蓋。
作為此次快手StreamLake特邀合作伙伴,NVIDIA也在活動(dòng)中分享了其在音視頻技術(shù)探索和應(yīng)用實(shí)踐的思考。在《元宇宙入局之路——新風(fēng)口,新挑戰(zhàn)》圓桌上,NVIDIA深度學(xué)習(xí)解決方案架構(gòu)師劉一鳴,以NVIDIA Omniverse為基礎(chǔ)介紹了NVIDIA在構(gòu)建元宇宙上的技術(shù)布局以及相關(guān)案例。在 “AI與多媒體” 分會(huì)場(chǎng)上,NVIDIA GPU計(jì)算專家團(tuán)隊(duì)高級(jí)工程師張毅帶來(lái)了以《CV-CUDA:高性能圖像處理加速庫(kù)》為題的主題分享。CV-CUDA是NVIDIA攜手合作伙伴推出的計(jì)算機(jī)視覺和圖像處理管道開源庫(kù),能高效運(yùn)行在GPU上,算子速度能達(dá)到OpenCV(運(yùn)行在CPU)的百倍左右。目前,CV-CUDA在例如搜索多模態(tài)、圖片分類等多個(gè)實(shí)際場(chǎng)景中已經(jīng)得到了應(yīng)用。
好文章,需要你的鼓勵(lì)
這項(xiàng)研究提出了"高效探測(cè)"方法,解決了掩碼圖像建模AI難以有效評(píng)估的問題。通過創(chuàng)新的多查詢交叉注意力機(jī)制,該方法在減少90%參數(shù)的同時(shí)實(shí)現(xiàn)10倍速度提升,在七個(gè)基準(zhǔn)測(cè)試中均超越傳統(tǒng)方法。研究還發(fā)現(xiàn)注意力質(zhì)量與分類性能的強(qiáng)相關(guān)性,生成可解釋的注意力圖譜,展現(xiàn)出優(yōu)異的跨域適應(yīng)性。團(tuán)隊(duì)承諾開源全部代碼,推動(dòng)技術(shù)普及應(yīng)用。
伊利諾伊大學(xué)研究團(tuán)隊(duì)開發(fā)了CLAIMSPECT系統(tǒng),通過層次化分解復(fù)雜爭(zhēng)議、智能檢索相關(guān)文獻(xiàn)、多角度收集觀點(diǎn)的方法,將傳統(tǒng)的"真假"判斷轉(zhuǎn)變?yōu)槎嗑S度分析。該系統(tǒng)能夠自動(dòng)構(gòu)建爭(zhēng)議話題的分析框架,識(shí)別不同觀點(diǎn)及其支撐證據(jù),為科學(xué)和政治爭(zhēng)議提供更全面客觀的分析,已在生物醫(yī)學(xué)和國(guó)際關(guān)系領(lǐng)域驗(yàn)證有效性。
清華大學(xué)研究團(tuán)隊(duì)首次提出情感認(rèn)知融合網(wǎng)絡(luò)(ECFN),讓AI能像人類一樣理解和表達(dá)情感。該系統(tǒng)通過多層次情感處理架構(gòu),在情感識(shí)別準(zhǔn)確率上比現(xiàn)有最佳系統(tǒng)提升32%,情感表達(dá)自然度提升45%。研究突破了傳統(tǒng)AI情感理解的局限,實(shí)現(xiàn)了跨模態(tài)情感融合、動(dòng)態(tài)情感追蹤和個(gè)性化情感建模,為醫(yī)療、教育、客服等領(lǐng)域帶來(lái)革命性應(yīng)用前景。
哈佛大學(xué)研究團(tuán)隊(duì)通過創(chuàng)新的多智能體強(qiáng)化學(xué)習(xí)方法,讓AI在戰(zhàn)略游戲中學(xué)會(huì)復(fù)雜推理。研究發(fā)現(xiàn)AI通過游戲競(jìng)爭(zhēng)能發(fā)展出類人思維能力,在邏輯推理、創(chuàng)造性解決問題等方面表現(xiàn)顯著提升。這項(xiàng)突破性成果為未來(lái)AI在醫(yī)療、教育、城市管理等領(lǐng)域的應(yīng)用奠定基礎(chǔ),展現(xiàn)了通過模擬人類學(xué)習(xí)過程培養(yǎng)真正智能AI的新路徑。