近日,第二十九屆中國國際廣播電視信息網(wǎng)絡(luò)展覽會(CCBN2023)在北京舉行??焓諷treamLake展示一站式音視頻+AI能力,攜StreamLake硬件編碼器首次亮相本次大會。快手StreamLake專注于成為視頻化升級助推器,致力于助力各行業(yè)客戶實現(xiàn)視頻化業(yè)務(wù)轉(zhuǎn)型與升級,在視頻化大趨勢下,助推視聽領(lǐng)域共同蓬勃發(fā)展。
作為業(yè)界知名的廣播電視和網(wǎng)絡(luò)視聽技術(shù)設(shè)備行業(yè)盛會,本屆CCBN以“大視聽,向未來”為主題,展會聚焦高新技術(shù)在視聽行業(yè)的廣泛深度融合應(yīng)用,促進(jìn)科技自立自強(qiáng)和產(chǎn)業(yè)高質(zhì)量發(fā)展,助力構(gòu)建現(xiàn)代化大視聽發(fā)展格局。
在快手StreamLake展臺上,首次亮相的StreamLake硬件編碼器引發(fā)行業(yè)人士和參展觀眾的高度關(guān)注。據(jù)悉,該產(chǎn)品集成了快手自研SL200編碼卡及質(zhì)臻影音算法,利用快手領(lǐng)先的視頻編解碼及增強(qiáng)和修復(fù)算法,提升多媒體處理環(huán)節(jié)的質(zhì)量與效率,可應(yīng)用于IPTV、OTT、互聯(lián)網(wǎng)視頻直播等多個領(lǐng)域的超高清直播平臺建設(shè)及視頻壓縮編碼。
StreamLake硬件編碼器具有三大產(chǎn)品核心能力——極致的編碼質(zhì)量、領(lǐng)先的AI畫質(zhì)增強(qiáng)算法、超高清實時編碼。展會現(xiàn)場,視頻畫面對比中可明顯看到在StreamLake硬件編碼器驅(qū)動下,視頻畫面中呈現(xiàn)出的每一處細(xì)節(jié)清晰細(xì)膩,色彩飽和豐富,動態(tài)影像高清流暢,帶來極致的視頻體驗。
搭載快手StreamLake首款自研芯片,帶來卓越編碼質(zhì)量與性能
作為產(chǎn)品的核心技術(shù)之一,StreamLake硬件編碼器內(nèi)置首款自研智能視頻處理芯片StreamLake - 200(后文簡稱SL200芯片)。該芯片具有業(yè)界極佳的編碼性能和廣泛的適用范圍,集成了快手領(lǐng)先的視頻編解碼、圖像處理、AI推理、內(nèi)容自適應(yīng)編碼等關(guān)鍵技術(shù),具備高質(zhì)量、高密度、智能化的特點。
在質(zhì)量方面,SL200芯片可提供行業(yè)領(lǐng)先的壓縮效率,相比x265 medium節(jié)省約30%碼率;密度方面,單卡可支持8路4K@60fps轉(zhuǎn)碼,達(dá)到業(yè)界領(lǐng)先水平。其低功耗設(shè)計可在高密度視頻處理的同時節(jié)省大量能耗,可應(yīng)用于短視頻、長視頻、視頻直播、視頻會議、云游戲以及廣電等多種場景下的智能轉(zhuǎn)碼需求。
業(yè)界領(lǐng)先的AI畫質(zhì)增強(qiáng)算法,打造極致視聽體驗
為了呈現(xiàn)超高清的極致視聽體驗,在視頻處理方向上,StreamLake硬件編碼器支持質(zhì)臻影音算法以及豐富的轉(zhuǎn)碼參數(shù)配置,通過畫質(zhì)增強(qiáng)、AI超分等核心算法能力,支持對視頻中的模糊、塊效應(yīng)、偽紋理等失真進(jìn)行針對性修復(fù),以及將低分辨率視頻重建為高分辨率視頻等方式,從而整體提升視頻主觀質(zhì)量。
支持4K/8K 10bit HDR實時轉(zhuǎn)碼,助力超高清直播平臺建設(shè)
在國家產(chǎn)業(yè)政策的大力支持以及超高清、5G、AI、VR、大數(shù)據(jù)等技術(shù)的融合應(yīng)用推動下,超高清產(chǎn)業(yè)高速發(fā)展。面對用戶對超高清視頻和直播觀看日益增長的需求,廣播電視和網(wǎng)絡(luò)視聽領(lǐng)域的超高清技術(shù)全面升級。StreamLake硬件編碼器可支持4K/8K 10bit HDR實時轉(zhuǎn)碼,為超高清直播平臺的建設(shè)提供有力的技術(shù)支持和保障,推動超高清產(chǎn)業(yè)在編碼技術(shù)方向上的發(fā)展。
在國家廣播電視總局科技創(chuàng)新和傳輸覆蓋成果展上,快手StreamLake六自由度在互動視聽板塊進(jìn)行了相關(guān)內(nèi)容展示。該技術(shù)通過多攝像頭同步采集、3D重建、壓縮傳輸和實時渲染技術(shù),可以實現(xiàn)子彈時間、虛擬運鏡、自由視角交互等效果并支持3D空間剪輯創(chuàng)作,為用戶帶來沉浸式體驗。伴隨視聽內(nèi)容呈現(xiàn)多樣化形態(tài),未來六自由度技術(shù)在體育賽事、影視娛樂、智慧場館等場景的落地應(yīng)用具有廣闊空間。
基于開放的產(chǎn)品能力,快手StreamLake已攜手知乎、中國聯(lián)通、央視頻、浙江廣播電視集團(tuán)、蒙牛、小米等眾多合作伙伴,在視頻化、智能化領(lǐng)域展開深入合作。未來,快手StreamLake也將繼續(xù)以開放的心態(tài),基于前沿的技術(shù)和產(chǎn)品優(yōu)勢,為電商、廣電傳媒、泛娛樂等各行業(yè)合作伙伴提供一站式音視頻+AI解決方案,助推視聽產(chǎn)業(yè)和數(shù)字經(jīng)濟(jì)的高質(zhì)量發(fā)展。
好文章,需要你的鼓勵
浙江大學(xué)團(tuán)隊提出動態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊提出SIRI方法,通過"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實驗顯示,該方法在數(shù)學(xué)競賽題上將模型準(zhǔn)確率提升43.2%的同時,輸出長度減少46.9%,真正實現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊開發(fā)出Rolling Forcing技術(shù),實現(xiàn)AI視頻實時流式生成的重大突破。該技術(shù)通過滾動窗口聯(lián)合去噪、注意力錨點機(jī)制和高效訓(xùn)練算法三項創(chuàng)新,解決了長視頻生成中的錯誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個AI模型。實驗結(jié)果顯示,幾何訓(xùn)練在四個空間智能測試基準(zhǔn)上都帶來顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績。這項研究揭示了基礎(chǔ)幾何知識對培養(yǎng)AI空間智能的重要價值。