杭州第19屆亞運會不僅是國際頂級體育盛會,更是一場精彩絕倫的中國科技盛宴。本屆亞運會中,快手StreamLake與杭州電信深度合作,聯(lián)合打造智慧觀賽新體驗,在擊劍賽事的轉播中,全面應用了快手StreamLake六自由度技術,其中“子彈時間”也是首次應用于擊劍項目國際頂級賽事。
中國電信杭州分公司智能亞運專班組長芮杰表示,依托快手StreamLake自研的4K 3D虛擬運鏡視頻技術和中國電信5G/全光網,通過賽場內部署的4K專業(yè)攝像機陣列實時采集的高清競賽視頻,在云端實現(xiàn)“子彈時間”的超高清渲染,3秒內輸出比賽的精彩瞬間,在畫質和時效性方面都達到了行業(yè)領先水平。
黑科技“子彈時間”首次應用于國際級擊劍賽事
在擊劍比賽中,運動員的反應速度和肢體動作極快,交鋒得分就在一瞬間,加之轉播鏡頭視角等問題,觀眾往往很難看清比賽細節(jié),關鍵時刻的賽事回放必不可少。為了讓觀眾能夠看清、看懂擊劍比賽,此次亞運會期間,擊劍項目第一次在國際級賽事中使用了“子彈時間”技術。
“最終的落地效果超過了賽前的預期。”快手六自由度技術負責人盛驍杰表示,在賽前評估時,技術團隊考慮到擊劍的場地較小,曾擔心不一定能把“子彈時間”的3D虛擬運鏡的效果優(yōu)勢充分發(fā)揮出來。擊劍被稱為“格斗中的芭蕾”,比賽的勝負往往取決于電光火石的一瞬間,選手的格斗技巧、身體柔韌、拼搏精神都凝聚在這個瞬間釋放出來,為了更好地呈現(xiàn)擊劍賽事,技術團隊經過努力,實際呈現(xiàn)效果遠超預期。
“子彈時間”技術的運用,有助于幫助觀眾看清、看懂比賽細節(jié),推動擊劍運動的普及。以往,觀眾通常很難看清擊中得分的一瞬間,所以特別需要借助慢放和回放來幫助還原比賽,尤其是一些爭議劍,還有雙方幾乎是同時擊中的情況。在 “子彈時間”技術加持下,能夠更好地360度還原比賽關鍵瞬間,讓觀眾能夠看清楚是誰先擊中了,以及具體擊中了哪個部位。
例如,在亞運會女子個人花劍比賽直播中,快手“子彈時間”技術精彩還原了中國選手黃芊芊一路過關斬將并最終奪得冠軍的每個拼搏瞬間,尤其是在半決賽和決賽中,更是360度定格了她贏下比賽的關鍵一劍,讓觀眾全方位、沉浸式體驗奪金一刻。
量身定制專屬方案 全面提升亞運觀賽體驗
繼2022冬奧會、“村BA”等體育賽事后,快手此次在將“子彈時間”技術應用于杭州亞運會擊劍賽事轉播的過程中,還基于比賽現(xiàn)場情況和直播效果需求等差異化特點,進行了定制策劃,從機器部署、技術突破等多個維度,全面提升用戶的亞運觀賽體驗。
針對本屆亞運擊劍項目轉播的具體場景,六自由度技術實現(xiàn)了量身升級。據盛驍杰介紹,首先是服務器空間小,方案更輕量化。基于擊劍場館內TOC房間空間比較狹小,此次快手采用了輕量化方案,僅需一臺現(xiàn)場服務器即可完成全鏈路的信號制作,大大地降低了對于制作場地的要求。
其次,機器部署規(guī)模小、位置靈活。以往普通技術需要在場內布置上百個相機,而六自由度技術僅需30余臺相機即可。在亞運會擊劍館中,快手結合場地實際情況,將相機部署在觀眾席二層,通過3D虛擬運鏡技術,可以同時把“子彈時間”覆蓋至主賽道以及兩個分賽道,在保障了任意方向的觀眾視線的同時,避免了對場館內其他運行功能造成影響。
第三,清晰度大幅提升。相較于其他國際賽事,本屆亞運會中,快手采用了全鏈路4K 3D虛擬運鏡技術,提升整體制作的清晰度和絲滑性,最終在大屏上的呈現(xiàn)效果做到清晰流暢,達到了國際大賽轉播的清晰度要求。
在此基礎上,快手還重點突破了擊劍賽事直播中的一大技術難點——快速運動的小物體的3D建模問題。以花劍為例,劍的直徑僅僅為幾毫米,且在擊劍過程中會極快速地運動,導致拍攝畫面的動態(tài)模糊。開賽前,快手技術團隊特別購置了兩把劍進行算法效果的測試和調優(yōu),最終很好地解決了建模問題,保障了最終輸出高清渲染的畫質,讓細節(jié)呈現(xiàn)更清晰。
第四,效果更絲滑流暢??焓?D虛擬運鏡技術,通過3D重建來構建空間中虛擬相機的絲滑運鏡,相比行業(yè)內普遍采用的相機矯正拼接方案,一方面可以減少50%以上的相機數量,另一方面整體運鏡效果也能夠更絲滑流暢。
此外,本次快手還采用了云渲染的鏈路,將大量復雜的3D重建和渲染工作放到云端進行計算,在保障生產時效性和清晰度的同時,本地無需大量算力的輔助,顯著提升了效率。
應用場景不斷拓寬 技術助推小眾體育項目普及
快手StreamLake六自由度技術正應用于越來越廣泛的體育賽事直播場景。目前,六自由度技術一般在足球、籃球、體操等項目中應用較多,而在擊劍類型的賽事中則應用較少。
“最初測試,我們也很驚喜,對于擊劍這種場地空間相對較小的賽事,六自由度技術也有很大發(fā)揮空間,更多應用可能。”在盛驍杰看來,每項運動都有其獨特的特點,六自由度技術作為“多面手”,覆蓋面非常廣泛,在攻防動作上捕捉清晰,能夠呈現(xiàn)360度視角,同時在微觀細節(jié)上,也能定格0.01秒精彩。
高超的技巧性、拼搶的激烈性是體育精神的永恒主題。目前,六自由度技術已實現(xiàn)子彈時間、虛擬運鏡、自由視角交互等效果,并支持3D空間剪輯創(chuàng)作,快手StreamLake技術團隊表示,希望能通過六自由度等技術的加持,更好地展現(xiàn)運動員的競技水平和拼搏精神,提升轉播精彩程度,助力擊劍等相對小眾的體育項目普及。
好文章,需要你的鼓勵
浙江大學團隊提出動態(tài)專家搜索方法,讓AI能根據不同問題靈活調整內部專家配置。該方法在數學、編程等任務上顯著提升推理準確率,且不增加計算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學研究團隊提出SIRI方法,通過"壓縮-擴張"交替訓練策略,成功解決了大型推理模型"話多且準確率低"的問題。實驗顯示,該方法在數學競賽題上將模型準確率提升43.2%的同時,輸出長度減少46.9%,真正實現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓練提供了新思路。
南洋理工大學與騰訊聯(lián)合研究團隊開發(fā)出Rolling Forcing技術,實現(xiàn)AI視頻實時流式生成的重大突破。該技術通過滾動窗口聯(lián)合去噪、注意力錨點機制和高效訓練算法三項創(chuàng)新,解決了長視頻生成中的錯誤累積問題,可在單GPU上以16fps速度生成多分鐘高質量視頻,延遲僅0.76秒,質量漂移指標從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內容創(chuàng)作開辟新可能。
華中科技大學研究團隊發(fā)現(xiàn),通過讓AI模型學習解決幾何問題,能夠顯著提升其空間理解能力。他們構建了包含約30000個幾何題目的Euclid30K數據集,使用強化學習方法訓練多個AI模型。實驗結果顯示,幾何訓練在四個空間智能測試基準上都帶來顯著提升,其中最佳模型達到49.6%準確率,超越此前最好成績。這項研究揭示了基礎幾何知識對培養(yǎng)AI空間智能的重要價值。