這是決定勝負的一球。
0秒出手,終場哨音破空而響,望著籃球滑向弧線的終點,突然他的身體在空中懸停,一個決定性的瞬間被無限拉長,分鏡切過一張張面孔,所有人的情緒都在空氣中凝固,渴望、焦灼都被定格……
這樣的場景,不是出自動畫《灌籃高手》,而是來自貴州大山里,一場鄉(xiāng)村籃球賽的直播。
2023年6月10日,貴州安順小寨村,“快手村BA”鄉(xiāng)村籃球賽現(xiàn)場,用于國際頂級賽事的前沿直播技術「子彈時間」首次應用到了鄉(xiāng)村體育賽事的直播中。
所謂「子彈時間」(Bullet time)是一種使用在電影、電視廣告或電腦游戲中的攝影技術模擬變速特效,可實現(xiàn)強化的慢鏡頭、時間靜止等效果。
在村BA直播中,快手技術人員針對關鍵球,快速產(chǎn)出“子彈時間”特效場景,伴隨黑科技,村BA登上熱搜,相關視頻播放量超過4.2億次,貴州山村里的籃球文化也被更多人看見。
生成一條村BA「子彈時間」 只要10秒
「子彈時間」技術最初被人知曉,要歸功于電影《黑客帝國》:當子彈雨點般射向主人公尼奧時,他以不可思議的速度后仰,時間仿佛瞬間,鏡頭圍繞子彈旋轉,觀眾甚至可以清晰地看到子彈劃過的空氣尾流。
此后,在大投資電影、3A游戲、頂級體育賽事中,我們都能見到類似的應用。北京冬奧會在冰壺和速滑賽事中也應用了這一特效,通過云上轉播可自動合成多角度的回放視頻,并向全球轉播方分發(fā)。
由于子彈時間生產(chǎn)流程的復雜性和所需計算數(shù)據(jù)量的龐大,之前行業(yè)的普遍生產(chǎn)時效性都在分鐘級。而本次快手在村BA所使用的「子彈時間」技術,較此前頂級賽事中的更為先進:平均一場村 BA 比賽直播,就有接近30條子彈時間特效,包含125個3D虛擬運鏡視點,基本覆蓋了所有的精彩進球。
以往,即使是應用行業(yè)內領先的Intel True View技術,3D重建都需要數(shù)分鐘。這就意味著,子彈時間回放只能應用于節(jié)間或者中場休息。
得益于快手自研的3D重建、虛擬運鏡和渲染技術,只要10秒,就可以完成整個重建和渲染過程,大大增加了子彈時間特效的應用頻率。
首先,借助3D重建技術,村BA直播中呈現(xiàn)了精彩的攻防回合。30部高速攝像機陣列部署,經(jīng)過高精度3D重建,360度無死角定格超燃瞬間,無論是45度后仰起跳命中,還是中場突破,賽場中任意位置的精彩細節(jié)都能被靈活捕捉。
其次是可變焦點3D虛擬運鏡。高精度三維重建,提供了多視角下的空間信息,可支持后期靈活組織鏡頭、自定義拍攝軌跡。通過3D曲線變速運鏡,視覺沖擊力得以進一步增強,實現(xiàn)了絲滑流暢的「子彈時間」效果。
最后是先進的渲染技術。快手自研的六自由度壓縮算法與三維渲染引擎,通過三維重建與視點渲染,可還原4K及以上的高清渲染畫質。
“黑科技”進村
在實驗場景,變量可控、效果可預期,技術人員只需集中力量攻克技術問題。而真實場景復雜、多變,額外變量層出不窮,往往會面對各種意外挑戰(zhàn)。
大型賽事場館的直播即使反復彩排,也不能確保萬全無虞。而這一次,在西南大山里的貴州小寨村,露天籃球場現(xiàn)場,快手只有三天時間。
擺在他們面前的,首先是網(wǎng)絡和電力緊缺的問題?,F(xiàn)場的5G和Wifi信號時斷時續(xù),影響各類數(shù)據(jù)的實時通信,而體育賽事的轉播又有很強的時效性要求。初期進場調試,由于供電功率不足,現(xiàn)場服務器的運行也不穩(wěn)定。
“無論如何,先跑起來再說。”快手技術人員先是協(xié)調了發(fā)電車,解決了基礎的供電穩(wěn)定性問題。同時,通過技術上的極致優(yōu)化,將一條村BA「子彈時間」回放視頻的生產(chǎn)時間壓縮到了10秒,有效保障了時效性和觀賞性。
然后是場地條件,受制于空間,相機設備只能直線排布。按照此前的技術方案,若想呈現(xiàn)出精彩的「子彈時間」,設備需要環(huán)繞一圈。
面對客觀環(huán)境的嚴峻挑戰(zhàn),快手有備而來。技術人員通過自研可變焦點3D虛擬運鏡技術,避免了直線型搭建在呈現(xiàn)效果上的單調性,成功打造了多焦點3D虛擬運鏡「子彈時間」,比固定焦點的普通子彈時間有了重大升級。
最后是戶外直播的不可控性。除了室外的高溫、突如其來的降雨,還有長時間比賽帶來的光線變化:6點30分,太陽還很亮;8點左右天就全黑了。這些都對技術本身的穩(wěn)定性和適應性提出了很高要求。
快手的技術方案經(jīng)受住了考驗,陽光直曬和高溫下都能穩(wěn)定運行。即使因下雨中斷,方案也可以敏捷地重新部署,無需再經(jīng)過長時間的精細化調試,就能再度投入使用。在太陽光和場地燈光的差異化照明情況下,算法模型都能夠完成高精度的建模和渲染,連續(xù)不斷地支持比賽的正常轉播。
即使比賽期間相機前擠滿了觀眾,甚至無意觸碰到相機,導致相機位置發(fā)生改變,算法模型也能適應相機姿態(tài)在一定范圍內的變化,繼續(xù)生產(chǎn)高精度的3D模型。
多面的六自由度技術
在令人驚奇的子彈時間背后,是來自快手StreamLake六自由度技術(6DoF)的全面支撐。
正如它的名字所稱,這項創(chuàng)新技術,足夠「6」,也足夠「自由」。六自由度通過多攝像頭同步采集、3D重建、壓縮傳輸和實時渲染技術,可以實現(xiàn)子彈時間、虛擬運鏡、自由視角交互等效果,并支持3D空間剪輯創(chuàng)作,為用戶帶來沉浸式體驗。
體育賽場之外,六自由度技術也在更多場景中給用戶帶來新奇體驗。比如,在快手電商場景,目前該技術在服裝的短視頻拍攝和制作中已得到應用,實現(xiàn)了基于全視角虛擬運鏡的服裝帶貨短視頻體驗,用戶們在手機上可以全方位交互式的觀看服裝多角度的細節(jié)。仿佛在xy軸之外,從屏幕里又延伸出一條打破空間的z軸。
技術創(chuàng)新源于持續(xù)探索,快手音視頻技術團隊數(shù)年來積累了豐富的工程、算法技術。在直播活動上,團隊成功支持了2021年春晚、東京奧運等大型活動。面對來自不同業(yè)務場景的訴求,音視頻技術團隊充分發(fā)揮算法的靈活性和延展性,根據(jù)項目“定制化”方案,融入最新前沿科技,致力于以用戶需求為導向,提升用戶體驗。
技術普惠的初心
一直以來,快手希望通過普惠的流量分發(fā)策略,給普通用戶更多的曝光機會,這也滋養(yǎng)了快手平臺內容的多樣性。
如今火出圈的村BA,正是通過快手等短視頻平臺被更多大山之外的人們看見。小寨村的籃球賽向來熱鬧,但在過去,山村之外卻無人知曉。后來,村民隨手拍下來發(fā)到快手上,村BA開始火爆全網(wǎng),并得到了官方扶植。
同時,普惠理念也刻在快手技術創(chuàng)新的基因里。
不久前,子彈時間的鏡頭對準的,還只有頂尖賽事的體育明星。而現(xiàn)在,身在大山深處的運動愛好者,也能站上焦點。他們驚人的爆發(fā)力、精彩的扣籃瞬間、競技體育精神,以及對籃球的熱愛,都凝固在「子彈時間」的特效里,沖出了十里八鄉(xiāng),可以被全球觀眾反復欣賞。
和「子彈時間」一樣,快手多年來積累的深厚技術也在幫助用戶越過高墻。2022年8月,快手正式發(fā)布技術toB品牌StreamLake,提供一站式音視頻+AI解決方案,助力行業(yè)視頻化和智能化升級。讓視頻的生產(chǎn)和創(chuàng)作變得更「輕盈」,讓前沿技術融入日常生活,也正是快手技術普惠的初心。
好文章,需要你的鼓勵
浙江大學團隊提出動態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調整內部專家配置。該方法在數(shù)學、編程等任務上顯著提升推理準確率,且不增加計算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學研究團隊提出SIRI方法,通過"壓縮-擴張"交替訓練策略,成功解決了大型推理模型"話多且準確率低"的問題。實驗顯示,該方法在數(shù)學競賽題上將模型準確率提升43.2%的同時,輸出長度減少46.9%,真正實現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓練提供了新思路。
南洋理工大學與騰訊聯(lián)合研究團隊開發(fā)出Rolling Forcing技術,實現(xiàn)AI視頻實時流式生成的重大突破。該技術通過滾動窗口聯(lián)合去噪、注意力錨點機制和高效訓練算法三項創(chuàng)新,解決了長視頻生成中的錯誤累積問題,可在單GPU上以16fps速度生成多分鐘高質量視頻,延遲僅0.76秒,質量漂移指標從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內容創(chuàng)作開辟新可能。
華中科技大學研究團隊發(fā)現(xiàn),通過讓AI模型學習解決幾何問題,能夠顯著提升其空間理解能力。他們構建了包含約30000個幾何題目的Euclid30K數(shù)據(jù)集,使用強化學習方法訓練多個AI模型。實驗結果顯示,幾何訓練在四個空間智能測試基準上都帶來顯著提升,其中最佳模型達到49.6%準確率,超越此前最好成績。這項研究揭示了基礎幾何知識對培養(yǎng)AI空間智能的重要價值。