CNET科技行者 1月19日 北京消息(文/周雅):IMAX電影的片頭,都有一句廣告語(yǔ),大意為“水晶般的畫(huà)質(zhì)感受,栩栩如生的觀影感受”,讓每一個(gè)觀眾都能沉浸在電影語(yǔ)言創(chuàng)造的世界當(dāng)中。但看電影要在固定的場(chǎng)所,在固定的時(shí)間,我們能否隨時(shí)隨地體驗(yàn)這種感受呢?
當(dāng)高通工程師John Cook面帶微笑,從桌上拿起一個(gè)印有“Qualcomm Snapdragon(高通驍龍)”字樣的VR眼鏡時(shí),我們似乎得到了這個(gè)答案。John一邊遞給我眼鏡一邊認(rèn)真地介紹道:“這臺(tái)高通最新款VR一體機(jī)參考設(shè)計(jì)基于高通最新款處理器驍龍845,畫(huà)面會(huì)很美,很流暢。”它沒(méi)有連接笨重的PC,也沒(méi)有復(fù)雜的接線,雖外表看起來(lái)中規(guī)中矩,但當(dāng)我戴上它和耳機(jī),一段太空艙打怪(Space Dock游戲)的沉浸式體驗(yàn)就此開(kāi)始,短短五分鐘,并沒(méi)有motion sickness(暈眩感)。除了不同于以往VR體驗(yàn)的四周維度,這次還能明顯感受到高低維度,更具現(xiàn)場(chǎng)感,好像比身處豪華影廳看3D電影還能讓人身臨其境。
實(shí)現(xiàn)這一革命性體驗(yàn)的背后支持,一方面來(lái)自于高通剛剛發(fā)布的驍龍845移動(dòng)平臺(tái),另一方面源于演示環(huán)境中極低的網(wǎng)絡(luò)延遲。高通現(xiàn)場(chǎng)高級(jí)工程師Mamatha Kandi解釋說(shuō),“延遲小于20毫秒的VR設(shè)備才幾乎沒(méi)有motion sickness”。屏幕也是因素之一。市面上主流產(chǎn)品屏幕都是LCD屏,自帶很高的余暉效應(yīng),做不到20毫秒,導(dǎo)致產(chǎn)品體驗(yàn)拖影嚴(yán)重,造成暈炫。
這是拉斯維加斯CES 2018高通展臺(tái)的一幕。今年是VR/AR亮相CES的第六年,參展商都有了自己的獨(dú)立展區(qū)。如果你恰巧在現(xiàn)場(chǎng),或許不會(huì)想錯(cuò)過(guò)VR/AR show,門(mén)口一般排著老長(zhǎng)隊(duì)伍,看起來(lái)那么火爆,那么吸引人,而且無(wú)處不在。
CES 2018高通展區(qū)移動(dòng)VR體驗(yàn)館
沉浸靠連接,5G實(shí)現(xiàn)新體驗(yàn)
在去年早些時(shí)候的一次采訪中,高通產(chǎn)品管理總監(jiān)Hiren Bhinde曾經(jīng)做出判斷,智能手機(jī)是現(xiàn)在最重要的計(jì)算平臺(tái),相信XR將會(huì)成為下一代的移動(dòng)計(jì)算平臺(tái)。而XR就是沉浸式體驗(yàn)的技術(shù)打開(kāi)方式。XR(即Expanded Reality,擴(kuò)展現(xiàn)實(shí)),意指AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))、VR(Virtual Reality,虛擬現(xiàn)實(shí))和MR(Mix Reality,混合現(xiàn)實(shí))的融合,三者融合被高通視為一個(gè)技術(shù)趨勢(shì)。
據(jù)我們從CES 2018高通展區(qū)展示的案例來(lái)看,XR應(yīng)用已經(jīng)十分廣泛,涉及工業(yè)生產(chǎn)、健康醫(yī)療、教育、軍事、娛樂(lè)等等領(lǐng)域。例如,一個(gè)消防員要進(jìn)入建筑中救火,他的XR設(shè)備應(yīng)該足夠輕,同時(shí)能聯(lián)網(wǎng),有眼球追蹤攝像頭來(lái)顯示他看到的情況,以及很多其他通信功能來(lái)協(xié)助他工作。比如,當(dāng)消防員戴著這樣一款XR設(shè)備進(jìn)入起火的酒店大堂時(shí),眼鏡可以顯示左邊起火房間的溫度,攝像頭會(huì)顯示右邊房間有人正在被營(yíng)救,或者更遠(yuǎn)的樓道里有人正在呼救……
由此我們可以清楚地發(fā)現(xiàn),沉浸式體驗(yàn)需要具備這樣一些因素:高傳播速率和更快的連接、移動(dòng)無(wú)線XR、傳感器、人工智能算法、眼球追蹤攝像頭、手勢(shì)識(shí)別等。而高傳播速率和更快的連接能夠通過(guò)5G技術(shù)實(shí)現(xiàn),5G將帶來(lái)徹底的革命性無(wú)線新體驗(yàn),我們可以再詳細(xì)解讀幾個(gè)場(chǎng)景。
第一,移動(dòng)視覺(jué)型需求,包括增強(qiáng)型移動(dòng)寬帶、高清視頻和無(wú)線傳輸?shù)腣R應(yīng)用。5G的數(shù)據(jù)速率非常高,能達(dá)到數(shù)百兆,甚至數(shù)千兆比特每秒(Gbps)數(shù)據(jù)傳輸速率的帶寬,正是得益于此,我們才能在看錄像時(shí)產(chǎn)生身臨其境的感覺(jué)。譬如,一個(gè)人去聽(tīng)現(xiàn)場(chǎng)演唱會(huì),碰到現(xiàn)場(chǎng)門(mén)票售罄,可以選擇購(gòu)買(mǎi)虛擬門(mén)票,在家中戴上虛擬頭盔體驗(yàn)身臨其境之感。這就依賴(lài)于現(xiàn)場(chǎng)360度相機(jī)的實(shí)時(shí)傳輸,甚至可以通過(guò)現(xiàn)場(chǎng)幾部5G手機(jī)拍攝,而后將所拍的場(chǎng)景拼湊成一個(gè)360度體驗(yàn)。只有在5G場(chǎng)景下,實(shí)時(shí)的超高速傳輸速率才能夠支持這樣的體驗(yàn),而不會(huì)卡頓。
第二,關(guān)鍵業(yè)務(wù)型服務(wù)。與3G、4G不同,關(guān)鍵業(yè)務(wù)型服務(wù)并不只著眼于提高數(shù)據(jù)傳輸速率,而且對(duì)系統(tǒng)的可靠性和時(shí)延要求更高,因?yàn)?G應(yīng)用場(chǎng)景不能遺漏任何一條信息,比如工業(yè)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)。假設(shè)你在開(kāi)車(chē),很多路況信息需要及時(shí)地反映給駕駛系統(tǒng),而周?chē)軌蛱峁┫嚓P(guān)信息的來(lái)源又非常多(如交通信號(hào)燈、路況等),這些都構(gòu)成了自動(dòng)駕駛的重要應(yīng)用場(chǎng)景,因此需要大量高可靠、低延時(shí)的連接——目前,5G的設(shè)計(jì)思想把系統(tǒng)時(shí)延控制在一毫秒以?xún)?nèi),因?yàn)槊恳缓撩雽?duì)關(guān)鍵業(yè)務(wù)型服務(wù)來(lái)說(shuō),都非常重要。如果這些信息因?yàn)榫W(wǎng)絡(luò)延時(shí)問(wèn)題導(dǎo)致信息的混亂,用戶(hù)的基本體驗(yàn)都將無(wú)從談起。
第三,萬(wàn)物互聯(lián),也就是要實(shí)現(xiàn)無(wú)處不在的連接,比如智慧公共服務(wù)。在家庭或者城市場(chǎng)景下,每一項(xiàng)公共服務(wù)都會(huì)向智能化轉(zhuǎn)型,比如水表和電表。我們需要這些實(shí)時(shí)連接的儀表盤(pán)節(jié)省電量,延長(zhǎng)使用時(shí)間,在海量數(shù)據(jù)傳輸?shù)那闆r下,沒(méi)有好的功耗控制,也將無(wú)法實(shí)現(xiàn)這些業(yè)務(wù)場(chǎng)景。這也是5G的低功耗大連接的優(yōu)勢(shì)和對(duì)相關(guān)技術(shù)平臺(tái)的需求。
由此可見(jiàn),5G是通往未來(lái)通信領(lǐng)域的關(guān)鍵一步。而先進(jìn)的5G技術(shù)平臺(tái),也一定會(huì)是無(wú)線通信企業(yè)的愿景和目標(biāo)。CES 2018期間,剛剛受任為高通總裁的Cristiano Amon(克里斯蒂安諾·阿蒙)在演講中直截了當(dāng)?shù)攸c(diǎn)出具體的計(jì)劃:高通目前一方面致力于推動(dòng)5G發(fā)展,為移動(dòng)通信業(yè)務(wù)帶來(lái)創(chuàng)新。高通致力于在2019年上半年就能讓全球消費(fèi)者看到支持5G的旗艦智能手機(jī)面市;另一方面,高通也正在將自身在移動(dòng)領(lǐng)域的技術(shù)不斷擴(kuò)展到相鄰市場(chǎng),包括VR、可穿戴、PC、車(chē)聯(lián)網(wǎng)、IoT等等的新業(yè)務(wù),這些新業(yè)務(wù)、新技術(shù)都是移動(dòng)技術(shù)的延伸。在2017財(cái)年里,這些新業(yè)務(wù)的營(yíng)收總和達(dá)30億美元,與2015年相比,增長(zhǎng)75%。這正是將移動(dòng)核心技術(shù)不斷擴(kuò)展到其他領(lǐng)域所帶來(lái)的效益。
生態(tài)賦能,沉浸式時(shí)代加快到來(lái)
正因?yàn)橛脩?hù)體驗(yàn)的巨大變化,再加上3GPP剛剛完成首個(gè)可實(shí)施的5G新空口(5G NR)規(guī)范,5G輪廓越來(lái)越清晰,因此廠商們也越來(lái)越注重沉浸式體驗(yàn)性能帶來(lái)的重大產(chǎn)業(yè)機(jī)遇。
CES一個(gè)有趣的現(xiàn)象可以解釋這個(gè)觀點(diǎn),盡管今年VR/AR參展商數(shù)量較往年有所下降,但首發(fā)新品質(zhì)量反而攀升。譬如,中國(guó)廠商VR一體機(jī)勢(shì)頭兇猛,小米、創(chuàng)維、聯(lián)想、IDEALENS、愛(ài)奇藝、Pico、華為等紛紛推出最新VR一體機(jī);此外,輕量和智能成為AR的關(guān)鍵詞,SeengeneX AR雙目眼鏡一體機(jī)僅166克,耐德佳的AR智能眼鏡“New Glass C300”厚度僅為5mm。
當(dāng)然,未來(lái)的XR不會(huì)由固定的PC引領(lǐng),而是依靠移動(dòng)通信技術(shù)。高通產(chǎn)品管理副總裁Eduardo Esteves告訴我,對(duì)于XR來(lái)說(shuō),附加PC成本太高,太不便利,因此它的驅(qū)動(dòng)力來(lái)自于移動(dòng)領(lǐng)域,需要具備低功耗、低時(shí)延、高散熱率、全覆蓋,以達(dá)到沉浸式體驗(yàn)。
高通的沉浸式體驗(yàn)生態(tài)系統(tǒng),是讓行業(yè)合作伙伴能夠快速提供成熟產(chǎn)品的有力支持。
首先是芯片。驍龍835就是高通為支持XR體驗(yàn)所打造的移動(dòng)平臺(tái),再到驍龍845,它集成了Qualcomm Spectra™ 280 ISP和Qualcomm® Adreno™ 630視覺(jué)處理子系統(tǒng),所引入的“Adreno視覺(jué)聚焦”可以顯著降低功耗,提升視覺(jué)質(zhì)量,帶來(lái)的圖像增強(qiáng)技術(shù)將在XR體驗(yàn)中得到發(fā)揮,變革娛樂(lè)、教育和社交互動(dòng),更具沉浸感和直觀性。
其次是軟件發(fā)展路線。高通提供了專(zhuān)門(mén)的VR軟件開(kāi)發(fā)工具包(SDK),以幫助開(kāi)發(fā)者們快速上手開(kāi)發(fā)XR應(yīng)用。譬如,驍龍845是首款支持室內(nèi)空間定位(room-scale)六自由度(6DoF)和即時(shí)定位與地圖構(gòu)建(SLAM)的移動(dòng)平臺(tái),從而實(shí)現(xiàn)諸如避免墻壁碰撞等特性。
再者是高通的頭戴式顯示器(HMD)加速器計(jì)劃,讓OEM廠商能以更快的速度實(shí)現(xiàn)產(chǎn)品商用。
由此,這樣的酷炫產(chǎn)品越來(lái)越多。Facebook VR 負(fù)責(zé)人(小米前副總裁)Hugo Barra公布了一體機(jī)Oculus Go,另公布與小米聯(lián)合推出小米VR一體機(jī)Mi VR(后者被視為Oculus Go中國(guó)版),兩者均搭載高通驍龍821移動(dòng)VR平臺(tái)和WQHD顯示屏,不需要嵌入手機(jī),也不需要連接電腦,可獨(dú)立運(yùn)行。目前,高通的驍龍芯片已經(jīng)被應(yīng)用到20款MR/VR頭盔中。
某種程度上說(shuō),我們很難預(yù)測(cè)5G時(shí)代的沉浸式體驗(yàn)會(huì)給人們的數(shù)字化生活帶來(lái)哪些改變,畢竟人們正在經(jīng)歷改變,但是我們都知道,這些改變將會(huì)顛覆以往的認(rèn)知。栩栩如生的感受,可能就發(fā)生在未來(lái)的5G時(shí)代。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專(zhuān)家搜索方法,讓AI能根據(jù)不同問(wèn)題靈活調(diào)整內(nèi)部專(zhuān)家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類(lèi)型問(wèn)題偏愛(ài)不同專(zhuān)家配置,為AI推理優(yōu)化開(kāi)辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過(guò)"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話(huà)多且準(zhǔn)確率低"的問(wèn)題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開(kāi)發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過(guò)滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問(wèn)題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開(kāi)辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過(guò)讓AI模型學(xué)習(xí)解決幾何問(wèn)題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來(lái)顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。