CNET科技行者 1月19日 北京消息(文/周雅):IMAX電影的片頭,都有一句廣告語,大意為“水晶般的畫質(zhì)感受,栩栩如生的觀影感受”,讓每一個觀眾都能沉浸在電影語言創(chuàng)造的世界當中。但看電影要在固定的場所,在固定的時間,我們能否隨時隨地體驗這種感受呢?
當高通工程師John Cook面帶微笑,從桌上拿起一個印有“Qualcomm Snapdragon(高通驍龍)”字樣的VR眼鏡時,我們似乎得到了這個答案。John一邊遞給我眼鏡一邊認真地介紹道:“這臺高通最新款VR一體機參考設計基于高通最新款處理器驍龍845,畫面會很美,很流暢。”它沒有連接笨重的PC,也沒有復雜的接線,雖外表看起來中規(guī)中矩,但當我戴上它和耳機,一段太空艙打怪(Space Dock游戲)的沉浸式體驗就此開始,短短五分鐘,并沒有motion sickness(暈眩感)。除了不同于以往VR體驗的四周維度,這次還能明顯感受到高低維度,更具現(xiàn)場感,好像比身處豪華影廳看3D電影還能讓人身臨其境。
實現(xiàn)這一革命性體驗的背后支持,一方面來自于高通剛剛發(fā)布的驍龍845移動平臺,另一方面源于演示環(huán)境中極低的網(wǎng)絡延遲。高通現(xiàn)場高級工程師Mamatha Kandi解釋說,“延遲小于20毫秒的VR設備才幾乎沒有motion sickness”。屏幕也是因素之一。市面上主流產(chǎn)品屏幕都是LCD屏,自帶很高的余暉效應,做不到20毫秒,導致產(chǎn)品體驗拖影嚴重,造成暈炫。
這是拉斯維加斯CES 2018高通展臺的一幕。今年是VR/AR亮相CES的第六年,參展商都有了自己的獨立展區(qū)。如果你恰巧在現(xiàn)場,或許不會想錯過VR/AR show,門口一般排著老長隊伍,看起來那么火爆,那么吸引人,而且無處不在。
CES 2018高通展區(qū)移動VR體驗館
沉浸靠連接,5G實現(xiàn)新體驗
在去年早些時候的一次采訪中,高通產(chǎn)品管理總監(jiān)Hiren Bhinde曾經(jīng)做出判斷,智能手機是現(xiàn)在最重要的計算平臺,相信XR將會成為下一代的移動計算平臺。而XR就是沉浸式體驗的技術(shù)打開方式。XR(即Expanded Reality,擴展現(xiàn)實),意指AR(Augmented Reality,增強現(xiàn)實)、VR(Virtual Reality,虛擬現(xiàn)實)和MR(Mix Reality,混合現(xiàn)實)的融合,三者融合被高通視為一個技術(shù)趨勢。
據(jù)我們從CES 2018高通展區(qū)展示的案例來看,XR應用已經(jīng)十分廣泛,涉及工業(yè)生產(chǎn)、健康醫(yī)療、教育、軍事、娛樂等等領域。例如,一個消防員要進入建筑中救火,他的XR設備應該足夠輕,同時能聯(lián)網(wǎng),有眼球追蹤攝像頭來顯示他看到的情況,以及很多其他通信功能來協(xié)助他工作。比如,當消防員戴著這樣一款XR設備進入起火的酒店大堂時,眼鏡可以顯示左邊起火房間的溫度,攝像頭會顯示右邊房間有人正在被營救,或者更遠的樓道里有人正在呼救……
由此我們可以清楚地發(fā)現(xiàn),沉浸式體驗需要具備這樣一些因素:高傳播速率和更快的連接、移動無線XR、傳感器、人工智能算法、眼球追蹤攝像頭、手勢識別等。而高傳播速率和更快的連接能夠通過5G技術(shù)實現(xiàn),5G將帶來徹底的革命性無線新體驗,我們可以再詳細解讀幾個場景。
第一,移動視覺型需求,包括增強型移動寬帶、高清視頻和無線傳輸?shù)腣R應用。5G的數(shù)據(jù)速率非常高,能達到數(shù)百兆,甚至數(shù)千兆比特每秒(Gbps)數(shù)據(jù)傳輸速率的帶寬,正是得益于此,我們才能在看錄像時產(chǎn)生身臨其境的感覺。譬如,一個人去聽現(xiàn)場演唱會,碰到現(xiàn)場門票售罄,可以選擇購買虛擬門票,在家中戴上虛擬頭盔體驗身臨其境之感。這就依賴于現(xiàn)場360度相機的實時傳輸,甚至可以通過現(xiàn)場幾部5G手機拍攝,而后將所拍的場景拼湊成一個360度體驗。只有在5G場景下,實時的超高速傳輸速率才能夠支持這樣的體驗,而不會卡頓。
第二,關(guān)鍵業(yè)務型服務。與3G、4G不同,關(guān)鍵業(yè)務型服務并不只著眼于提高數(shù)據(jù)傳輸速率,而且對系統(tǒng)的可靠性和時延要求更高,因為5G應用場景不能遺漏任何一條信息,比如工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)。假設你在開車,很多路況信息需要及時地反映給駕駛系統(tǒng),而周圍能夠提供相關(guān)信息的來源又非常多(如交通信號燈、路況等),這些都構(gòu)成了自動駕駛的重要應用場景,因此需要大量高可靠、低延時的連接——目前,5G的設計思想把系統(tǒng)時延控制在一毫秒以內(nèi),因為每一毫秒對關(guān)鍵業(yè)務型服務來說,都非常重要。如果這些信息因為網(wǎng)絡延時問題導致信息的混亂,用戶的基本體驗都將無從談起。
第三,萬物互聯(lián),也就是要實現(xiàn)無處不在的連接,比如智慧公共服務。在家庭或者城市場景下,每一項公共服務都會向智能化轉(zhuǎn)型,比如水表和電表。我們需要這些實時連接的儀表盤節(jié)省電量,延長使用時間,在海量數(shù)據(jù)傳輸?shù)那闆r下,沒有好的功耗控制,也將無法實現(xiàn)這些業(yè)務場景。這也是5G的低功耗大連接的優(yōu)勢和對相關(guān)技術(shù)平臺的需求。
由此可見,5G是通往未來通信領域的關(guān)鍵一步。而先進的5G技術(shù)平臺,也一定會是無線通信企業(yè)的愿景和目標。CES 2018期間,剛剛受任為高通總裁的Cristiano Amon(克里斯蒂安諾·阿蒙)在演講中直截了當?shù)攸c出具體的計劃:高通目前一方面致力于推動5G發(fā)展,為移動通信業(yè)務帶來創(chuàng)新。高通致力于在2019年上半年就能讓全球消費者看到支持5G的旗艦智能手機面市;另一方面,高通也正在將自身在移動領域的技術(shù)不斷擴展到相鄰市場,包括VR、可穿戴、PC、車聯(lián)網(wǎng)、IoT等等的新業(yè)務,這些新業(yè)務、新技術(shù)都是移動技術(shù)的延伸。在2017財年里,這些新業(yè)務的營收總和達30億美元,與2015年相比,增長75%。這正是將移動核心技術(shù)不斷擴展到其他領域所帶來的效益。
生態(tài)賦能,沉浸式時代加快到來
正因為用戶體驗的巨大變化,再加上3GPP剛剛完成首個可實施的5G新空口(5G NR)規(guī)范,5G輪廓越來越清晰,因此廠商們也越來越注重沉浸式體驗性能帶來的重大產(chǎn)業(yè)機遇。
CES一個有趣的現(xiàn)象可以解釋這個觀點,盡管今年VR/AR參展商數(shù)量較往年有所下降,但首發(fā)新品質(zhì)量反而攀升。譬如,中國廠商VR一體機勢頭兇猛,小米、創(chuàng)維、聯(lián)想、IDEALENS、愛奇藝、Pico、華為等紛紛推出最新VR一體機;此外,輕量和智能成為AR的關(guān)鍵詞,SeengeneX AR雙目眼鏡一體機僅166克,耐德佳的AR智能眼鏡“New Glass C300”厚度僅為5mm。
當然,未來的XR不會由固定的PC引領,而是依靠移動通信技術(shù)。高通產(chǎn)品管理副總裁Eduardo Esteves告訴我,對于XR來說,附加PC成本太高,太不便利,因此它的驅(qū)動力來自于移動領域,需要具備低功耗、低時延、高散熱率、全覆蓋,以達到沉浸式體驗。
高通的沉浸式體驗生態(tài)系統(tǒng),是讓行業(yè)合作伙伴能夠快速提供成熟產(chǎn)品的有力支持。
首先是芯片。驍龍835就是高通為支持XR體驗所打造的移動平臺,再到驍龍845,它集成了Qualcomm Spectra™ 280 ISP和Qualcomm® Adreno™ 630視覺處理子系統(tǒng),所引入的“Adreno視覺聚焦”可以顯著降低功耗,提升視覺質(zhì)量,帶來的圖像增強技術(shù)將在XR體驗中得到發(fā)揮,變革娛樂、教育和社交互動,更具沉浸感和直觀性。
其次是軟件發(fā)展路線。高通提供了專門的VR軟件開發(fā)工具包(SDK),以幫助開發(fā)者們快速上手開發(fā)XR應用。譬如,驍龍845是首款支持室內(nèi)空間定位(room-scale)六自由度(6DoF)和即時定位與地圖構(gòu)建(SLAM)的移動平臺,從而實現(xiàn)諸如避免墻壁碰撞等特性。
再者是高通的頭戴式顯示器(HMD)加速器計劃,讓OEM廠商能以更快的速度實現(xiàn)產(chǎn)品商用。
由此,這樣的酷炫產(chǎn)品越來越多。Facebook VR 負責人(小米前副總裁)Hugo Barra公布了一體機Oculus Go,另公布與小米聯(lián)合推出小米VR一體機Mi VR(后者被視為Oculus Go中國版),兩者均搭載高通驍龍821移動VR平臺和WQHD顯示屏,不需要嵌入手機,也不需要連接電腦,可獨立運行。目前,高通的驍龍芯片已經(jīng)被應用到20款MR/VR頭盔中。
某種程度上說,我們很難預測5G時代的沉浸式體驗會給人們的數(shù)字化生活帶來哪些改變,畢竟人們正在經(jīng)歷改變,但是我們都知道,這些改變將會顛覆以往的認知。栩栩如生的感受,可能就發(fā)生在未來的5G時代。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓練AI玩簡單撲克游戲就能讓其數(shù)學推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學題目作為訓練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學解題中,為AI訓練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學習和數(shù)學優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學習訓練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓練效率,已在多個任務上驗證有效性。