av天堂久久天堂色综合,最近中文字幕mv免费高清在线,在线a级毛片免费视频,av动漫,中文字幕精品亚洲无线码一区

微信掃一掃,關(guān)注公眾號

  • 科技行者

  • 算力行者

見證連接與計算的「力量」

首頁 對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

2024-01-04 18:05
分享至:
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2024-01-04 18:05 ? 金旺

一張電子地圖的精度,往往決定了你能否借此順利導(dǎo)航到目的地,而在這背后,則是一個鮮為人知的測繪行業(yè)。

電子地圖,只是測繪行業(yè)中眾多細(xì)分應(yīng)用場景之一。

實際上,包括礦山、考古、房地產(chǎn)等各行各業(yè),都離不開測繪,而在產(chǎn)業(yè)數(shù)字化大趨勢下,如何獲取精準(zhǔn)的三維空間數(shù)據(jù),將這些現(xiàn)實場景精準(zhǔn)地映射到數(shù)字世界中,就成了一個關(guān)鍵問題。

在過去很長一段時間里,活躍在測繪市場中的設(shè)備大都來自歐美老牌企業(yè),這些設(shè)備主要通過復(fù)雜的定點(diǎn)掃描方式來獲取三維空間數(shù)據(jù)。

2021年,香港大學(xué)MaRS Lab實驗室對外開源了一個名為FAST-LIO的基于激光雷達(dá)+視覺快速實現(xiàn)三維建圖的項目,“在此之前,業(yè)界也有一些基于激光雷達(dá)實現(xiàn)三維建圖的開源項目,但由于沒有很好的實時性,這些項目無法用在機(jī)器人系統(tǒng),尤其是無人機(jī)系統(tǒng)中,”秦佑銘告訴科技行者。

更為重要的是,MaRS Lab這一開源項目,還將三維建圖的魯棒性做到了業(yè)界真正可用的程度。

2021年由此成了測繪行業(yè)一個轉(zhuǎn)折點(diǎn),在這一年后,國內(nèi)涌現(xiàn)出一批手持式三維掃描建圖設(shè)備集成商。

也是在這一年,還在香港大學(xué)MaRS Lab讀博的秦佑銘有了自己的創(chuàng)業(yè)想法。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

01 初識機(jī)器人

對于理工科學(xué)生而言,能夠在大學(xué)期間打幾場像樣的比賽,是一種比從書本上學(xué)習(xí)知識更重要的經(jīng)歷,這其中尤以機(jī)器人大賽最受歡迎,也最為性感。

深知大賽重要性的大疆,早在2013年就籌辦了一個以“基于機(jī)器視覺的自主移動打靶”為主題的大學(xué)生夏令營,這一夏令營在2015年發(fā)展成為RoboMaster機(jī)器人大賽,這一大賽后來走向全球,成了在全球大學(xué)生中頗具影響力的機(jī)器人比賽。

秦佑銘原本是在美國讀大學(xué),當(dāng)時是在弗吉尼亞理工大學(xué)攻讀電子工程專業(yè),2016年,秦佑銘拿到了到大疆實習(xí)的名額,當(dāng)時他所在的實習(xí)部門正是大疆內(nèi)部支撐RoboMaster大賽的部門。

由于秦佑銘閑暇時也喜歡打MOBA游戲,而RoboMaster大賽本質(zhì)上是機(jī)器人版的MOBA游戲,因此,他很快就喜歡上了這一比賽。

于是,當(dāng)回到弗吉尼亞理工大學(xué)后,他在校內(nèi)組建了一個機(jī)器人俱樂部——RoboGrinder,為的正是組隊打RoboMaster大賽。

2017年,作為隊長的秦佑銘第一次帶隊參加RoboMaster大賽,并一直打到了決賽。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

據(jù)秦佑銘回憶,“2017年全北美一共只有兩支隊伍打入了決賽,一個是華盛頓大學(xué)的隊伍,另一個就是我們。”

為打RoboMaster大賽籌建的RoboGrinder俱樂部是一個復(fù)雜的組織。

在這個俱樂部中,所有成員被分為機(jī)械設(shè)計、電子設(shè)計、計算機(jī)視覺、機(jī)器人操作幾個小組,這幾個小組中,尤以與智能感知高度相關(guān)的計算機(jī)視覺小組最為重要,它在整個團(tuán)隊中扮演的是研發(fā)機(jī)器人大腦的角色。

在比賽中,機(jī)器人時刻需要識別目標(biāo)、進(jìn)行軌跡規(guī)劃,乃至全自動打擊目標(biāo),因而計算機(jī)視覺小組最重要的工作就是構(gòu)建這樣一套系統(tǒng),這套系統(tǒng)在內(nèi)部被親切地稱為“物理外掛”。

至于“物理外掛”究竟有多重要,讓秦佑銘記憶猶新的是,在一場RoboMaster比賽中,當(dāng)時哈工大團(tuán)隊地面上所有機(jī)器人都已經(jīng)被摧毀,眼看就要全軍覆沒時,他們通過僅存的一架裝備自動瞄準(zhǔn)系統(tǒng)的無人機(jī),一舉將對方滿血基地打爆。

這樣完全通過人工智能算法實現(xiàn)的逆風(fēng)翻盤,讓秦佑銘更加篤定了視覺智能的重要性,后來進(jìn)入香港大學(xué)讀博,秦佑銘進(jìn)入的MaRS Lab實驗室后,研究的正是機(jī)器人、尤其是無人機(jī)系統(tǒng)。

“有沒有感知和決策系統(tǒng),是區(qū)分一款機(jī)器人到底是玩具,還是真正的機(jī)器人的重要因素,”秦佑銘告訴科技行者,“現(xiàn)在街頭幾十塊錢買的玩具飛機(jī),也可以通過遙控飛起來,但這并不是機(jī)器人,真正的機(jī)器人是需要具備環(huán)境感知和自主決策能力的。”

進(jìn)入香港大學(xué)MaRS Lab實驗室后,秦佑銘繼續(xù)在機(jī)器人領(lǐng)域深造,當(dāng)時他的研究方向也更聚焦到了機(jī)器人領(lǐng)域尤為關(guān)鍵的一個問題——激光雷達(dá)建圖上。

也是在這里,秦佑銘遇到了后來和他一起創(chuàng)業(yè)的伙伴。

02 三維建圖新需求

在香港大學(xué)讀博期間,秦佑銘一邊和導(dǎo)師做研究,一邊將這些研究成果寫成論文投到了各大期刊,其中有兩篇在業(yè)界引起了很大的反響。

一篇是發(fā)表在全球機(jī)器人頂刊《Science Robotics》上的《A self-rotating, single-actuated UAV with extended sensor field of view for autonomous navigation》。

在這篇論文中,秦佑銘介紹了一種搭載了一套SLAM算法、單電機(jī)驅(qū)動的無人機(jī),這個最簡配置的無人機(jī)在諸如礦洞等場景可以自動導(dǎo)航、自主探索。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

另一篇則是前文提到的FAST-LIO,也是秦佑銘與后來的創(chuàng)業(yè)伙伴徐威共同合作的一篇論文,這篇論文介紹的是一種基于激光雷達(dá)+視覺+IMU多傳感器深度融合的感知系統(tǒng)。

當(dāng)時這些文章一經(jīng)發(fā)表,在業(yè)界得到了不小的關(guān)注,甚至有一些考古、煤礦、房地產(chǎn)領(lǐng)域的團(tuán)隊循跡找來尋求合作。

“在這些研究成果中,最重要的是背后的三維建圖算法,實際上,當(dāng)時找到我們的很多團(tuán)隊,他們內(nèi)部也都有類似的方案,但他們之前大都是通過定點(diǎn)測量方式進(jìn)行三維建圖,建圖空間稍微大一些,操作起來就非常麻煩。”秦佑銘告訴科技行者。

更重要的是,無論是人工測量、還是用無人機(jī)測量,在實時性和魯棒性上都面臨著很大的挑戰(zhàn)。

例如在礦山場景中,國內(nèi)現(xiàn)在在大力推進(jìn)智慧礦山建設(shè),要推進(jìn)智慧礦山建設(shè)、推進(jìn)礦山安全,以及管理的透明化和信息化,首先就需要采集三維數(shù)據(jù)、為這些礦山建立數(shù)字檔案。

然而,礦山的礦洞通常是一個狹長的隧道,隧道中不僅光線弱、沒有明確的參照物,甚至都沒有GPS,這些礦洞亟需的,正是一套好用的三維建圖方案。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

借著這樣的技術(shù)成果,秦佑銘的團(tuán)隊參與到了一些智慧礦山項目中,在參與到產(chǎn)業(yè)中這些實際項目后,秦佑銘深刻感受到,在如今數(shù)字化大潮下,諸如礦山、考古、房地產(chǎn)等行業(yè)對于三維建圖的需求正在不斷涌現(xiàn)。

2021年,在香港大學(xué)支持下,秦佑銘和徐威以機(jī)器人感知技術(shù)為切入點(diǎn)、圍繞三維建圖技術(shù)組建了流形科技的核心團(tuán)隊。

03 Hilti SLAM挑戰(zhàn)賽,贏麻了

2021年創(chuàng)立流形科技時,秦佑銘和徐威還沒有從香港大學(xué)畢業(yè),但當(dāng)時他們和導(dǎo)師在機(jī)器人感知領(lǐng)域的技術(shù)研究和積累,已經(jīng)在整個測繪領(lǐng)域有了不小的影響。

尤其是在2021年開源的FAST-LIO項目,對國內(nèi),乃至全球測繪行業(yè)產(chǎn)生了深遠(yuǎn)影響。

這其中,值得一提的是一個叫作Hilti的大賽。

作為全球頂級的建筑工具公司,Hilti與蘇黎世理工大學(xué)聯(lián)合舉辦的The HILTI SLAM Challenge大賽一直都是測繪領(lǐng)域最具影響力的三維建圖挑戰(zhàn)賽。

以SLAM算法為核心的技術(shù)團(tuán)隊,能在Hilti數(shù)據(jù)集上跑出怎樣的成績、在HILTI SLAM挑戰(zhàn)賽上拿到怎樣的名次,是工作成果最好的證明。

2021年的HILTI SLAM挑戰(zhàn)賽是在9月份舉行,最終參賽隊伍包括來自全球的20支知名企業(yè)和高校的參賽隊伍,這其中既有來自博世的團(tuán)隊,也有來自牛津大學(xué)、新加坡南洋理工大學(xué)的參賽隊伍。

然而,這一年的桂冠卻被一家來自中國的團(tuán)隊摘得,這個團(tuán)隊就是中國AI獨(dú)角獸企業(yè)曠視,而曠視取勝的秘訣之一,就是基于當(dāng)時已經(jīng)開源的FAST-LIO設(shè)計的SLAM算法。

第二年,這一挑戰(zhàn)賽的冠軍同樣是來自中國的一個團(tuán)隊,這次的冠軍團(tuán)隊正是秦佑銘博士和徐威博士所在的團(tuán)隊。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

連續(xù)兩年摘得全球頂級SLAM挑戰(zhàn)賽的桂冠,證實了這一框架的價值,也再次為秦佑銘指明了創(chuàng)業(yè)方向,2022年年底,博士畢業(yè)的秦佑銘和徐威開始專心研發(fā)他們第一款測繪設(shè)備。

半年后,一款名為留形機(jī)的三維建圖手持設(shè)備面市。

一款真正的商用產(chǎn)品,往往要經(jīng)歷兩個階段:技術(shù)研發(fā)階段和工程優(yōu)化階段。

流形科技的留形機(jī)大部分技術(shù)上的問題,秦佑銘和徐威的團(tuán)隊在博士做學(xué)術(shù)研究期間就已經(jīng)想明白,也就是FAST-LIO中解決的問題。

后來國內(nèi)也有團(tuán)隊基于這套框架設(shè)計出了三維建圖的手持設(shè)備,不過,秦佑銘告訴科技行者,“我們看到過一些基于FAST-LIO開源框架設(shè)計的手持設(shè)備,這些設(shè)備在實際使用時,機(jī)身偏移角度很小,使用者要需要小心翼翼地將設(shè)備握在手中,經(jīng)過大門時還要側(cè)著身子過去,這些問題就是需要進(jìn)一步解決的工程優(yōu)化問題。”

流形科技在產(chǎn)品研發(fā)階段,就在與全球知名建筑顧問公司合作,一邊接觸實際項目的工程需求,一邊打磨產(chǎn)品。

例如,2022年,流形科技已經(jīng)將內(nèi)測版本的留形機(jī)用到了香港歷史博物館更新升級中。

香港歷史博物館總面積18500平方米,常設(shè)展廳占地7000平方米,內(nèi)部不僅有多個樓層,而且包含了不同歷史時期的建筑風(fēng)格和文物展品。

在博物館更新升級過程中,施工方需要館體進(jìn)行全方位掃描,這樣的多層次、多風(fēng)格、大面積的空間,讓掃描建圖面臨著極大的挑戰(zhàn)。

最終,流形科技的留形機(jī)在這一項目中不僅實現(xiàn)了厘米級精度的三維建圖,而且在20分鐘左右就把復(fù)雜的建筑架構(gòu)轉(zhuǎn)化成了電腦識別的三維模型。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

更重要的是,流形科技的這一手持設(shè)備在實際項目中不斷進(jìn)行工程優(yōu)化后,自今年6月份發(fā)布以來,經(jīng)過固件更新已經(jīng)迭代了26個版本。

如今的留形機(jī)擁有很高的魯棒性,可以在任意場景、任意角度下使用,解決了市面上手持設(shè)備使用不便的問題。

04 算力涌現(xiàn),測繪下沉

在2021年創(chuàng)業(yè)進(jìn)入三維建圖領(lǐng)域的秦佑銘是幸運(yùn)的。

這一年除了像FAST-LIO這樣影響測繪行業(yè)的開源項目越來越多外,三維建圖亟需的算力也有了不小的提升。

2021年11月,在NVIDIA GTC 2021上,NVIDIA正式對外發(fā)布了Jetson AGX Orin。

對話流形科技秦佑銘:做臺“3D單反”,重啟三維世界

Jetson AGX Orin基于NVIDIA Ampere架構(gòu),相較于上一代產(chǎn)品,性能提升了6倍,每秒可進(jìn)行 200 萬億次運(yùn)算,更重要的是,這代AI超算可以很好地支撐機(jī)器人、醫(yī)療器械等設(shè)備所需要的邊緣算力。

在人工智能計算研究,無論是在學(xué)術(shù)上,還是在企業(yè)內(nèi),都離不開顯卡,秦佑銘早在弗吉尼亞理工大學(xué)帶團(tuán)隊打RoboMaster比賽時,就開始接觸NVIDIA的產(chǎn)品,當(dāng)時用到的是NVIDIA Jetson TX2。

“特別是像我們做機(jī)器人,需要較高的實時算力,一定離不開顯卡和邊緣計算的加持,”秦佑銘告訴科技行者,即便是創(chuàng)業(yè)后,他和團(tuán)隊研發(fā)的留形機(jī)第一款樣機(jī),同樣用到了NVIDIA的GPU。

也是基于這樣的淵源,秦佑銘在創(chuàng)業(yè)時就一直在關(guān)注NVIDIA專為加速創(chuàng)業(yè)公司發(fā)展的NVIDIA初創(chuàng)加速計劃 (NVIDIA Inception),最終,秦佑銘和他的團(tuán)隊不僅在2023年加入了NVIDIA初創(chuàng)加速計劃,還參加了2023 NVIDIA初創(chuàng)企業(yè)展示,并獲得了“榮耀企業(yè)”稱號。

而談及加入NVIDIA初創(chuàng)加速計劃為流形科技帶來的幫助,秦佑銘總結(jié)了三個方面:

第一,NVIDIA Inception有一個非?;钴S的社群,在這個社群中,你有任何問題都可以很容易在社群中找到技術(shù)參考和支持,這能夠幫助我們產(chǎn)品快速迭代,讓我們少走了不少彎路;

第二,NVIDIA Inception給了我們很多與上下游聯(lián)動的機(jī)會,在NVIDIA 初創(chuàng)加速計劃的生態(tài)中,有很多是做邊緣計算的上下游公司,有些本身就是我們的客戶,在商業(yè)方面給了我們很大的幫助;

第三,采購物資方面,NVIDIA官方也會給我們一些支持,這對早期現(xiàn)金流壓力比較大的初創(chuàng)公司也有不小的幫助。

具體到與流形科技產(chǎn)品協(xié)同過程中,由于是基于NVIDIA GPU研發(fā)的產(chǎn)品,流形科技的留形機(jī)可以原生輸出USD格式的三維圖像,并能夠與NVIDIA Omniverse生態(tài)系統(tǒng)完美兼容。

也正是在NVIDIA GPU硬件加速下,如今流形科技研發(fā)的留形機(jī)已經(jīng)實現(xiàn)了亞厘米級實時真彩點(diǎn)云三維重建。

就在這樣的創(chuàng)業(yè)環(huán)境中,對于流形科技的未來,秦佑銘也有了新的打算。

秦佑銘告訴科技行者,“現(xiàn)在我們新一代產(chǎn)品已經(jīng)實現(xiàn)模塊化設(shè)計,可以放在無人機(jī)上,也可以放在機(jī)器狗上,通過模塊化設(shè)計和諸如此類的硬件設(shè)備,我們的產(chǎn)品可以進(jìn)一步深入到更多商用場景中。”

談到更遠(yuǎn)的未來,秦佑銘認(rèn)為,2024年蘋果Vision Pro的發(fā)售將會帶動整個AR/VR產(chǎn)業(yè),未來消費(fèi)市場對于三維建圖將會有很大的需求,流形科技計劃在2025年初進(jìn)入消費(fèi)市場,做一臺用于三維世界的“3D單反”。

而這,也是秦佑銘為他們研發(fā)的產(chǎn)品起名為留形機(jī)一個更深遠(yuǎn)的意義。

分享至
11贊

好文章,需要你的鼓勵

金旺

Wille
關(guān)注智造、硬件、機(jī)器人。
推薦文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-