“手動操作”對于人類來說輕而易舉，因?yàn)槲覀兡軌蛟诓患偎妓鞯那闆r下自如地適應(yīng)并協(xié)調(diào)自己的手指，運(yùn)用手掌皮膚的摩擦力與重力特性，單手完成諸多工作。但對于機(jī)器人而言，這卻非常困難。

人類從嬰兒時期開始，就經(jīng)歷了多年的學(xué)習(xí)與演練才慢慢掌握這種強(qiáng)大的手動操作能力; 相比之下，機(jī)器人顯然沒有那么多時間。其中的挑戰(zhàn)在于，我們必須找到一種速度更快且效率更高的學(xué)習(xí)方法，不僅能夠讓機(jī)器人以手動方式實(shí)現(xiàn)反復(fù)操作，同時意識到哪些動作有效、哪些動作無效。

為此，OpenAI的研究人員正在利用強(qiáng)化學(xué)習(xí)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，從而控制一支擁有五根手指的Shadow手臂進(jìn)行物體操控，而這整個學(xué)習(xí)過程只有短短50個小時。通過在模擬當(dāng)中進(jìn)行操作學(xué)習(xí)，加上經(jīng)過精心設(shè)計的隨機(jī)化模擬方法，更好地匹配現(xiàn)實(shí)世界中的場景需求。如此一來，即使從未接觸過任何真實(shí)物體，Shadow手臂仍然能夠順利學(xué)會手動操作的精髓所在。

在理想情況下，只要有足夠的計算能力，所有機(jī)器人都可以接受模擬訓(xùn)練。但問題在于，現(xiàn)實(shí)世界無法被完全精確地模擬出來，特別是在涉及摩擦、順應(yīng)性以及物體間相互作用等細(xì)小因素時，精確模擬將變得更為困難。因此，在可接受的狀態(tài)內(nèi)進(jìn)行模擬雖然效果不錯，但模擬成功與現(xiàn)實(shí)世界成功之間始終還存在著巨大的鴻溝。這會在某種程度上降低模擬訓(xùn)練的價值。

為了解決這類問題，很多研究人員會選擇盡可能提升模擬場景的準(zhǔn)確性，以便從中提取出一些有用的成果。但OpenAI卻反其道而行之，選擇了以可變性為主、準(zhǔn)確性為輔，為仿真模擬提供一系列略有不同的參數(shù)調(diào)整方案，從而確保通過訓(xùn)練形成的行為方式足以在模擬場景之外起效。該項(xiàng)目名為“Dactyl”。

需要重申的是，OpenAI非常清楚其所使用的模擬場景并不足以精確反映各項(xiàng)重要指標(biāo)——例如摩擦系數(shù)以及機(jī)器人手指隨時間推移而表現(xiàn)出的運(yùn)動方式等。為了讓機(jī)器人準(zhǔn)確概括其當(dāng)前學(xué)習(xí)的內(nèi)容，OpenAI盡可能引入更多模擬方面，從而覆蓋一切無法良好建模的可變性因素。其中包括物體的質(zhì)量與尺寸、物體表面與機(jī)器人指尖的摩擦力、機(jī)器人關(guān)節(jié)的阻尼水平、執(zhí)行器力度、關(guān)節(jié)限制、電機(jī)間隙以及噪音大小等。這些因素會對物體施加較小的隨機(jī)力以獲得額外的未建模動態(tài)參數(shù)。當(dāng)然，這一切僅僅是在操作層面——在物體姿態(tài)估計當(dāng)中，OpenAI也以多種變化方式訓(xùn)練RGB相機(jī)，從而降低可視化的實(shí)現(xiàn)門檻。

OpenAI將此稱為“域隨機(jī)化”。在談到手動操作時，OpenAI方面表示：“我們希望了解，經(jīng)過擴(kuò)展的域隨機(jī)化方案能否解決遠(yuǎn)超現(xiàn)有機(jī)器人技術(shù)實(shí)現(xiàn)方法的任務(wù)。”在這方面，OpenAI構(gòu)建了兩套獨(dú)立的神經(jīng)訓(xùn)練網(wǎng)絡(luò)，其中一個負(fù)責(zé)視覺，另一個負(fù)責(zé)操作，通過相互配合觀察方塊物體的姿態(tài)并以多種方式對其進(jìn)行操控，如下圖：

系統(tǒng)得到的惟一反饋（模擬與IRL）就是方塊的位置以及手臂指尖的位置。在這項(xiàng)實(shí)驗(yàn)中，系統(tǒng)最初并不具備任何方塊抓取概念或者操縱方法認(rèn)知。因此，必須從零開始總結(jié)經(jīng)驗(yàn)，包括手指旋轉(zhuǎn)、多指協(xié)調(diào)、配合重力條件的力量控制與調(diào)整等。該系統(tǒng)整合了人類在進(jìn)行手動操作時使用的所有技術(shù)，并對其做出了一系列細(xì)小且有趣的修改，比如：