近日，美國西雅圖的NVIDIA機(jī)器人研究實驗室推出一種將虛擬引入現(xiàn)實的強(qiáng)化學(xué)習(xí)方法，即將機(jī)器人的實際表現(xiàn)與虛擬環(huán)境的參數(shù)調(diào)整相結(jié)合，從而獲得更為真實的虛擬環(huán)境，為實際機(jī)器人的深度學(xué)習(xí)帶來新的視角。

眾所周知，擴(kuò)大機(jī)器人學(xué)習(xí)的方法就是通過盡可能多的在虛擬環(huán)境中對虛擬機(jī)器人進(jìn)行場景訓(xùn)練。因為在虛擬環(huán)境中只要擁有足夠的計算能力，研究人員就可以運行大量的虛擬機(jī)器人，測試各種虛擬的環(huán)境，調(diào)整模擬的速度，從而讓機(jī)器人學(xué)習(xí)得更快。

但是模擬并不是完美的，當(dāng)研究人員將模擬的參數(shù)應(yīng)用到實際環(huán)境中時，總是需要進(jìn)行復(fù)雜而又繁瑣的參數(shù)調(diào)整。在模擬實驗中，NVIDIA的研究人員雖然沒有消滅模擬環(huán)境與現(xiàn)實環(huán)境的參數(shù)差別，但是他們使得機(jī)器人可以自主調(diào)整參數(shù)，這意味著模擬和現(xiàn)實之間的差距可以在沒有人為參與的情況下消失。

具體地，在實驗中，NVIDIA研究人員使用64個NVIDIATesla V100 GPU集群，同時使用cuDNN加速的TensorFlow深度學(xué)習(xí)框架，訓(xùn)練機(jī)器人完成兩項任務(wù)：將一個掛鉤放進(jìn)一個洞和打開一個抽屜。對于場景的模擬，該團(tuán)隊使用了NVIDIA FleX物理引擎。

機(jī)器人的整個學(xué)習(xí)過程是：機(jī)器人首先在模擬環(huán)境中進(jìn)行建模仿真，并且在虛擬環(huán)境中進(jìn)行不斷地訓(xùn)練，將測試得到的數(shù)據(jù)下載到機(jī)器人上，當(dāng)在真實機(jī)器人上嘗試學(xué)習(xí)任務(wù)時，系統(tǒng)準(zhǔn)確觀察它是如何失敗的，并將失敗的數(shù)據(jù)與模擬數(shù)據(jù)進(jìn)行對比，將結(jié)果返回到學(xué)習(xí)框架進(jìn)行優(yōu)化模擬以獲得更接近真實的模擬參數(shù)。為了確定模擬環(huán)境中的參數(shù)對實際機(jī)器人的影響，NVIDIA可以在沒有人參與的情況下將這個誤差反饋到模擬環(huán)境中以改進(jìn)模擬的參數(shù)，使其更接近觀察到的現(xiàn)實情況。

得益于深度學(xué)習(xí)框架的黑盒形態(tài)，虛擬環(huán)境的構(gòu)建者可以擺脫復(fù)雜的物理定律、具體的數(shù)學(xué)模型構(gòu)建，并將這些虛擬環(huán)境的參數(shù)調(diào)整納入到深度學(xué)習(xí)框架，經(jīng)過不斷迭代，系統(tǒng)能夠識別出與現(xiàn)實世界中觀察到的更接近的模擬參數(shù)，從而取得成功，進(jìn)一步打通虛擬與現(xiàn)實之間的隔閡，這為構(gòu)建更為真實的虛擬環(huán)境和更具效率的機(jī)器人學(xué)習(xí)提供了另一種手段。