Google AI 與 DeepMind 合作推出深度規(guī)劃網(wǎng)絡 (PlaNet)，這是一個純粹基于模型的智能體，能從圖像輸入中學習世界模型，完成多項規(guī)劃任務，數(shù)據(jù)效率平均提升50倍，強化學習又一突破。

通過強化學習 (RL)，對 AI 智能體如何隨著時間的推移提高決策能力的研究進展迅速。

對于強化學習，智能體在選擇動作 (例如，運動命令) 時會觀察一系列感官輸入(例如，相機圖像)，并且有時會因為達成指定目標而獲得獎勵。

RL 的無模型方法 (Model-free) 旨在通過感官觀察直接預測良好的行為，這種方法使 DeepMind 的 DQN 能夠玩雅達利游戲，使其他智能體能夠控制機器人。

然而，這是一種黑盒方法，通常需要經(jīng)過數(shù)周的模擬交互才能通過反復試驗來學習，這限制了它在實踐中的有效性。

相反，基于模型的 RL 方法 (Model-basedRL) 試圖讓智能體了解整個世界的行為。這種方法不是直接將觀察結果映射到行動，而是允許 agent 明確地提前計劃，通過 “想象” 其長期結果來更仔細地選擇行動。

Model-based 的方法已經(jīng)取得了巨大的成功，包括 AlphaGo，它設想在已知游戲規(guī)則的虛擬棋盤上進行一系列的移動。然而，要在未知環(huán)境中利用規(guī)劃(例如僅將像素作為輸入來控制機器人)，智能體必須從經(jīng)驗中學習規(guī)則或動態(tài)。

由于這種動態(tài)模型原則上允許更高的效率和自然的多任務學習，因此創(chuàng)建足夠精確的模型以成功地進行規(guī)劃是 RL 的長期目標。

為了推動這項研究挑戰(zhàn)的進展，Google AI 與 DeepMind 合作，提出了深度規(guī)劃網(wǎng)絡 (Deep Planning Network, PlaNet)，該智能體僅從圖像輸入中學習世界模型 (world model)，并成功地利用它進行規(guī)劃。

PlaNet 解決了各種基于圖像的控制任務，在最終性能上可與先進的 model-free agent 競爭，同時平均數(shù)據(jù)效率提高了 5000%。研究團隊將發(fā)布源代碼供研究社區(qū)使用。

在 2000 次的嘗試中，PlaNet 智能體學習解決了各種連續(xù)控制任務。以前的沒有學習環(huán)境模型的智能體通常需要多 50 倍的嘗試次數(shù)才能達到類似的性能。

PlaNet 的工作原理

簡而言之，PlaNet 學習了給定圖像輸入的動態(tài)模型 (dynamics model)，并有效地利用該模型進行規(guī)劃，以收集新的經(jīng)驗。

與以前的圖像規(guī)劃方法不同，我們依賴于隱藏狀態(tài)或潛在狀態(tài)的緊湊序列。這被稱為latent dynamics model：我們不是直接從一個圖像到下一個圖像地預測，而是預測未來的潛在狀態(tài)。然后從相應的潛在狀態(tài)生成每一步的圖像和獎勵。

通過這種方式壓縮圖像，agent 可以自動學習更抽象的表示，例如對象的位置和速度，這樣就可以更容易地向前預測，而不需要沿途生成圖像。

Learned Latent Dynamics Model：在 latent dynamics 模型中，利用編碼器網(wǎng)絡(灰色梯形) 將輸入圖像的信息集成到隱藏狀態(tài)(綠色) 中。然后將隱藏狀態(tài)向前投影，以預測未來的圖像(藍色梯形) 和獎勵(藍色矩形)。

為了學習一個精確的 latent dynamics 模型，我們提出了：

循環(huán)狀態(tài)空間模型 (Recurrent State Space Model)：一種具有確定性和隨機性成分的 latent dynamics 模型，允許根據(jù)魯棒規(guī)劃的需要預測各種可能的未來，同時記住多個時間步長的信息。我們的實驗表明這兩個組件對于提高規(guī)劃性能是至關重要的。

潛在超調目標 (Latent Overshooting Objective)：我們通過在潛在空間中強制 one-step 和 multi-step 預測之間的一致性，將 latent dynamics 模型的標準訓練目標推廣到訓練多步預測。這產(chǎn)生了一個快速和有效的目標，可以改善長期預測，并與任何潛在序列模型兼容。

雖然預測未來的圖像允許我們教授模型，但編碼和解碼圖像 (上圖中的梯形) 需要大量的計算，這會減慢智能體的 planning 過程。然而，在緊湊的潛在狀態(tài)空間中進行 planning 是很快的，因為我們只需要預測未來的 rewards 來評估一個動作序列，而不是預測圖像。

例如，智能體可以想象球的位置和它到目標的距離在特定的動作中將如何變化，而不需要可視化場景。這允許我們在每次智能體選擇一個動作時，將 10000 個想象的動作序列與一個大的 batch size 進行比較。然后執(zhí)行找到的最佳序列的第一個動作，并在下一步重新規(guī)劃。

在潛在空間中進行規(guī)劃：為了進行規(guī)劃，我們將過去的圖像 (灰色梯形) 編碼為當前的隱藏狀態(tài) (綠色)。這樣，我們可以有效地預測多個動作序列的未來獎勵。請注意，上圖中昂貴的圖像解碼器 (藍色梯形) 已經(jīng)消失了。然后，執(zhí)行找到的最佳序列的第一個操作 (紅色框)。

與我們之前關于世界模型的工作 (https://worldmodels.github.io/) 相比，PlaNet 在沒有策略網(wǎng)絡的情況下工作 —— 它純粹通過 planning 來選擇行動，因此它可以從模型當下的改進中獲益。有關技術細節(jié)，請參閱我們的研究論文。

PlaNet vs. Model-Free 方法

我們在連續(xù)控制任務上評估了 PlaNet。智能體只被輸入圖像觀察和獎勵。我們考慮了具有各種不同挑戰(zhàn)的任務：

側手翻任務：帶有一個固定的攝像頭，這樣推車可以移動到視線之外。因此，智能體必須吸收并記住多個幀的信息。

手指旋轉任務：需要預測兩個單獨的對象，以及它們之間的交互。

獵豹跑步任務：包括難以準確預測的地面接觸，要求模型預測多個可能的未來。

杯子接球任務：它只在球被接住時提供一個稀疏的獎勵信號。這要求準確預測很遠的未來，并規(guī)劃一個精確的動作序列。

走路任務：模擬機器人一開始是躺在地上，然后它必須先學會站立，再學習行走。

PlaNet 智能體接受了各種基于圖像的控制任務的訓練。動圖顯示了當智能體解決任務時輸入的圖像。這些任務提出了不同的挑戰(zhàn)：部分可觀察性、與地面的接觸、接球的稀疏獎勵，以及控制一個具有挑戰(zhàn)性的雙足機器人。

這一研究是第一個使用學習模型進行規(guī)劃，并在基于圖像的任務上優(yōu)于 model-free 方法的案例。

下表將PlaNet與著名的A3C 智能體和 D4PG 智能體進行了比較，后者結合了 model-free RL 的最新進展。這些基線數(shù)據(jù)來自 DeepMind 控制套件。PlaNet 在所有任務上都明顯優(yōu)于 A3C，最終性能接近 D4PG，同時與環(huán)境的交互平均減少了 5000%。

所有任務只需要一個智能體

此外，我們只訓練了一個單一的 PlaNet 智能體來解決所有六個任務。

在不知道任務的情況下，智能體被隨機放置在不同的環(huán)境中，因此它需要通過觀察圖像來推斷任務。

在不改變超參數(shù)的情況下，多任務智能體實現(xiàn)了與單個智能體相同的平均性能。雖然在側手翻任務中學習速度較慢，但在需要探索的具有挑戰(zhàn)性的步行任務中，它的學習速度要快得多，最終表現(xiàn)也更好。

在多個任務上訓練的 PlaNet 智能體。智能體觀察前 5 個幀作為上下文以推斷任務和狀態(tài)，并在給定動作序列的情況下提前準確地預測 50 個步驟。

結論

我們的結果展示了構建自主 RL 智能體的學習動態(tài)模型的前景。我們鼓勵進一步的研究，集中在學習更困難的任務的精確動態(tài)模型，如三維環(huán)境和真實的機器人任務。擴大規(guī)模的一個可能因素是 TPU 的處理能力。我們對 model-based 強化學習帶來的可能性感到興奮，包括多任務學習、分層規(guī)劃和使用不確定性估計的主動探索。