谷歌發(fā)布博客介紹其最新推出的強化學習新框架 Dopamine，該框架基于TensorFlow，可提供靈活性、穩(wěn)定性、復現(xiàn)性，以及快速的基準測試。

GitHub repo： https://github.com/google/dopamine

在過去幾年里，強化學習研究取得了多方面的顯著進展。這些進展使得智能體能夠以超越人類的水平玩游戲，其中比較可圈可點的例子包括：DeepMind 的 DQN 在 Atari 游戲上的表現(xiàn)、AlphaGo、AlphaGoZero 以及 Open AI Five。具體來說，在 DQN 中引入重播記憶（replay memory）使得智能體能夠利用先前的經驗，大規(guī)模分布式訓練使得智能體能夠將學習過程分配給多個工作線程（worker），分布式方法使得智能體能夠建模完整的分布，而不僅僅是它們的期望值，從而了解它們所在環(huán)境的完整情況。這種進步非常重要，因為算法催生的這些進展還可用于其他領域，如機器人學。

通常來講，取得此類進展需要在設計上進行快速迭代（通常沒有明確的方向），打破已有方法的結構。然而，多數現(xiàn)有強化學習框架并不同時具備可讓研究者高效迭代 RL 方法的靈活性和穩(wěn)定性，因此探索新的研究方向可能短期內無法獲得明顯的收益。再者，復現(xiàn)現(xiàn)有框架的結果通常太過耗時，可能會導致科學復現(xiàn)性問題。

今天，谷歌介紹了一款基于TensorFlow的新框架，旨在為強化學習研究者及相關人員提供具備靈活性、穩(wěn)定性及復現(xiàn)性的工具。該框架的靈感來自于大腦中獎勵–激勵行為的主要組成部分「多巴胺」（Dopamine），這反映了神經科學和強化學習研究之間的密切聯(lián)系，該框架旨在支持能夠推動重大發(fā)現(xiàn)的推測性研究。谷歌還發(fā)布了一組相關的 Colab（ https://github.com/google/dopamine/blob/master/dopamine/colab/README.md ），以說明該框架的使用方法。

易用性

清晰性（clarity）和簡明性（simplicity）是該框架設計過程中的兩個關鍵考量因素。谷歌提供的代碼很緊湊（大約 15 個 Python 文件）且記錄良好。原因在于谷歌研究人員專注于街機模式學習環(huán)境（ALE，一個成熟、已被充分了解的基準）和四個基于價值的智能體：DQN、C51、精心設計的 Rainbow 智能體簡化版和 Implicit Quantile Network 智能體（上個月才在 ICML 大會上得到展示）。谷歌希望這一簡明性特點可使研究者容易理解智能體的內在工作原理，快速嘗試新想法。

復現(xiàn)性

谷歌非?？粗貜娀瘜W習研究中的復現(xiàn)性。因此，谷歌提供了其代碼的完整測試；這些測試見文檔附表。此外，谷歌的實驗框架遵循 Machado 等人（2018）關于利用 ALE 標準化經驗評估的推薦方法。

基準測試

對于新研究者來說，對自己的想法進行快速的基準測試是非常重要的。谷歌提供四個智能體的完整訓練數據，包括 ALE 支持的 60 個游戲，格式為 Python pickle 文件（對于使用谷歌框架訓練的智能體）和 JSON 數據文件（用于對比其他框架訓練的智能體）。谷歌還提供了一個網站，研究者可以使用該網站對所有提供智能體在所有 60 個游戲中的訓練運行進行快速可視化。下圖即谷歌的 4 個智能體在 Seaquest 上的訓練運行（Seaquest 是 ALE 支持的 Atari 2600 游戲之一）。

谷歌的 4 個智能體在 Seaquest 上的訓練運行。x 軸表示迭代，每個迭代是一百萬個游戲幀（實時游戲 4.5 小時）；y 軸是每次游戲獲取的平均分。陰影區(qū)域表示 5 個獨立運行的置信區(qū)間。

谷歌還提供利用這些智能體訓練的深度網絡、原始統(tǒng)計日志以及用于 Tensorboard 可視化的TensorFlow事件文件。

相關地址： https://github.com/google/dopamine/tree/master/docs#downloads

谷歌希望其框架的靈活性和易用性能夠幫助研究者嘗試新想法。谷歌已經在研究中使用了該框架，發(fā)現(xiàn)它可使很多想法快速迭代，具備很強的靈活性。谷歌期待看到社區(qū)使用這一框架。