Windows 10安裝OpenAI的Gym

什麼是 Gym 和 Universe？

參考 Windows,Linux,macOS三平臺安裝OpenAI的Gym和Universe

OpenAI Gym 是一個用於開發和比較 RL（Reinforcement Learning（強化學習））算法的工具包，它包括一系列不斷增長、完善的環境，還提供可以用於比較和評估算法的平臺。

Gym 與其他的數值計算庫兼容，如 TensorFlow 或者 Theano。主要支持的是 Python 語言。

Gym 的官網是 https://github.com/openai/gym
Gym 的各種環境在這裏 https://gym.openai.com/envs

Gym 比較好的一點是你可以上傳你自己訓練環境的算法上去，也可以看到別人上傳的算法，並且可以下載別人的算法代碼。例如 https://gym.openai.com/envs/CartPole-v0 就是 CartPole 這個目的是把杆子立起來的環境，裏面你可以找到別人上傳的算法：

Universe 基於 Gym，是一個在全世界的遊戲、網頁和其他應用中，評估、訓練智能代理的軟件平臺。Universe 的官網是
https://github.com/openai/universe。

代理（agent）使用和人類類似的感官輸入和控制方式，不過它看到的是像素，控制的是鼠標和鍵盤。

這使得任何需要電腦來完成的任務，都可以訓練 AI 去做，並且與人類玩家較量。

Universe 包含 1000 多種不同訓練環境，包括 Flash 遊戲、網頁任務、俠盜獵車手 這樣的遊戲。Universe 是英語「宇宙」的意思，可以看出這個項目的願景很大，旨在開發出接近通用智能（General Artificial Intelligence）的算法。

Gym

1. 安裝Anaconda

對於 Universe 的安裝和配置，官方推薦用 Anaconda。對於 Gym 的安裝，我們也可以使用 Anaconda。我們也來介紹一下。

Anaconda 是非常著名的開源的 Python 發行版本，其包含了conda、Python 等 180 多個科學包及其依賴項，可以大大方便配置開發環境。

Anaconda 可以用於創建獨立的 Python 開發運行環境。每個環境中的 Python Runtime（運行時）都是獨立的，互不影響。這樣就不用擔心安裝 A 的時候把
B 的環境給破壞了。

Anaconda 的官網是 https://www.anaconda.com

Anaconda 附帶默認安裝的軟件有著名的 Jupyter Notebook （官網 http://jupyter.org ）這個 Python 的交互式筆記本，支持運行40 多種編程語言。Jupyter Notebook 的本質是一個Web 應用程序，便於創建和共享文學化程序文檔，支持實時代碼，數學方程，可視化和 Markdown，還可以插入圖片，視頻，音頻，等等。

2. 更新pip

參考https://pip.pypa.io/en/latest/installing/

D:\ProgramData\Anaconda3>python -m pip install -U pip

3. 安裝Gym

參考https://gym.openai.com/docs/
Installation
To get started, you’ll need to have Python 3.5+ installed. Simply install gym using pip:
pip install gym

D:\ProgramData\Anaconda3\Scripts>pip install gym

在安裝過程中可能出現錯誤：distributed 1.21.8 requires msgpack, which is not installed.

D:\ProgramData\Anaconda3\Scripts>pip install msgpack
D:\ProgramData\Anaconda3\Scripts>pip install msgpack-python

4. 運行測試環境

參考https://gym.openai.com/docs/

import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample()) # take a random action

什麼是 Docker

對於 Universe 的安裝和配置，也會用到 Docker。對於 Gym 的安裝，不需要用到 Docker。因爲 Universe 的環境基本都是運行在一個 Docker 的容器裏的。

Docker 的官網是 https://www.docker.com