OpenAI Gym 關於CartPole的模擬退火解法

前言

今天測試OpenAI Gym，然後發現CartPole的最快實現快到離譜，使用Simulated Annealing，也就是SA模擬退火法。效果如下圖：

代碼地址：模擬退火解CartPole

於是好好研究了一下。

關於模擬退火法

一種最優控制算法，基本思想就是每次找一個鄰近的點（解法），如果鄰近的點比較優，就接受這個點，但是下一次使用隨機有一定概率繼續選擇新的鄰近的點，從而避免局部最優，從而通過多次測試達到全局最優。

比較清楚的介紹詳見：大白話解析模擬退火算法

如何將模擬退火法SA應用到CartPole中？

對於CartPole倒立擺，其控制輸出A 很簡單，就是向左或者向右。輸入O 就是車的位置，速度，杆的角度，角速度。

爲了應用SA，首先需要構造一個從輸入到輸出的映射:

A=f(O)

那麼這裏顯然我們可以使用最簡單的映射，就是線性映射：

A=wO

w 即爲參數向量。模擬退火就來改這些參數，從而得到一個新的“點”。

再下來的問題就是如何判斷w好壞了，想法也很簡單，每次運行一次episode即一次實驗，累加計算得到的reward值，用Score得分表示，代表這個參數效果更好。

所以接下來是思路就簡單了：

初始化w
初始化最優w
初始化動作選擇w

每次給動作選擇w增加一點隨機性，（隨機性不斷減少），計算得到的回報Score
如果Score 最大，就將當前的w賦給最優w，並將最優w賦給動作選擇w
如果Score 小，那麼可以增大隨機性。

反覆運算，值得一定時間w不再波動（即不再退火）

更具體的大家可以參考代碼。這裏只分析一下思路。

思考

模擬退火法是一種類貪婪算法，通過純隨機的方式來尋找更優的結果。對於低維空間可以，但對於高維控制，這種方向性不強的做法（比起隨機梯度下降恐怕就不好了）