首先放視頻鏈接：李宏毅老師深度強化學習課程——Q-Learning
Q-Learning簡介
Q-Learning是一種value-based的方法，在這種方法中，不是直接學習policy，而是利用值函數評價現在行爲的好壞，即AC算法中的critic。比如state value function
兩種更新方法（MC和TD）
- Monte-Carlo方法
讓actor和環境交互，計算狀態後的累計收益，需要episode結束後才能計算。現在的DRL融合了深度神經網絡，所以不需要每個s都經歷過，也能給出大概的V值。
- Temporal-difference方法
這種方法不需要遊戲玩到結束。只要獲得某一個transition，
-
MC和TD的優缺點
MC需要推演完整個episode，而且由於
接下來放一個示例，Sutton課程裏採用的，能後比較好的理解MC和TD
由狀態值函數到動作值函數
state-action value function 
接下來是Q-Learning的更新原理，爲什麼Q值能夠變大。
![$$\begin{array}{l} V^{\pi}(s) \leq Q^{\pi}\left(s, \pi^{\prime}(s)\right) \\ =E\left[r_{t+1}+V^{\pi}\left(s_{t+1}\right) | s_{t}=s, a_{t}=\pi^{\prime}\left(s_{t}\right)\right] \\ \leq E\left[r_{t+1}+Q^{\pi}\left(s_{t+1}, \pi^{\prime}\left(s_{t+1}\right)\right) | s_{t}=s, a_{t}=\pi^{\prime}\left(s_{t}\right)\right] \\ =E\left[r_{t+1}+r_{t+2}+V^{\pi}\left(s_{t+2}\right) | \ldots\right] \\ \leq E\left[r_{t+1}+r_{t+2}+Q^{\pi}\left(s_{t+2}, \pi^{\prime}\left(s_{t+2}\right)\right) | \ldots\right] \ldots \leq V^{\pi^{\prime}}(s) \end{array}$$](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?%24%24%5Cbegin%7Barray%7D%7Bl%7D%20V%5E%7B%5Cpi%7D%28s%29%20%5Cleq%20Q%5E%7B%5Cpi%7D%5Cleft%28s%2C%20%5Cpi%5E%7B%5Cprime%7D%28s%29%5Cright%29%20%5C%5C%20%3DE%5Cleft%5Br_%7Bt+1%7D+V%5E%7B%5Cpi%7D%5Cleft%28s_%7Bt+1%7D%5Cright%29%20%7C%20s_%7Bt%7D%3Ds%2C%20a_%7Bt%7D%3D%5Cpi%5E%7B%5Cprime%7D%5Cleft%28s_%7Bt%7D%5Cright%29%5Cright%5D%20%5C%5C%20%5Cleq%20E%5Cleft%5Br_%7Bt+1%7D+Q%5E%7B%5Cpi%7D%5Cleft%28s_%7Bt+1%7D%2C%20%5Cpi%5E%7B%5Cprime%7D%5Cleft%28s_%7Bt+1%7D%5Cright%29%5Cright%29%20%7C%20s_%7Bt%7D%3Ds%2C%20a_%7Bt%7D%3D%5Cpi%5E%7B%5Cprime%7D%5Cleft%28s_%7Bt%7D%5Cright%29%5Cright%5D%20%5C%5C%20%3DE%5Cleft%5Br_%7Bt+1%7D+r_%7Bt+2%7D+V%5E%7B%5Cpi%7D%5Cleft%28s_%7Bt+2%7D%5Cright%29%20%7C%20%5Cldots%5Cright%5D%20%5C%5C%20%5Cleq%20E%5Cleft%5Br_%7Bt+1%7D+r_%7Bt+2%7D+Q%5E%7B%5Cpi%7D%5Cleft%28s_%7Bt+2%7D%2C%20%5Cpi%5E%7B%5Cprime%7D%5Cleft%28s_%7Bt+2%7D%5Cright%29%5Cright%29%20%7C%20%5Cldots%5Cright%5D%20%5Cldots%20%5Cleq%20V%5E%7B%5Cpi%5E%7B%5Cprime%7D%7D%28s%29%20%5Cend%7Barray%7D%24%24)
感覺不需要太多關注上面的式子，只需要直觀的去理解一下就好。
DRL框架設計（target network好神奇的想法）
loss的設計和之前一樣，只不過targe network delay了一下，牛批。
explore 問題
-
epsilon greedy （
的概率隨機，隨着訓練進行而遞減）
的概率隨機，隨着訓練進行而遞減）
- Boltzmann exploration（指數後求概率）
Replay buffer
簡單來講就是把過程中的transition存到replay buffer中，然後每次取出一個batch，取出的transition其實是不同policy下的。這種方法和深度學習中常見技巧比較類似。這裏有一個問題，mc的方法可以用replay buffer嗎？