《強化學習Sutton》讀書筆記（一）——多臂賭博機（Multi-armed Bandits）

此爲《強化學習》第二章。

多臂賭博機問題描述

問題描述略。理想狀態下，如果我們可以知道做出行爲a$a$ 時得到的期望價值，那問題就結了，按期望選擇最大的就好了。它的表達式爲：

q∗(a)≐E[Rt|At=a]$$q_{\ast }(a)\doteq \mathbb{E}[R_t|A_t=a]$$

其中，選擇行爲a$a$ 的理論期望價值q∗(a)$q_{\ast }(a)$ 定義爲在第t$t$ 步選擇行爲 (Action) a$a$ 得到的獎勵 (Reward) Rt$R_t$ 的期望。

但顯然，我們是不可能精確得到q∗(a)$q_{\ast }(a)$ 的，所以我們用Qt(a)$Q_t(a)$ 作爲第t$t$ 步選擇行爲a$a$ 對價值進行估計，希望Qt(a)$Q_t(a)$ 可以逼近q∗(a)$q_{\ast }(a)$ 。

採樣方法

第一種方法是基於採樣得到採樣平均 (Sample Average) 。採樣平均就是統計每次選擇行爲a$a$ 得到獎勵的平均值，即

Qt(a)≐∑t−1i=1RiIAi=a∑t−1i=1IAi=a$$Q_t(a)\doteq \frac{\sum _{i=1}^{t-1}{R}_i{\mathbb{I}}_{A_i=a}}{\sum _{i=1}^{t-1}{\mathbb{I}}_{A_i=a}}$$

其中I$\mathbb{I}$ 表示指示函數。

如果採用貪心法，則採樣方法下的策略爲

At=argmaxaQt(a)$$A_t={\arg max}_a{Q}_t(a)$$

完全的貪心只能保證選擇了當前最優解，並不能保證其他未被完全探索到的行爲不會產生更大的獎勵。考慮到對開發 (Exploit) 和探索 (Explore) 之間的平衡，也常使用ϵ$ϵ$ -貪心法。

10臂賭博機的例子

假如有一個獎勵分佈如下圖所示的多臂賭博機，

使用不同的ϵ$ϵ$ 的貪心算法得到的結果不同，它也反應了探索的重要性。

增量式實現

在採樣方法一節中，Qt(a)$Q_t(a)$ 表示爲一組獎勵的求平均，非常直觀，但要求存下每一步的獎勵，對空間開銷較大。對Qt(a)$Q_t(a)$ 稍作移項，就可以得到它的迭代式更新方法。（以下表達式省略a$a$ ，均表示a$a$ 下的價值估計和獎勵）

Qn+1=1n∑i=1nRi=1n(Rn+(n−1)Qn)=Qn+1n(Rn−Qn)$$Q_{n+1}=\frac{1}{n}\sum _{i=1}^n{R}_i=\frac{1}{n}(R_n+(n-1)Q_n)=Q_n+\frac{1}{n}(R_n-Q_n)$$

變化獎勵下的多臂賭博機

在上述的方法下，我們都假定了多臂賭博機的獎勵符合一個固定的分佈，與時間無關。如果與時間相關呢？我們可能更希望較近的採樣比以前的採樣具有更高的權重。我們對上一節的Qn+1$Q_{n+1}$ 進行微調

Qn+1=Qn+α(Rn−Qn)$$Q_{n+1}=Q_n+\alpha (R_n-Q_n)$$

與之前的1/n$1/n$ 不同，此時α$\alpha$ 爲一個[0,1)$[0,1)$ 的常數。不難得到，

Qn+1=(1−α)nQ1+∑i=1nα(1−α)n−iRi$$Q_{n+1}=(1-\alpha {)}^n{Q}_1+\sum _{i=1}^n\alpha (1-\alpha {)}^{n-i}{R}_i$$

可以看出，i$i$ 越小，Ri$R_i$ 的權重越低。α$\alpha$ 除了可以設置爲常數外，也可以是和n$n$ 相關的函數，比如上一節中的1/n$1/n$ 。不過這樣就需要自己判斷不同時間獎勵的權重關係了。

初值設定

增量式地更新價值估計，有一個和採樣方法不同的地方，即Q1(a)$Q_1(a)$ 的出現，它使我們的估計是有偏的（雖然偏差會隨着時間增加而降低，趨向於0）。但這種偏差有時可以被我們利用，比如可以加入我們的先驗知識。再比如，過於樂觀（過大）的Q1(a)$Q_1(a)$ 能夠激勵探索，因爲每次行爲總是在降低行爲a$a$ 的期望，從而鼓勵探索其他行爲。下圖在上述的10臂賭博機例子上實驗了樂觀估計和保守估計的不同。

上限置信邊界行爲選擇

上限置信邊界 (Upper-Confidence-Bound) 是個奇怪的名字。不過它的思路是清晰的。在ϵ$ϵ$ -貪心下，ϵ$ϵ$ 是一個經驗性的常數，而我們常常會希望在學習開始初期多進行探索，而後期比較明確各行爲的獎勵時則多進行開發，一個簡單的常數ϵ$ϵ$ 是不夠的。

UCB的策略是這樣的

At=argmaxa[Qt(a)+clntNt(a)−−−−−√]$$A_t={\arg max}_a\left[Q_t(a)+c\sqrt{\frac{\ln t}{N_t(a)}}\right]$$

當總採樣次數t$t$ 增大，而行爲a$a$ 被採樣的次數Nt(a)$N_t(a)$ 不變，式子第二項就會逐漸增大，使探索總是能夠發生。c$c$ 可以用來調節開發和探索的比例。

下圖表現了UCB和ϵ$ϵ$ -貪心的對比。

梯度賭博機算法

在之前的例子中，我們總是採取了貪心的算法（包括ϵ$ϵ$ -貪心）作爲策略。貪心算法突出了當前最優的一個行爲，而將其他行爲幾乎視爲等價。本節中，我們按照概率來選擇行爲。我們把策略記爲πt(a)${\pi }_t(a)$ ，表示在第t$t$ 步選擇行爲a$a$ 的概率。概率具體的值是它們偏好的softmax，即

πt(a)≐Pr{At=a}≐eHt(a)∑kb=1eHt(b)$${\pi }_t(a)\doteq Pr\{A_t=a\}\doteq \frac{e^{H_t(a)}}{\sum _{b=1}^k{e}^{H_t(b)}}$$

其中，k$k$ 表示賭博機的數量，Ht(a)$H_t(a)$ 表示對行爲a$a$ 的偏好 (Perference) ，Ht(a)$H_t(a)$ 表達式爲

(a=At):Ht+1(a)=Ht(a)+α(Rt−R¯t)(1−πt(a))(a≠At):Ht+1(a)=Ht(a)−α(Rt−R¯t)πt(a)$$\begin{gathered} (a=A_t):H_{t+1}(a)=H_t(a)+\alpha (R_t-{\overline{R}}_t)(1-{\pi }_t(a)) \\ (a\ne A_t):H_{t+1}(a)=H_t(a)-\alpha (R_t-{\overline{R}}_t){\pi }_t(a) \end{gathered}$$

其中，R¯t${\overline{R}}_t$ 表示t$t$ 步時的平均獎勵，它將作爲衡量獎勵大小的參考 (Baseline) 。顯然，如果Rt>R¯t$R_t>{\overline{R}}_t$ ，那麼Ht+1(At)$H_{t+1}(A_t)$ 將增大，而其他行爲的偏好將減小。而所有偏好的和將保持不變。下圖表現了baseline有無和探索/開發平衡性的不同效果。

上述的公式其實有點無厘頭，尤其是和標題中的“梯度”沒有任何關係。可以證明（過程詳見書本），

Ht+1(a)=Ht(a)+α∂E[Rt]∂Ht(a)$$H_{t+1}(a)=H_t(a)+\alpha \frac{\mathrm{\partial }\mathbb{E}[R_t]}{\mathrm{\partial }{H}_t(a)}$$

聯合搜索（上下文賭博機）

上述的賭博機都是一次性的賭博機——做出一個行爲後立刻得到回報，且下一次仍然面對同樣的賭博機。但實際問題很可能需要一組策略而非單個策略。這將在以後的章節中討論。

參考文獻

《Reinforcement Learning: An Introduction (second edition)》Richard S. Sutton and Andrew G. Barto

上一篇：無
下一篇：《強化學習Sutton》讀書筆記（二）——有限馬爾科夫決策過程（Finite Markov Decision Processes）