【強化學習筆記】從 “酒鬼回家” 認識Q Learning算法

1.背景

現在筆者來講一個利用Q-learning 方法幫助酒鬼回家的一個小例子, 例子的環境是一個一維世界, 在世界的右邊是酒鬼的家。這個酒鬼因爲喝多了，根本不記得回家的路，只是根據自己的直覺一會向左走、一會向右走。酒鬼最後只要成功回家, 然後以後就記住了回家的方法, 這就是他用強化學習所學習到的行爲。

-w- - - - - H
H 是酒鬼的家, w 是酒鬼所處的位置

2.Q Learning介紹

3.代碼

預設值

import numpy as np
import pandas as pd
import time

np.random.seed(2)   # reproducible

N_STATES = 6   # 最開始酒鬼離家的距離，即1維世界的寬度
ACTIONS = ['left', 'right']     # 探索者的可用動作
EPSILON = 0.9   # 貪婪度 greedy
ALPHA = 0.1     # 學習率
GAMMA = 0.9    # 獎勵遞減值
MAX_EPISODES = 15   # 最大回合數
FRESH_TIME = 0.2    # 移動間隔時間

q表

def build_q_table(n_states,actions):
    table = pd.DataFrame(
        np.zeros((n_states,len(actions))),
        columns=actions,
    )
    print(table)
    return table

選擇行爲

# 在某個 state 地點, 選擇行爲
def choose_action(state, q_table):
    state_actions = q_table.iloc[state, :]  # 選出這個 state 的所有 action 值
    if (np.random.uniform() > EPSILON) or (state_actions.all() == 0):  # 非貪婪 or 或者這個 state 還沒有探索過
        action_name = np.random.choice(ACTIONS)
    else:
        action_name = state_actions.argmax()    # 貪婪模式
    return action_name

環境反饋

def get_env_feedback(S, A):
    if A=='right':
        if S == N_STATES -2:
            S_ = 'terminal'
            R = 1
        else:
            S_ = S+1
            R = 0
    else:
        R=0
        if S==0:
            S_ = S
        else:
            S_ = S-1
    return S_, R

環境更新

def update_env(S, episode, step_counter):
    # This is how environment be updated
    env_list = ['-']*(N_STATES-1) + ['H']   # '---------H' our environment
    if S == 'terminal':
        interaction = 'Episode %s: total_steps = %s' % (episode+1, step_counter)
        print('\r{}'.format(interaction), end='')
        time.sleep(1)
        print('\r                                ', end='')
    else:
        env_list[S] = 'w'
        interaction = ''.join(env_list)
        print('\r{}'.format(interaction), end='')
        time.sleep(FRESH_TIME)

強化學習主循環

def rl():
    q_table = build_q_table(N_STATES, ACTIONS)  # 初始 q table
    for episode in range(MAX_EPISODES):     # 回合
        step_counter = 0
        S = 0   # 回合初始位置
        is_terminated = False   # 是否回合結束
        update_env(S, episode, step_counter)    # 環境更新
        while not is_terminated:

            A = choose_action(S, q_table)   # 選行爲
            S_, R = get_env_feedback(S, A)  # 實施行爲並得到環境的反饋
            q_predict = q_table.loc[S, A]    # 估算的(狀態-行爲)值
            if S_ != 'terminal':
                q_target = R + GAMMA * q_table.iloc[S_, :].max()   #  實際的(狀態-行爲)值 (回合沒結束)
            else:
                q_target = R     #  實際的(狀態-行爲)值 (回合結束)
                is_terminated = True    # terminate this episode

            q_table.loc[S, A] += ALPHA * (q_target - q_predict)  #  q_table 更新
            S = S_  # 酒鬼移動到下一個 state

            update_env(S, episode, step_counter+1)  # 環境更新

            step_counter += 1
    return q_table

---

if __name__ == "__main__":
    q_table = rl()
    print('\r\nQ-table:\n')
    print(q_table)

完整代碼移步Github