強化學習系列(1) - Q-learning及其實現

強化學習系列（１）
　最近想學習在線學習方法，對強化學習感興趣起來，打算系統的學習一下。從典型小例子的動手實踐過程中再結合書籍中的理論解釋，對‘從與環境交互中學習’會理解的更深刻。有時候想想人這個代理何嘗不是與生存的環境交互學習。
　由於目前已有針對這些參考資料的詳細解釋，這裏作爲快速的學習方法，這個系列只重點記憶一下每個方法的特徵和代碼實現，後期有其他感悟再不斷完善。：)
　這裏視頻，和代碼資源參考的是張沫凡RL系列。書籍參考的是Sutton的經典教材，不過是翻譯版，emmm

• 視頻地址：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
• GitHub源：https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow
• 參考教材：《強化學習》第二版，Richard S. Sutton，andrew G. Barto著，俞凱等譯。對應的英文教材是《Reinforcement Learning: An Introduction》。

Part 1 Q-learning

（1）建立Q表，表中條目指的是在當前狀態下，動作價值的長期回報。
（2）設計動作選擇策略：ε-greedy （S, A）
（3）設計狀態生成和立即回報策略：（S_, R）
（4）設計Q表更新策略：通過縮小目標動作價值q-target和預估價值q-predict間的差距來進行值的更新。

Part 2 示例代碼

"""
場景：在一維的模擬世界裏，Zoe 從起始點到達終點的路徑探索。
"""

""" 
任務特徵：
（1）建立Q 表
（2）生成（S, A，S_, R)序列
（3）EPISODES 遊戲回合
"""
import numpy as np
import pandas as pd
import time
np.random.seed(2)

N_STATES = 6
ACTIONS = ['left', 'right']
EPSILON = 0.9
ALPHA = 0.1
GAMMA = 0.9
MAX_EPISODES = 13
FRESH_TIME = 0.3

# -----------------------------------------------
# 建立Q表 Q-table
def build_q_table(n_states, actions):
    table = pd.DataFrame(
        np.zeros((n_states, len(actions))),
        columns=actions,
    )
    #print(table)
    return table

# -----------------------------------------------
# 選擇動作 A 策略：EPSILON-greedy
def choose_action(state, q_table):
    state_actions = q_table.iloc[state, :]
    if(np.random.uniform() > EPSILON) or ((state_actions == 0).all()):
        action_name = np.random.choice(ACTIONS)
    else:
        action_name = state_actions.idxmax()
    return action_name

# -----------------------------------------------
# 與環境交互生成下一狀態 S_ 和獎勵 R
def get_env_feedback(S, A):
    if A == 'right':
        if S == N_STATES - 2:
            S_ = 'terminal'
            R = 1
        else:
            S_ = S + 1
            R = 0
    else:
        R = 0
        if S == 0:
            S_ = S
        else:
            S_ = S - 1
    return S_, R

# -----------------------------------------------
# 環境交互更新 （從打印角度）
def update_env(S, episode, step_counter):
    env_list = ['-']*(N_STATES-1) + ['T']
    if S == 'terminal':
        interaction = 'Episode %s: total_steps = %s' % (episode+1, step_counter)
        print('\r{}'.format(interaction), end='')
        time.sleep(2)
        print('\r                                ', end='')
    else:
        env_list[S] = 'o'
        interaction = ''.join(env_list)
        print('\r{}'.format(interaction), end='')
        time.sleep(FRESH_TIME)

# -----------------------------------------------
"""
增強學習函數主體
q-predict 預估得分
q-targrt 學習得分
通過縮小動作價值的目標得分和預估得分間的差距來進行動作價值更新，即Q-表的更新
"""
def rl():
    q_table = build_q_table(N_STATES, ACTIONS)
    for episode in range(MAX_EPISODES):
        step_counter = 0
        S = 0
        is_terminated = False
        update_env(S, episode, step_counter)
        while not is_terminated:
            A = choose_action(S, q_table)
            S_, R = get_env_feedback(S, A)
            q_predict = q_table.loc[S, A]
            if S_ != 'terminal':
                q_target = R + GAMMA * q_table.iloc[S_, :].max()
            else:
                q_target = R
                is_terminated = True
            
            q_table.loc[S, A] += ALPHA * (q_target - q_predict)
            S = S_

            update_env(S, episode, step_counter+1)
            step_counter += 1
    return q_table

# -----------------------------------------------
# main函數：程序入口
if __name__ == "__main__":
    #table = build_q_table(N_STATES, ACTIONS)
    #print(table)
    q_table = rl()
    print('\r\nQ-table:\n')
    print(q_table)