莫煩Python RL 代碼閱讀一
算法分析
不分析如何實現 environment
def build_q_table(n_states, actions)
def build_q_table(n_states, actions):
table = pd.DataFrame(
np.zeros((n_states, len(actions))), # q_table initial values
columns=actions, # actions's name
)
# print(table) # show table
return table
pd.DataFrame()
np.zeros(a,b)
在下方版塊有整理
此函數用於構建n行，len（actions）列的Q-table，算是典型的表格型方法
def choose_action(state, q_table)
def choose_action(state, q_table):
# This is how to choose an action
state_actions = q_table.iloc[state, :]
if (np.random.uniform() > EPSILON) or ((state_actions == 0).all()): # act non-greedy or state-action have no value
action_name = np.random.choice(ACTIONS)
else: # act greedy
action_name = state_actions.idxmax() # replace argmax to idxmax as argmax means a different function in newer version of pandas
return action_name
q_table.iloc()---------------------此處爲輸出當前S所對應的1*len(actions)的矩陣
np.random.uniform() ----------從0到1等概率隨機取值爲實現epslon貪心探索功能
(state_actions == 0).all()-----矩陣全爲0也觸發非貪心的隨機策略
state_actions.idxmax()-------獲取此狀態下的最高q值所對應的action
def rl()
def rl():
# main part of RL loop
q_table = build_q_table(N_STATES, ACTIONS)
for episode in range(MAX_EPISODES):
step_counter = 0
S = 0
is_terminated = False
update_env(S, episode, step_counter)
while not is_terminated:
A = choose_action(S, q_table)
S_, R = get_env_feedback(S, A) # take action & get next state and reward
q_predict = q_table.loc[S, A]
if S_ != 'terminal':
q_target = R + GAMMA * q_table.iloc[S_, :].max() # next state is not terminal
else:
q_target = R # next state is terminal
is_terminated = True # terminate this episode
q_table.loc[S, A] += ALPHA * (q_target - q_predict) # update
S = S_ # move to next state
update_env(S, episode, step_counter+1)
step_counter += 1
return q_table
上述代碼爲下圖僞代碼的實現，基礎思路爲：
利用估值與現實值的偏差對於動作價值進行更新，類似於控制論中用偏差消除偏差的思路，最後逼近真實的動作價值。是一種TD(0)方法。
算法改進思路及疑問：
1.改變回報的表達形式，可以加入多步的視野
2.隨時間降低epsilon，後期減少探索
3.疑問：此處表格型方法是否可以引入資格跡，使其變爲後向試圖
小貼士：
衆所周知，Q-Learning相較Sarsa更爲冒險，是因爲Q-Learning唯利是圖，Sarsa相對保守~
Python函數功能補漏
np.random.seed() 函數
seed( ) 用於指定隨機數生成時所用算法開始的整數值。
1.如果使用相同的seed( )值，則每次生成的隨即數都相同；
2.如果不設置這個值，則系統根據時間來自己選擇這個值，此時每次生成的隨機數因時間差異而不同。
3.設置的seed()值僅一次有效
np.zeros(a,b)函數
用法：zeros(shape, dtype=float，order=‘C’)
返回：返回來一個給定形狀和類型的用0填充的數組；
參數：shape:形狀 EX：(n,m) — n行m列
dtype:數據類型，可選參數，默認numpy.float64
pd.DataFrame()函數
pandas.DataFrame( data, index, columns, dtype, copy)DataFrame是一種表格型數據結構，它含有一組有序的列，每列可以是不同的值。DataFrame既有行索引，也有列索引，它可以看作是由Series組成的字典，不過這些Series公用一個索引。
DataFrame的創建有多種方式，不過最重要的還是根據dict進行創建，以及讀取csv或者txt文件來創建。這裏主要介紹這兩種方式
功能：創建一個DataFrame對象（帶索引的表格）
data：表示要傳入的數據 ，包括 ndarray，series，map，lists，dict，constant和另一個DataFrame
index: 行索引 （可初始化如：index=[‘one’,‘two’,‘three’,‘four’,‘five’]）
columns: 列索引 （可初始化如：columns=[‘year’,‘state’,‘pop’,‘debt’]）
dtype:每列的類型
copy: 查了api，才知道意思是從input輸入中拷貝數據。默認是false，不拷貝
功能函數
| 函數 | 功能 |
|---|---|
| df.axes | 獲取行及列索引 |
| df.T | 行與列對調 |
| df. info() | 打印DataFrame對象的信息 |
| df.head(i) | 顯示前 i 行數據 |
| df.tail(i) | 顯示後 i 行數據 |
| df.describe() | 查看數據按列的統計信息 1 |
根據字典創建
data = {
'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],
'year':[2000,2001,2002,2001,2002],
'pop':[1.5,1.7,3.6,2.4,2.9]
}
frame = pd.DataFrame(data)
>frame
#輸出
pop state year
0 1.5 Ohio 2000
1 1.7 Ohio 2001
2 3.6 Ohio 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002q_table.iloc()函數
loc是基於label進行索引的2
iloc是基於position進行索引的2
print(df1.loc[:,[‘a’, ‘b’]])（輸出所有行，以及a、b列）
df1.loc[:,0:2]這麼寫報錯, 因爲loc索引的是label，顯然在df1的列的名字中沒有叫0，1和2的。
print(df1.iloc[:,0:2])而不可寫爲print(df1.iloc[:,[‘a’, ‘b’]])
np.random.uniform() 函數
numpy.random.uniform(low=0.0, high=1.0, size=None)
從[low, high])中均勻取值，沒有任何參數的話，是從[0, 1)
官方文檔
.all()函數
all() 函數用於判斷給定的可迭代參數 iterable 中的所有元素是否都爲 TRUE,如果是返回 True，否則返回 False。
元素除了是 0、空、None、False 外都算 True。
.idmax()函數
pandas Series 的 argmax 方法和 idxmax 方法用於獲取 Series 的最大值的索引值
.format()函數
一個格式化字符串的方法
Advantages:
1.不需要理會數據類型的問題，在%方法中%s只能替代字符串類型
2.單個參數可以多次輸出，參數順序可以不相同
3.填充方式十分靈活，對齊方式十分強大
4.官方推薦用的方式，%方式將會在後面的版本被淘汰
Example:
print('hello {name1} i am {name2}'.format(name1='Kevin',name2='Tom'))
# hello Kevin i am Tom可顯示數據的數量、缺失值、最小最大數、平均值、分位數等信息 ↩︎