CodeBullet是我最喜歡的YouTuber之一,他曾經嘗試創建一個人機對戰的乒乓球遊戲,但遺憾的是,對於他的成果沒有對計算機視覺有太大影響。他是個很幽默及技術很強的人,如果你考慮閱讀這篇文章的其餘部分,我強烈建議你觀看他的視頻。
- https://www.youtube.com/watch?v=tcymhYbRvw8&
人機對戰的乒乓球遊戲似乎是一個非常有趣且簡單的任務,所以我也想嘗試一下。在這篇文章中,我將概述一些我對該項目研究過的一些因素,如果你希望在任何類似的項目上工作,這些因素可能會有所幫助。
使用計算機視覺的好處在於我可以使用已經構建的遊戲來處理圖像。話雖如此,我們將使用在ponggame.org上且CodeBullet相同的遊戲版本。它具有2人模式,因此我可以與自己的AI對抗;我做到了,這確實很難…… - https://www.ponggame.org/
捕捉屏幕
第一件事就是捕捉屏幕。我想確保我的幀速率儘可能快,爲此我發現MSS是一個很棒的python包。有了它,我很容易就達到60幀/秒的最高速度,如果使用PIL,則我只能得到大約20幀每秒的速度。 - MSS:https://pypi.org/project/mss/
Paddle detection
爲了簡單起見,我們需要定義paddle的位置。我們可以使用幾種不同的方法來完成,但我認爲最簡單的方法是對每個Paddle的區域進行遮罩,然後運行連接的組件來找到Paddle對象。下面是一段代碼:
def get_objects_in_masked_region(img, vertices, connectivity = 8):
''':return connected components with stats in masked region
[0] retval number of total labels 0 is background
[1] labels image
[2] stats[0] leftmostx, [1] topmosty, [2] horizontal size, [3] vertical size, [4] area
[3] centroids
'''
mask = np.zeros_like(img)
# fill the mask
cv2.fillPoly(mask, [vertices], 255)
# now only show the area that is the mask
mask = cv2.bitwise_and(img, mask)
conn = cv2.connectedComponentsWithStats(mask, connectivity, cv2.CV_16U)
return conn
在上面,“vertices”只是定義遮罩區域的座標列表,一旦在每個區域內有了對象,我就可以得到它們的質心位置或邊界框,但需要注意的一點是OpenCV將背景作爲任何連接的組件列表中的第0個對象,因此在本例中,我總是獲取第二大的對象,結果如下——右邊綠色質心的球拍是玩家的。
移動paddle
現在我們有了輸出,我們還需要一個輸入,爲此我求助於一個有用的包和其他人的代碼(http://stackoverflow.com/questions/14489013/simulate-python-keypresses-for-controlling-a-game) 。
它使用ctypes來模擬鍵盤按下,在這種情況下,遊戲是用“k”和“m”鍵來玩的。我這裏有掃描碼(http://www.gamespp.com/directx/directInputKeyboardScanCodes.html)。在測試了它只是隨機上下移動後,我們就可以開始跟蹤了。
乒乓球檢測
下一步是識別並跟蹤乒乓球,同樣,這也可以用幾種方法來處理——其中一種方法是通過使用模板進行對象檢測,但是我再次使用了連接的組件和對象屬性來完成檢測,即乒乓球的區域,因爲它是唯一具有尺寸的對象。
我知道每當乒乓球穿過或碰到其他白色物體時,我都會遇到誤檢問題,但我也同樣認爲只要我能在大多數時間裏追蹤到它,那麼這一切都沒問題,畢竟它是直線運動的。如果你看下面的視頻,你會看到標記乒乓球的紅色圓圈是如何閃爍的,導致這種閃爍的原因是因爲它只在每2幀中檢測一次。
反彈預測的光線投射
到這一步,我們已經有了一個可工作的人工智能。如果我們只是移動球員的球拍,使其處於與乒乓球相同的y軸位置,它的效果是相當不錯的,然而當乒乓球得到良好的反彈時,因爲球拍太慢了,會遇到跟不上的問題。所以我們需要預測乒乓球的位置,而不是僅僅移動到當前的位置。下面是兩種方法的比較。
差別並不大,但如果選擇了正確的人工智能,這絕對是一場更穩定的勝利。首先我爲乒乓球創建了一個位置列表,爲了公平起見,我把這個列表的長度控制在5個,因爲列表太長的話,需要花費更長的時間才能發現它改變了方向;在得到位置列表後,我使用簡單的矢量平均法來平滑並得到方向矢量——如綠色箭頭所示;然後吧它標準化成一個單位向量,乘以一個長度以方便可視化。
投射光線只是這個的延伸——使前向投影變長。之後我檢查了未來的位置是否在頂部和底部區域的邊界之外,如果是這樣的話,它只是將位置投影迴游戲區域了;對於左側和右側,它計算出與paddle的x位置相交的位置,並將x和y位置固定到該點,這樣可以確保paddle指向正確的位置。如果沒有這一點,它通常會走得太遠。下面是定義光線的代碼,該光線可以預測乒乓球的未來位置:
def pong_ray(pong_pos, dir_vec, l_paddle, r_paddle, boundaries, steps = 250):
future_pts_list = []
for i in range(steps):
x_tmp = int(i * dir_vect[0] + pong_pos[0])
y_tmp = int(i * dir_vect[1] + pong_pos[1])
if y_tmp > boundaries[3]: #bottom
y_end = int(2*boundaries[3] - y_tmp)
x_end = x_tmp
elif y_tmp < boundaries[2]: #top
y_end = int(-1*y_tmp)
x_end = x_tmp
else:
y_end = y_tmp
##stop where paddle can reach
if x_tmp > r_paddle[0]: #right
x_end = int(boundaries[1])
y_end = int(pong_pos[1] + ((boundaries[1] - pong_pos[0])/dir_vec[0])*dir_vec[1])
elif x_tmp < boundaries[0]: #left
x_end = int(boundaries[0])
y_end = int(pong_pos[1] + ((boundaries[0] - pong_pos[0]) / dir_vec[0]) * dir_vec[1])
else:
x_end = x_tmp
end_pos = (x_end, y_end)
future_pts_list.append(end_pos)
return future_pts_list
在上文中,還沒說明確定paddle對目標的左或右位置的截距的計算方法,該計算過程我們基本上是通過相似三角形來實現的,圖片和方程如下所示。我們計算在邊界中給定的paddle的x位置截距之後,我們就可以計算出乒乓球將移動多遠了,並將其添加到當前的y位置。
paddle雖然看起來是筆直的,但實際上有一個彎曲的反彈面,也就是說,如果你用球拍向兩端擊球,球會反彈,就像球拍有角度一樣,因此我允許球拍擊中邊緣,這增加了人工智能的***性,使乒乓球四處飛舞。
結論
儘管我的實現方法是爲這種特定的乒乓球有限實現而設計的,但相同的概念和代碼也可以用於其它問題中——只需要改變一些預處理步驟。我們也可以使用另一種方法來實現該項目,即通過強化學習或簡單的conv-net等方法,但我比較喜歡這種經典方法。因爲使用經典的方法,我不需要健壯的通用性或困難的圖像處理步驟。正如我提到的,本版本的乒乓球是2人對戰模式的,在遊戲過程中我無法打敗我自己的AI…
你可以在我的github上找到源代碼。