SLAM+語音機器人DIY系列:(三)感知與大腦——4.音響麥克風與攝像頭

SLAM+語音機器人DIY系列:(三)感知與大腦——4.音響麥克風與攝像頭

摘要                                              

在我的想象中機器人首先應該能自由的走來走去,然後應該能流利的與主人對話。朝着這個理想,我準備設計一個能自由行走,並且可以與人語音對話的機器人。實現的關鍵是讓機器人能通過傳感器感知周圍環境,並通過機器人大腦處理並輸出反饋和執行動作。本章節涉及到的傳感器有激光雷達、IMU、輪式里程計、麥克風、音響、攝像頭,和用於處理信息的嵌入式主板。關於傳感器的ROS驅動程序開發和在機器人上的使用在後面的章節會展開,本章節重點對機器人傳感器和嵌入式主板進行講解,主要內容:

1.ydlidar-x4激光雷達

2.帶自校準九軸數據融合IMU慣性傳感器

3.輪式里程計與運動控制

4.音響麥克風與攝像頭

5.機器人大腦嵌入式主板性能對比

6.做一個能走路和對話的機器人



4.音響麥克風與攝像頭                  

要讓機器人能跟人進行對話,需要麥克風和音響。其實麥克風就相當於機器人的耳朵,音響就相當於機器人的嘴巴。攝像頭作爲機器人的眼睛,攝像頭可以用來幫助機器人定位或認識環境。

4.1.音響                     

(圖29)音響

如圖29,爲音響的基本配件。這裏需要說明一下,由於後面使用樹莓派3作爲機器人的大腦,不過樹莓派3的自帶聲卡不好用,驅動容易崩潰,所以這裏推薦使用免驅的USB聲卡。其實,聲卡就是DA轉換器,就是將數字音頻信號轉換爲模擬電壓信號;音響就是將聲卡輸出的模擬電壓進行放大並通過喇叭播放出來。

4.2.麥克風與攝像頭              

(圖30)麥克風與攝像頭

如圖30,攝像頭上直接集成了麥克風。這裏選用的是四麥陣列指向性麥克風,可以對特定方向上的聲音拾取,並過濾其他方向上的雜音。這裏的攝像頭是640x480像素60fps。

4.3.在機器人中使用音響麥克風與攝像頭  

(圖31)麥克風與攝像頭

我們只需要在機器人上安裝對應的ROS驅動,就可以通過發佈和訂閱相應的主題來實現對傳感器的訪問了。如圖31,iat語音識別節點用於驅動麥克風,並將麥克風採集的語音轉換爲文字;問答(QA)和自然語言處理(NLP)節點處理iat語音識別節點發布的文字,並將處理結果發佈給tts語音合成節點;tts語音合成節點訂閱問答(QA)和自然語言處理(NLP)節點發布的文字,並驅動聲卡將文字轉換爲語音;攝像頭ROS驅動將攝像頭數據直接發佈到相應的話題。這樣機器人上的其他節點都可以通過訂閱與發佈相應的節點來訪問麥克風、聲卡和攝像頭。關於圖像、語音、文字等處理的具體應用將在後面詳細展開。

後記               

如果大家對博文的相關類容感興趣,或有什麼技術疑問,歡迎加入下面的《SLAM+語音機器人DIY》QQ技術交流羣,一起討論學習^_^

posted @ 2019-02-19 03:27 小虎哥哥愛學習 閱讀(...) 評論(...) 編輯 收藏

發佈了46 篇原創文章 · 獲贊 10 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章