小度巡檢機器人上崗記:飛槳PaddleX助力實現室內精準巡檢

“告警:1號樓4層A梯消防通道有障礙物!”

百度大廈的一名安保人員手機裏彈出這樣一條信息。發信息的是他的“新同事”,一位近期上崗百度深研大廈的智能助手——小度巡檢機器人。

小度巡檢機器人是百度基於飛槳打造的一款室內智能巡檢機器人,具有自主巡檢、定時巡檢、自主回充、遠程監管(包括機器人監控、巡檢報警報)和數據收集等功能,能夠協助物業、安保等部門對辦公場所等室內區域進行精準巡檢,從而及時響應、杜絕安全隱患。

小度巡檢機器人的工作日常:

技能、效率雙在線

小度巡檢機器人上崗後將負責百度深研大廈F1-F15共15層的巡檢,包含辦公區燈故障檢測、飲水機狀態檢測、果籃空置檢測、消防通道檢測和夜間加班情況統計等日常工作內容,實時上報巡檢結果,方便安保人員及時到場解決。

以飲水機狀態檢測爲例,當小度巡檢機器人走到飲水機前方時,藉助攝像頭,能夠識別判斷飲水機的開關機狀態、水位狀態以及鄰近的大桶水架的空桶情況。如果飲水機處於開機狀態,而水位低於設置線,小度巡檢機器人就會向安保人員發出給飲水機換水的通知。同時,當大桶水架子上有多個空桶時,則會向安保人員發出給更換大桶水的通知。

在此次疫情期間,小度巡檢機器人還增加了一項工作內容,就是負責辦公區域內員工口罩佩戴檢測,充當着員工們貼心的戴口罩提醒員。而如今,隨着疫情防控進入常態化,小度巡檢機器人還將繼續守護在疫情防控的第一線,成爲助力企業復工復產的一股後備力量。

小度巡檢機器人上崗後,日常巡檢效率提升200%,原本1~15層全樓層需要1~2人每2小時巡檢一次,現在藉由小度巡檢機器人的輔助,只需要人力早晚各一次進行補充巡檢即可,不僅節約了巡檢的人力,而且加快了對異常情況檢測的反應速度,提升了辦公人員的體驗。

小度巡檢機器人的誕生:

飛槳PaddleX助力整套開發流程

作爲一位承擔着百度深研大廈日常巡檢的“工作人員”,多才多藝、聰明高效的小度巡檢機器人的技能加持,離不開百度飛槳深度學習平臺的開發工具PaddleX助力。PaddleX是“WAVE SUMMIT 2020”深度學習開發者峯會上飛槳全新發布的全流程開發工具,它集飛槳核心框架、模型庫、工具及組件等深度學習開發所需全部能力於一身,提供簡明易懂的Python API,方便用戶根據實際生產需求進行直接調用或二次開發,此外PaddleX也供了深度學習模型開發的可視化界面,讓用戶免去代碼的開發流程,快速完成模型開發。

據百度飛槳技術團隊介紹,爲了提升百度深研大廈的巡檢效率、提高同事們的辦公體驗,也把自己研發的開發工具實現落地應用,他們聯合了百度自然語言處理部的小度機器人團隊,爲小度巡檢機器人增加了諸多能力。綜合考慮了安保人員的日常巡檢內容和辦公所需,如飲水機的更換、果籃剩餘物的更換,以及夜間辦公區電器的開關等,團隊確定了機器人巡檢的使用場景,隨即開始着手應用飛槳全流程開發工具PaddleX研發實現小度巡檢機器人的核心算法。以果籃識別場景爲例,其具體的實現過程分爲如下幾個步驟:

第一步:數據採集

果籃識別是一個可以快速應用圖像分類技術的場景。現場採集大量的果籃有水果狀態和果籃無水果的兩類圖片,理論上,圖像樣本越多,模型訓練越充分。技術人員採集了1000張圖片左右,並按照分類方式進行圖片整理。

第二步:確定算法。

PaddleX預置了飛槳團隊在產業實踐中驗證過的豐富的優勢模型。在巡檢場景中,飛槳技術團隊選用了MobileNet v3_large_x1_0_ssld這一優勢模型。MobileNetV3 是一種基於 NAS 的新的輕量級網絡,與其它網絡相比,在相同的推理速度下,MobileNetV3 系列網絡的精度更有競爭力。

飛槳圖像分類庫PaddleClas針對該系列模型做了很多深層次的優化,應用了飛槳獨創的知識蒸餾方案SSLD,提供的基礎預訓練模型MobileNetV3_large_x1_0_ssld 準確率達到79%,而輕量級預訓練模型 MobileNetV3_small_x1_0_ssld準確率達到71.3%。而在實際進行精調之後,精度在這個維度上有了更大幅度的提升。

更多關於飛槳圖像分類庫PaddleClas及SSLD算法的介紹,請參見:

https://paddleclas.readthedocs.io/zh_CN/latest/index.html

第三步:把圖片導入PaddleX GUI中進行模型訓練。

PaddleX GUI是基於PaddleX實現的可視化深度學習模型開發套件,在導入數據後,可以自動進行數據集校驗、數據集切分和數據集分析等功能,讓用戶一眼可以瞭解自己的數據情況。

在超參配置上,PaddleX GUI會根據數據和用戶硬件情況,自動推薦參數,因此訓練過程中無需做太多的調整,同時大部分參數都有相應的Tool Tips介紹說明,便於用戶理解並自行調整。

配置好參數後,點擊「啓動訓練」,便直接進入了模型的訓練環節。在這個過程中,PaddleX還集成了VisualDL這樣的可視化分析工具對訓練過程進行分析:

這樣便完成了模型的訓練,模型評估的各項指標都非常好。

最後就可以直接將模型進行一鍵發佈。

PaddleX GUI Demo可以在PaddleX官網落地頁中申請進行下載使用:

https://www.paddlepaddle.org.cn/paddle/paddleX

第四步:模型部署預測。

小度機器人搭載的是NVIDIA Jetson TX2芯片,採用了PaddlePaddle的原生推理庫Paddle Inference,在小度機器人的Linux系統下,應用C++進行部署並最終實現推理。詳細文檔請見:

https://paddlex.readthedocs.io/zh_CN/latest/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.html

PaddlePaddle C++推理庫針對不同的硬件部署環境,提供了不同的預編譯版本,開發者可以根據自己的硬件環境直接下載使用。

此外,PaddleX定製化地開發了針對PaddleX模型的部署代碼,用戶可以方便快捷地通過2個API接口完成模型的加載和推理,免去了開發者對於圖像預處理和後處理的代碼開發工作,大大提升了模型部署的效率。

編譯成功後,就可以將PaddleX導出的inference格式的模型通過可執行程序進行加載運行,並實際通過攝像頭採集到的圖片,快速驗證模型分類效果。

此時完成了所有開發流程。針對飲水機狀態識別等場景也可以採用一樣的邏輯去實現相應的算法模型。

“PaddleX整套開發流程使用起來非常簡單,對於沒有深度學習模型開發經驗的工程師非常友好,文檔詳盡,開發者能夠快速針對場景,生產及部署合適的算法實現業務邏輯。”開發小度巡檢機器人的技術團隊表示。正是得益於飛槳PaddleX打通深度學習開發全流程和易用易集成的優勢,小度巡檢機器人的整套開發流程迅速高效,且能夠完美勝任室內巡檢這一場景,並在巡檢效率和精度方面表現優異。

智能機器人的出現,將人力從低質、重複的工作中解放出來,提升效率的同時更拓展出更多可能性,比如小度巡檢機器人在疫情期間充當防控一線工作人員。而飛槳作爲百度“AI大生產平臺”的基礎底座,以大規模分佈式訓練、全硬件平臺支持、端到端全流程工具以及飛槳Master模式,將企業和開發者從重複“造輪子”中解放出來,應用AI的門檻更低、成本更低、效率更高,助力企業和開發者加速AI生產。正是藉助飛槳深度學習技術的賦能,小度巡檢機器人能夠快速完成智能化升級,也快速開啓了在百度深研大廈輔助安保人員的實際行動。

當前,在“新基建”時代機遇之下,產業智能化的動力愈發強勁。飛槳作爲國內首個開源開放、功能完備的產業級深度學習平臺,始終致力於與產業深入融合。截止目前,飛槳累計開發者數量已超過190萬,服務企業數量達到8萬4千家,發佈模型數量已超過23萬個。未來,飛槳將繼續攜手各行各業生態夥伴和開發者,助力產業智能化發展加速度。

如在使用過程中有問題,可加入飛槳官方QQ羣進行交流:703252161

如果您想詳細瞭解更多飛槳的相關內容,請參閱以下文檔。

飛槳全流程開發工具PaddleX項目地址:

GitHub: https://github.com/PaddlePaddle/PaddleX

Gitee: https://gitee.com/paddlepaddle/PaddleX

官網地址:

https://www.paddlepaddle.org.cn

飛槳開源框架項目地址:

GitHub:

https://github.com/PaddlePaddle/Paddle

Gitee: 

https://gitee.com/paddlepaddle/Paddle

END

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章