交互式AR趣味學習軟件

傳統增強現實技術可以生成教材中的三維交互,但是對於教材中的圖片逐一進行匹配建模又增加了軟件開發了時間成本,亟需新的技術來改善性能。隨着計算機視覺技術和深度學習技術的快速發展,將AR與深度學習相融合將會碰撞出新的深藍市場。本系統結合OCR技術將教材的文字圖片轉爲字符可以減輕手工輸入的工作量、可以用於文字搜索,結合語音合成即可實現朗讀功能;由於不同教材中存在着較多的物品種類相同的不同圖片(特別是兒童AR圖冊),本作品使用深度學習中發展迅猛的物品識別技術代替特徵點匹配檢測圖片,能一定程度減輕程序開發負擔。同時在AR交互方面,本作品引入了“百度語音識別”和“Leap Motion手勢識別”用語音或者手勢來操作AR模型進行移動、縮放、旋轉等操作。爲了更好幫助學習,系統還支持曲線統計學習情況、獲取未來幾天的天氣並制定學習計劃的提醒、定時學習等功能。

經測試,系統能較好完成OCR、物品檢測與識別、能生成AR模型並支持虛擬按鍵的模型控制、能整合百度語音識別SDK和接收手勢指令,能很好完成其他附帶功能,對於中小學生學習可以產生一定的幫助。隨着人們對學習方式多樣化的逐步追求,將時下熱門的AR技術與計算機視覺相結合具有較好

本作品主要致力於中小學生的興趣培養和空間想象能力的提高,具備兩項主要功能,第一:能夠提供學習規劃、學習提醒、學習時間曲線反饋等功能來提高學習的自覺性和有效性。第二:能夠在學習過程中提升學習體驗。通過OCR技術、物品識別、AR技術、手勢和語音交互將靜態的文字、圖片讀物立體化,通過虛擬按鍵的旋轉、移動、縮放增加閱讀的互動性、趣味性。其中虛擬按鍵的交互取代了頭戴式交互式設備,物品識別技術使得模型的應用更一般化能有效減少開發成本,學習統計能定製更好的學習方案起到良性循環。

圖1. 增強現實應用場景(作品效果圖)

 

基於計算機視覺的學霸養成系統,是一款集合多種圖像處理技術於一體的智能相機,主要功能模塊分爲OCR識別,物品識別,AR增強現實,報表分析和其他相關子功能。

2. 總體功能結構圖的現實意義。

效果如下所示:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章