隨着英特爾® 實感™ 技術對交互式學習增強，真實和虛擬世界之間的區別消失
作者：John Tyrrell
瞭解更多有關英特爾實感技術，請點擊：https://software.intel.com/zh-cn/
觸摸和手勢控制、圖片識別和增強現實 (AR) 融入各式各樣的教育應用和玩具，將虛擬和現實世界交融在一起，創造出即使成年人也難以理解的世界。 英特爾® 實感™ 技術等日益開放和複雜的技術正在推動這些變化，而且隨着設備不斷推出新特性，界限變得越來越模糊。 結果創造了一個新型的娛樂和學習世界，其中虛擬和現實的區別越來越模糊。
3D4Medical、PlayTales 和 Scholastic 是首批嘗試在教育和學習領域部署英特爾實感技術的開發團隊。 他們與英特爾密切合作，探索技術潛力並克服技術障礙，其即將推出的應用和產品將爲兒童和成年人同時帶來新一輪交互式創新。
感知治療
交互式學習不僅適用於面向兒童的交互式應用，還適用於許多其他應用。 總部位於愛爾蘭的 3D4Medical 開發了跨解剖、健康和健身以及醫療參考等平臺的應用。 3D4Medical Essential Anatomy* （圖 1）已經過四代更新，目前是 Windows*、Android* 和 iOS* 中最暢銷的醫學應用。
圖 1： Essential Anatomy 截圖
該團隊目前正在努力利用英特爾實感技術的優勢，以滿足醫療空間內使用的應用的嚴格需求。 3D4Medical 軟件開發部門經理 Sergey Bushtyrkov 選擇使用帶有 Unity 插件的英特爾® 實感™ SDK，以便更輕鬆地實現在虛擬空間爲肢體建模的預期結果。
Bushtyrkov 解釋：“英特爾® 實感™ 3D 攝像頭和英特爾實感 SDK 可提供信息以創建您所需的最終的商業應用，而不只是數據。 我們需要一個 3D 引擎創建具有吸引力的模型，因此我們使用 Unity 創建了一個環境來操作雙手。”
繪製人體四肢和關節的精細程度在醫療環境中具有非常重要的意義。 Bushtyrkov 目前正在集中開發自動精確映射手部的特性，其功能將遠超過多數由手勢來控制的應用。 Bushtyrkov 表示：“攝像頭可以捕獲手部特定的點，並對其進行數字化處理。 該數據流包括手部每個點（共 22 個點）的座標和旋轉角度（圖 2）。”
圖 2： 英特爾實感 3D 攝像頭追蹤的手部點
將原始數據轉化爲精確建模的虛擬手部是一個複雜的過程，它要求團隊特別注意醫療應用所需的細節。 Bushtyrkov 表示：“我們創建人手的定性模型，將其與我們從英特爾實感 3D 攝像頭獲取的信息進行整合，使其活動並對其進行調整，極大推動了技術的發展。
Bushtyrkov 繼續表示：“我們嘗試應用到手部的數據準確性極具挑戰性。 藉助英特爾，我們解決了這一挑戰，我們使用 Unity 引擎插入手部動畫。”
3D4Medical 團隊長期以來一直使用英特爾實感技術，確保一直使用最前沿的新興技術來執行基本任務。 3D4Medical 業務發展部門副總裁 Niall Johnston 強調：“從我們合作的企業來看，我們在許多領域都保持技術領先。我們在早期開發階段便採用了該技術，這於我們而言是一個寶貴的機會，因爲我們可以研究能夠使用它做什麼。”
講故事
總部位於西班牙的 PlayTales 早在 2012 年便開始在 Apple App Store 上出售交互式書籍，並很快成爲市場領頭羊。 該企業在全球各大知名品牌（包括加菲貓*、芝麻街* 和小王子）與自己的品牌 My New Baby* 的基礎上開發了多款產品。 PlayTales 門店採用七種語言推出了 200 多種出版物，成爲想購買交互式故事書的全球親子的首選之地。
該團隊積極倡導在其即將推出的 Wizard of Oz* 交互式立體書及其教育科學應用 Professor Garfield* 中使用英特爾實感技術（圖 3）。 PlayTales 的首席執行官 Enrique Tapias 表示：“我們瞭解到英特爾的新技術後，覺得必須研究一下從體驗、3D 顯卡和交互方面能夠爲客戶做哪些改進。”
圖 3： 兒童用手在Professor Garfield 應用中操作蝴蝶
雖然英特爾實感技術還處於預發佈階段，PlayTales 獲得的不僅是在產品中部署一項新技術， 還是一次與技術領先企業合作的機會。 PlayTales 的首席技術官 Pablo Benitez 表示：“在部署應用的過程中，英特爾同時開發了英特爾實感 SDK。 我們需要適應這一點。 好的一面是，我們可以第一手測試新特性。我們親眼看到應用和 SDK 不斷髮展，提供出許多能夠幫助我們增強交互的酷炫特性。 我們非常喜歡輪廓模式功能，因爲它能夠追蹤距離攝像頭最近的對象的輪廓。 我們利用該功能將用戶的手部轉換爲遊戲中的 3D 模型，繪製出一個手部形象。 藉助它，用戶可以使用自己的手繪製一個桶的形狀接水，或用手指指引蝴蝶。”
行爲變化
採用英特爾實感技術爲 PlayTales 帶來諸多顯著優勢。 Tapias 表示：“我們提前採用數年之後纔會上市的技術， 這對我們非常重要。” Benitez 繼續表示：“我們還提前瞭解了兒童的體驗。 我們進行了自己的可用性測試，現在，英特爾焦點小組對我們的內容及英特爾實感技術的部署進行了測試，也爲我們提供了諸多幫助。 在測試 Wizard of Oz 和 Professor Garfield 過程中，我們注意到，兒童在全新的 3D 世界中進行交互時，無法理解深奧的概念。 而且，他們總是離開攝像頭的視野。 因此，我們部署了分步指導、教程和提示，以教授他們能夠移動到哪裏以及如何做。”
隨着客戶及其預期快速發展，PlayTales 利用這些洞察引領目前和未來的產品。 Tapias 表示：“孩子的行爲變化非常快，這主要由於其獲得的技術和設備所導致。 我認爲，藉助英特爾實感技術，孩子們將有更多選擇。 孩子們不僅能夠學習或閱讀，還能夠與內容交互，比如，在 Professor Garfield 中引導蝴蝶的移動。”
Tapias 及其團隊認爲英特爾實感技術帶來的全新交互方式具有極大的潛力，同時認爲需要細心控制每一項部署，向高標準完善，並根據不同的環境（學習或娛樂）進行調整。 對於 Tapias，前景無疑是樂觀的： “英特爾實感技術絕對是未來幾年內最重要的技術之一，它不僅適用於計算機和平板電腦，還適用於兒童使用的設備，如平板電腦和智能手機。”
神奇的 Scholastic
Scholastic 在兒童娛樂領域享有很高的聲譽，其產品包括跨多平臺的書籍、艾美獎獲獎電視作品、視頻遊戲和交互式學習產品等。 Scholastic Media 數字產品部門主管 Jennifer Contrucci 表示：“我們將品牌主題和人物與技術相結合來生產內容。 我們使用技術是因爲它能夠帶來很好的效果，而不是一種附加特性。”
該公司的許多品牌已經成爲構成美國及其他國家兒童文化的一部分，包括 Clifford the Big Red Dog* 和 Magic School Bus*。 目前，該公司在 I Spy* 品牌中採用了英特爾實感技術，該品牌最初創建於 1992 年，是一系列兒童書籍，現在成爲了交互式世界。
圖 4： I Spy Pirate Ship 截圖
I Spy Pirate Ship* （圖 4） 是該品牌的新增內容，專門針對便攜式一體機和 2 合 1 電腦設計。 Contrucci 表示：“該款應用採用了英特爾實感 SDK 中的許多特性，包括手勢、手部張開-握住檢測以及面部點追蹤等。 您可以在遊戲中感受到各種感知功能。”
兒童和攝像頭
I Spy Pirate Ship 的一個活動是通過烏鴉巢穴中的望遠鏡尋找星體上躲藏的物體（圖 5）。 當部署英特爾實感技術，以便追蹤用戶掃視天空時頭部的運動情況時，該團隊遇到了一些有趣的挑戰。
圖 5： I Spy Pirate Ship 的望遠鏡視圖
Contrucci 解釋：“因爲孩子的運動不平穩且不受控制，所以我們無法在他們觀看時持續檢測到他們的方向。 我們將編程更改爲點追蹤。 現在，遊戲將會尋找面部的特定點，比如鼻尖，結果證明非常有效。”
當用戶發現一個物品時，將會停住來通知程序，這一看似簡單的交互，爲受衆帶來出色的體驗。 Contrucci 表示：“結果證明，這對於孩子們來講是一個神奇的體驗，因爲他們感覺自己真正處在烏鴉巢穴環境中，他們實際做的事情非常重要。”
對於 Contrucci，當用戶面部停在特定位置時應用能夠識別的能力具有很大的未來潛力。 她繼續表示：“我們能夠看到這種功能可以產生許多其他應用。 比如，如果一個幼兒正在看 eBook*，她在一張獅子圖片上停住，這時候非常適合做出反應，提供動物的名稱及描述。 這能夠爲幼兒提供“適時”的幫助。”
社交學習
對於交互性在教育過程中是否能夠帶來真正的優勢的問題，英特爾遊戲和教育產品經理 Ornit Gross 表示毋庸置疑。 “當提供活靈活現、沉浸式和有趣的教育材料時，能夠幫助記憶， 幫助學習。”
Ornit 繼續表示：“當初入該領域時，我們發現，許多因素可以共同作用，提供有效的學習體驗。 其中之一是交互性 — 無論是與教師、朋友還是應用交互，只有交互才能夠加深學習過程。”
雖然英特爾實感技術代表了一流的交互性技術，但是它只是其中一個因素。 Ornit 表示：“另一個因素是社交。 您不是自己學習，而是在一個團隊中學習。 這是我們認爲可以繼續改進的部分，我們期待在下一代中看到這一改進。 主要是讓兒童感受一對多而非一對一的體驗，讓他們認爲自己在和朋友一起學習。”
全面支持
同時，英特爾實感技術從根本上對開發團隊（最終對最終用戶）與電腦和移動設備的交互帶來突發式的轉變，爲其帶來巨大價值。 Ornit 及其團隊對挑戰的渴望爲其贏得豐厚的獎勵。 “令我感到驚喜的是，開發人員瞭解到英特爾實感 SDK 能夠同時適用於低級別數據和高級別數據後，他們隨即利用所有的 SDK API 編寫了自己的交互方式。 例如，SDK 能夠追蹤整個面部的 78 個特徵，並可檢測睜眼/閉眼和張嘴等面部表情。 開發人員將這些功能全部結合在一起，以便 SDK 能夠發現用戶做鬼臉。 再如手勢識別。 英特爾實感 SDK 可追蹤 22 個手部關節點和捏合手勢；一位開發人員將這些 SDK API 進行整合，能夠識別一種特殊的捏合手勢，這種手勢專爲遊戲的主要角色而設計。”
如英特爾所知，技術只是開始。 內容纔是最重要的。 Contrucci 總結了 Scholastic 探索英特爾實感技術可能性的動機： “許多人認爲，手勢控制將是未來的一大浪潮，因爲其帶來的潛力不僅是兒童交互所需要的，而是自然操作所需要的。 當我們使用 I Spy Pirate Ship 來測試兒童的自然交互特徵時，這對於他們而言是一個全新的體驗， 非常令人興奮。”
瞭解更多有關英特爾實感技術，請點擊：https://software.intel.com/zh-cn/