一、三維虛擬聲音技術
虛擬環境中的三維虛擬聲音與人們熟悉的立體聲音有所不同
三維虛擬聲音則是來自圍繞聽者雙耳的一個球形中的任意地方,即聲音出現在頭的上方、後方或者前方
1.三維虛擬聲音的特徵
- 全向三維定位,是指在虛擬環境中對聲源位置的實時跟蹤。
- 三維實時跟蹤,是指在三維虛擬環境中實時跟蹤虛擬聲源的位置變化或虛擬影像變化的能力
2.頭部相關傳遞函數
- 頭部相關傳遞函數可視爲聲音在人體周圍位置包含人體特徵函數
- 當獲得的頭部相關傳遞函數 能夠準確描述某個人的聽覺定位過程時,利用它就能夠模擬、再現真實的聲音場景
- 由於每個人頭、耳的大小和形狀各不相同,頭部相關傳遞函數也會因人而異。
3.語音識別與合成技術
在虛擬現實系統中,語音應用技術主要是指基於語音進行處理的技術,主要包括語音識別技術和語音合成技術,它是信息處理領域的一項前沿技術
1)語音識別技術
語音識別i技術是指計算機系統能夠根據輸入的語音識別出其代表的具體意義,進而完成相應的功能。
一個完整的語音識別系統可大致分爲以下三部分:
- 語音特徵提取
- 聲學模型與模式匹配(識別算法)
- 語言模型與語言處理
語言識別的方法:
- 基於聲道模型和語音知識的方法
- 模式匹配的方法
- 利用人工神經網絡的方法
2)語音合成技術
語音合成技術是將計算機自己產生的或外部輸入的文字信息按語音處理規則轉換成語音信號輸出,使計算機就流利地讀出文字信息,使人們通過“聽”就可以明白信息的內容
二、人機交互技術
人機自然交互技術是指在計算機系統提供的虛擬環境中,人應該可以使用眼睛、耳朵、皮膚、手勢和語音等各種感覺方式直接與之發生交互的技術。
在虛擬現實領域中較爲常用的交互技術主要有:
- 手勢識別
- 面部表情識別
- 眼動跟蹤
- 語音識別
三、虛擬現實引擎
虛擬現實系統是一個複雜的綜合系統,其虛擬現實系統的核心部分應該是虛擬現實引擎,引擎控制管理整個系統中的數據、外圍設備等資源。
從虛擬實現引擎的作用觀察、其系統作爲虛擬現實的核心,處於最重要的中心位置,組織和協調各個部分的運作。
一個完善的虛擬現實引擎應該具有以下特點:
- 可視化管理界面
- 二次開發能力
- 數據兼容性
- 更快的數據處理功能
虛擬現實引擎從其設計角度看,其層次結構可分爲4個部分:
- 基本封裝
- 虛擬現實引擎封裝
- 可視化開發工具
- 軟件輔助庫