人机交互-语音交互的人类感知机制

声音的产生


肺中的空气受到挤压形成气流,气流通过声门(声带)沿着声道(由咽、喉、口腔等组成)释放出去,就形成了声音。

人的发声过程包括两个步骤

  1. 首先声门、声带产生不同频率的声音;
  2. 然后声道对声源起到调制作用。

以上过程如下图所示:

气流、声门可以等效为一个激励源,声道可以等效为一个时变滤波器,由此产生了语音。

 

语言的本质


组成有声话语的小微语言元素叫作音素,它是语言中最小的单位,一旦改变,单词或者表达就会跟着变化。音素的物理表达就是“通话”,但语音信号不只是一系列拼接的声音,像摩尔斯电码。我们的发声器官以难以置信的速度和精心的编排在变换着共振结构。

有时,共振是混乱的噪声在声道收缩时产生的,例如S的发音。一个音素的声学表达不仅是不固定的,而且在现实中会受到前一个和下一个预期的音素影响———这种现象称之为协同发音。当说话者根据当前情况和听者的需求调整自己的话语时,其他的变化就会产生。由此导致的语音信号反映了这些在复杂且快速变化的信号中运动的发音器官和声源。下图展示了一个简短话语的语音谱图。

音调(tone)是众多语言语音系统的构成要素,如汉语普通话的四声。虽然印欧语系里多数语言属于非音调语言,但在单词层面之上每一种语言都普遍运用音调传达信息。语音系统在音序、音节和音调之上的更高一层结构,是韵律或称韵律模式(Prosody or prosodic pattern), 它包括节奏、强弱模式和跨越音节和单词的音调变迁,等等。韵律同样是人类语言中令人着迷的部分,它跟音乐与诗歌关系密切。通过话语的韵律所传递的语义和情感信息,是人类语言的一个重要纬度,而且是词汇或书面语及语法难以记录表达的纬度。达尔文在其1871年的著作 The Descent of Man 中就指出过,语言韵律与情感表达密切相关,它本身又提示语言进化的起源。

 

语音的感知


声波经过外耳和中耳到达内耳,耳蜗将声波刺激转变为电信号,从而将电信号沿神经传导通路传至神经中枢。在这个过程中,完成了将声波的机械刺激转变为电信号并传至相应听觉神经。随后听觉中枢的神经元对传来的电信号进行综合分析,形成听觉。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章