聽覺神經網絡（一）：聽覺系統的結構與功能

聽覺是人類和動物所具備的重要感覺功能，是感知和獲取自然界環境信息的重要方式。隨着時代的進步，人工智能技術不斷髮展，聽覺同樣稱爲機器人模型研究的重點。人類社會的進步離不開語言的發展，聽覺是語言交流的基礎，是人類語言交流的通道。人類在語言交流中發出的聲音進入人耳被聽覺系統接收、轉化、傳導、綜合處理和加工，最終在大腦中被理解。聽覺系統可以從聲音中分辨出語音的含義及其發出聲音的物體，並能提取聲源的位置信息，從而辨別聲音發出的方向，這種聲音辨別能力優於所有現有的機器。

研究聽覺神經網絡處理聲紋識別、語音識別、聽覺情感識別、語音問答等任務時，需要對聽覺系統的結構和功能盡心相近的瞭解，本文對人腦聽覺系統的結構和功能進行詳細敘述。

聽覺信號是聲壓隨時間的變化，聽覺系統從耳朵所接收到的刺激出發，在聲音信號的分解和合成兩方面都取得了卓越的成就，構建起一個完整的多功能聽覺世界。

聽覺系統可以分爲聽覺外周和聽覺中樞兩個組成部分，這一節對聽覺系統的基本結構和功能進行介紹。

聽覺外周

聽覺外周部分包括外耳、中耳和內耳（如圖1所示），主要負責語音信號的接收和傳導，是一個複雜的換能器，能夠將機械形式的信號轉換爲傳輸到大腦的神經衝動，這一過程耳朵完成了聲音振動的感受、聲源位置信息的接收，並根據環境和自身狀態意識的改變進行主動調節與反饋。

圖1 人耳的解剖結構[2]

外耳主要包括耳廓和外耳道。耳廓的形狀有助於聲音的聚集，使收集反射的聲音能夠最有效地在外耳道聚集，同時耳廓褶皺有助於進行聲音定位[3]。外耳道起始於耳廓中心，終止於鼓膜，長度大約爲 25~35mm。成人的外耳道呈“S”形彎曲，外段向內前而微向上，中段向內向後向下，內段向內前微向下。外耳道主要是聲波傳導的通道，可以將聲音信號傳遞到鼓膜，通過共振效應，對聲音進行增益，從而將聲音放大。鼓膜介於鼓室與外耳道之間，是一個類似錐形的、頂點朝向中耳內部的軟膜，高約9mm、寬約8mm、厚約0。1mm。它可以隨着聲波的振動而振動併產生位移，即具有將聲波信號轉換爲機械能的作用。

圖2 耳廓結構

中耳由鼓室、咽鼓管、鼓竇和乳突等結構組成。鼓室又稱爲中耳腔，是由鼓膜和側壁形成的密閉腔體，內部充滿了空氣，包含有聽骨鏈。聽骨鏈由三塊聽小骨組成，分別爲錘骨、砧骨、鐙骨，是人體最小的骨頭；咽鼓管具有維持鼓室內氣體壓力平衡的能力。鐙骨具有平面形的底板，與卵圓窗相接，可以將振動傳到內耳中的耳蝸內。中耳一般被認爲是傳聲裝置，主要生理功能是實現聲阻抗匹配。耳蝸的輸入阻抗(定義爲產生橢圓形窗口單位位移的壓力)大約是自由空氣輸入阻抗的200倍[4]。如果聲音振動直接遇到前庭窗，我們可以計算出大部分能量會被反射，只有2%的能量被傳遞。然而，外耳和中耳大大增加了這種聲音能量傳播效率。傳播過程中的增益效果分兩個階段完成。

首先，外耳可以視爲一個方向性靈敏的助聽器，通過共振效應來收集耳廓較大區域內的聲壓，從而增加較小鼓膜處的聲壓。主共振的頻率峯值是互補的，因此鼓膜的壓力相對均勻地升高，在2-8 kHz的頻率範圍內升高15-20 dB，傳輸也同樣升高。然後，中耳主要通過兩種阻抗匹配機制增加振動壓強：（1）面積比機制：最大的因素來自於前庭窗中鼓膜面積與鐙骨底板面積之比，這兩部分的面積分別是60平方毫米和3。2平方毫米，前庭窗的壓力增加了18。75倍。（2）槓桿作用：錘骨臂(即鼓膜凸)比鐙骨臂長2.1倍[5]。

內耳包括感受聲音信息的耳蝸和感受位置信息的前庭器官。其中，內耳中的耳蝸，是聽覺外周最重要的一個部分。作爲人類聽覺系統的感受器，耳蝸的重要作用在於它實現了聲波與神經衝動的換能過程，將聲音的振動信號轉換爲大腦可以感受和處理的神經脈衝信號。同時耳蝸還起機械性頻率分析器的作用。

人的耳蝸形狀類似於蝸牛，是一個充滿液體的螺旋狀管。該螺旋狀管繞中間的蝸軸2。5~2。75圈盤旋而成，總寬度爲1釐米，高5毫米。耳蝸管被軟組織分成3個充滿液體的部分：前庭階、中階和鼓階（如圖3）。3個部分在耳蝸內圍繞着蝸軸一起旋轉， 沿耳蝸捲曲方向平行排列，包括聽神經和許多血管。耳蝸的基部有兩個膜性窗口，分別爲卵圓窗和圓窗。前庭階和鼓階分別終止於蝸底的卵圓窗和圓窗。前庭階和鼓階充滿外淋巴液，在蝸頂有一開口（蝸孔）將二者彼此連通。中階是一個盲管，將前庭階和鼓階分隔開，其內部充滿內淋巴液，在蝸頂處關閉。中階和鼓階之間的隔膜狀結構稱爲基底膜，其上有毛細胞、神經終末等組成的神經感受器。分隔前庭階和中階的膜狀結構稱爲前庭膜。

圖3 前庭階、中階和鼓階解剖結構

含有聽覺感受神經元的科蒂氏器官（如圖4）位於基底膜上，蓋膜懸於科蒂氏器官之上。耳蝸毛細胞是聽覺感受器細胞，位於基底膜上的科蒂氏器官內。毛細胞是上皮細胞的變種，其頂端有毛（靜纖毛）伸出，這些纖毛與覆蓋其上的輔助結構相靠近或接觸。毛細胞的基底部與聽神經軸突遠端形成軸突連接。受到聲音振動的刺激時，聽覺毛細胞的膜電位會發生變化，然後釋放神經遞質，進而使得支配毛細胞的聽覺神經產生興奮和衝動，將聲音信息傳到聽覺中樞。耳蝸毛細胞分爲外毛細胞和內毛細胞。毛細胞被支持細胞維持在一定位置。哺乳類動物的外毛細胞沿着蝸管方向排列成三排，而內毛細胞排列爲一排。 人類的外毛細胞數約爲12000個，內毛細胞數約爲3500個。

圖4 科爾蒂（Corti）器官的橫截面，出現在基部轉彎處，顯示出網狀薄層中的毛細胞，其束成束的纖毛延伸到保護膜。Deiters的細胞將延伸部分向上延伸至網狀層，在外部毛細胞周圍的空間中運行[9]。

圖5 Corti的人體器官：從耳蝸中轉（500 Hz 處）的斷面掃描電子顯微照片。在該標本中，內部柱狀 細胞（箭頭）已部分塌陷，並且蓋膜從網狀薄層縮小。 有四排外部毛細胞（OHC）[10].

到達內耳的聲波使基底膜運動，從而也使Corti 器官運動（如圖6），這就在蓋膜和毛細胞頂端之間引起剪切運動，這一運動轉而使靜纖毛移位，感覺毛的彎曲誘發一串電活動，導致感受器細胞基底部化學神經遞質的釋放和聽神經動作電位的發生。內毛細胞和外毛細胞形成突觸連接到聽神經纖維，將聲音由聽覺外周傳入到聽覺中樞。內毛細胞的數量雖少，但受95%的聽覺傳入神經纖維的支配，每個內毛細胞受16~20 根傳入纖維的支配。而外毛細胞主要受起源於聽覺腦子的上橄欖核的傳出神經纖維的支配。因此，根據這類解剖學上的特徵，可以得出結論：內毛細胞主要完成聽覺信息向中樞的傳遞，而外毛細胞主要參與聽覺信號轉換中的離心調節和主動過程，決定聽覺靈敏度和精細辨別能力。

在兩種類型的細胞中，前向轉導在內毛細胞和外毛細胞中的發生基本相同。每個毛細胞頂表面上的大量靜纖毛（每個毛細胞60 – 120個）通過尖端連接的細纖維相互連接，這些細纖維 從束中較短的靜纖毛的尖端中出來，向上延伸以連接相鄰的較高的靜纖毛。沿興奮性方向的靜纖毛偏轉會拉伸末端連接，通過直接的機械作用將機械換能器通道拉開[6][7]。機械換能器通道被認爲位於每個束中較短的靜纖毛的末端，因此將與每個末端連接的底端相關聯[8]。外毛細胞因其在反向轉導中具有特殊的機械作用而具有專門化的特徵，它具有相對較硬的靜纖毛束和活動的細胞體。 內毛細胞具有更直接的功能，充當簡單的感覺受體細胞。在這裏，由機械換能器通道的打開和關閉引起的細胞內電位的變化改變了細胞基端神經遞質的釋放，從而激活了聽神經的纖維。

圖6 基底膜的向上運動造成的纖毛傾斜

基底膜的機械振動模式在很大程度上決定了聽覺反應的特性。聲音振動首先由中耳的聽骨鏈通過卵圓窗傳入耳蝸，在前庭階和鼓階之間形成機械壓力差，使得整個基底膜上下振動（如圖7）。

圖7 基底膜振動機理

人類的基底膜在耳蝸的基部的寬度爲0.08~0.16 mm，向耳蝸的頂部旋轉盤旋過程中逐漸變寬，最終達到0. 423~0. 651 mm. 同時基底膜耳蝸基部較大的韌度，在頂部較小，進而基底膜和Corti 器官的質量在耳蝸的基部較小而在頂部較大。基底膜在耳蝸基部和頂部的這種差異，決定了耳蝸基部和頂部的最佳響應頻率的不同。

通過研究表明，基底膜的運動可以用行波理論[9][10]來描述，即沿着基底膜分佈着不同的特徵頻率，其值是由基底膜上各個位點之間的參數值決定的。有關基底膜振動形式的研究始於Békésy對動物和人屍體的觀察，他在光鏡下觀察到，聲音引起基底膜振動從耳蝸基部開始，逐漸向蝸頂傳播，此即行波（如圖7）。在行波的傳播過程中，振幅逐漸增大，到達某一位置後便迅速衰減。行波在基底膜上傳播的距離以及振幅最大點的位置均與刺激聲的頻率有關：刺激聲頻率越高，行波傳播距離越短，振幅最大點位置越靠近蝸底。這種聲音頻率與基底膜部位之間的對應關係稱爲頻率組織結構。後來一些先進的測量技術進一步證實了Békésy的上述觀察（如圖8）。

圖8 （A）基底膜的行波，首先由貝凱西（Békésy）證明。低頻刺激的行波在耳蝸中更尖銳。顯示了連續時間（1、2、3）處的波；這些波在包絡線（虛線）內頂峯移動，該包絡線對於恆定頻率的音調保持恆定。
（B）當前的實驗表明，在最佳狀態下，耳蝸的行波要比Békésy所示的大得多，並且波峯要尖得多。如果以與A部分中的波浪相同的比例繪製行進波，則該行波將比B部分中所示的波窄5倍，高30倍。摘自Pickles（2013）。

聽覺中樞

來自耳蝸聽覺感受器的信號經聽神經纖維向聽覺中樞傳導。聽覺中樞各個核團的結構及其相互間的連接極爲複雜，主要核團如下：
耳蝸核：位於延髓，是哺乳動物第一級聽覺中樞。在耳蝸核中，神經元通過連接的聽神經形成對聽覺環境的多種平行的表達方式。來自聽神經的傳入纖維全部終止於同側的耳蝸核。耳蝸核主要包含三個亞區：前腹側耳蝸核（AVCN）、後腹側耳蝸核（PVCN）和背側耳蝸核（OCN）。腹側耳蝸核包括四種主要的神經元：球狀叢細胞、球形叢細胞、屋狀細胞和章魚細胞。球狀叢細胞主要分佈在腹側耳蝸核的前端，章魚細胞分佈在尾端，星狀細胞和球形叢細胞集中在中央位置。腹側耳蝸核中的球狀叢細胞和球形叢細胞主要的投射到上橄欖核、外側丘系核以及下丘。背側耳蝸核的結構較腹側耳蝸覈覆雜，並有顯著的層狀結構特徵.背’因耳蝸核主要的投射細胞是在覈團表面呈規則排列的梭狀細胞和深部的鉅細胞。

圖9 貓的耳蝸核中細胞類型的分佈

圖10 聽神經及耳蝸核細胞的鎖相特徵

上橄欖複合體：包括外側上橄欖核、內側上橄欖核和內側斜方體核。

圖11 集中哺乳動物的上橄欖複合體的主要核團在冠狀切面上的分佈

外側丘系：包含大量的上行和下行聽覺通路的神經纖維。其中上行的纖維由耳蝸核、上橄欖複合體以及外側丘系內部核團中神經元的軸突組成。這些軸突絕大部分終止於下丘。但也有相當數量的從外側丘系核發出的神經纖維經過下丘而終止子上丘或內側膝狀體。在外側丘系的神經纖維當中，有一條細胞羣帶從外側上橄欖核一直伸展到下丘腹側，形成了三個明顯的外側丘系核團. 根據在外側丘系的位置、細胞結構及神經連接的差異，這三個外側丘系核團分別被稱爲外側丘系腹側核、外側丘系中間核和外側丘系背側核。

下丘：包括中央核、中央旁核和外核。中央核是由碟形神經元和多極細胞所形成的層狀結構。幾乎所有腦子聽覺核團對中央核的投射都具有音頻拓撲結構。這表明來自於多個聽覺腦子結構的神經上行傳人按照特徵頻率彙集在中央核內並被高度整合。

圖12 聽覺中腦下丘中的按特徵頻率分佈的層狀結構

內側膝狀體：聽覺丘腦的最主要的結構，它包含腹側區、內側區和背側區。腹側區是內側膝狀體主要的聽覺信號中轉部位，內側區接受下丘的投射，還接受軀體感覺系統的傳人， 與聽覺、情緒、學習有密切的關係.背側區則是顯著的多感覺結構，它也接受軀體感覺、視覺的信息傳入。

圖13 貓內側膝狀體腹側區的一個頻率段

聽覺大腦皮質：聽覺神經系統中最高的一級信息處理中心，進一步分爲初級區（AI）和若干高級區。在猴類中，文獻將聽皮質分爲"核心區"、“帶區"和"外帶區”，其中"核心區"包括AI 、R和RT 三個區域；“帶區”包括若干個環繞核心區的區域；“外帶區”由數個在帶區外側的區城組成，如圖13、14。

圖14 猴類聽皮質區域分佈圖

圖15 貓聽皮質區域分佈圖

連接性研究表明，聽覺皮層的這些區域（核心區、帶區和外帶區）與其最近的鄰域是連續相連的，但與被進一步移除的區域不相連。因此，雖然核心區與帶區相互連接，帶區與外帶區相互連接，但核心區域與外帶區帶之間沒有直接投影。從聽覺皮層外側的外帶區到高階皮層結構的投射定義了聽覺背（空間）處理流和腹（非空間）處理流。

參考文獻：

[1] Barr J Rich N M. The anatomist Andreas Vesalius at 500 years old[J]. Journal of Vascular Surgery 2015 ，61(5) 1370~1374.
[2] Bear M. Connors B . Paradiso M N Neuroscience: Exploring the Brain. 2nd ed. New York: üppincott Williams &. Wilkins lnc. 2001
[3] 王建軍. 神經科學——探索腦（第2版）. 高等教育出版社.
[4] Nakajima HH, Dong W, Olson ES, et al (2009). Differential intracochlear sound pressure measurements in normal human temporal
[5] Auditory Pathways: Anatomy and Physiology
[6] Corey DP, Hudspeth AJ (1983). Kinetics of the receptor current in bullfrog saccular hair cells. J Neurosci 3: 962-76.
[7] Ryan A , Dallos P. Physiology of the cochlea[M]. In : Hearing Disorders , Northern J ed , Boston : Little Brown , 1984.
[8] Oghalai J S. The cochlear amplifier : augmentation of the traveling wave within the inner ear[J]. Current Opinion in Otolaryngology & Head & Neck Surgery , 2004 , 12(5) : 431~438.
[9] Pickles JO (2012). An Introduction to the Physiology of Hearing, 4th edition. Brill, Leiden.
[10] Glueckert R, Pfaller K, Kinnefors A, et al (2005). High resolution scanning electron microscopy of the human organ of Corti. A study using freshly fixed surgical specimens. Hear Res 199: 40-56.