預測性編碼（Predictive Coding）簡介
Yanping Huang and Rajesh P. N. Rao
摘要
預測性編碼（Predictive Coding）是在神經系統中對認知冗餘進行縮減（understanding redundancy reduction）並且進行高效編碼的統一框架。通過僅僅傳入感覺信號中沒有被預測到的部分，預測性編碼能夠讓神經系統減少信息冗餘，並且可以充分利用神經元的在追蹤信息動態方面的限制（the limitied dynamic range）。在神經系統中將這種高效編碼的假說作爲設計原則（design principle）後，預測性編碼能在很大程度上有效解釋神經反應與大腦組織方面的問題。視網膜視覺感受野以及外側膝狀體自然形成爲了對外界圖像進行預測性編碼的一個序列。在更高級的視覺系統中，預測性編碼可以解釋定位感受野、背景信息效應乃至皮層各層次之間的聯結與組織。預測性編碼能夠穩定地在不同的腦區的神經生理學數據和心理學數據中檢測到。
導言
自然界的信號中充滿了大量的冗餘。這種冗餘會隨着這些信號在時間和空間上的相似性而提高。例如，在圖片中臨近像素的強度通常都會有比較高的相關度，因爲形狀總會限制在一定的空間區域；類似的， 每個像素的強度在時間層面上也是相關的，因爲物體在時間上也是連續存在的。讓一組知覺感受器受到原始圖像的直接反應而激活是非常低效的。長期以來，人們通常根據信息論認爲早期感覺加工的作用是減少冗餘，並且將輸入的信息進行重編碼爲更爲高效的形式。其中一種能夠實現這個目標的方式就是預測性編碼（Predictive Coding）。預測性編碼假設神經網絡會學習自然世界中事件內在的統計規律，並且通過移除輸入信息中可以預測的部分從而減少冗餘，僅僅傳遞不可預測的部分（預測中的殘差 residual errors）。
預測性編碼提供了對圍繞中心的反應以及對視網膜和外側膝狀體神經元的二相時間拮抗（biphasic temporal antagonism）的有效解釋。根據預測性編碼模型，視網膜以及外側膝狀體的神經環路會積極根據最近的輸入信息的線性權重和預測刺激強度的值。在這些環路中的細胞傳遞的並不是這些圖像本身的強度，而是預測值與真實刺激之間的差異。這種去相關，通過將輸入信號在時間和空間光譜上進行扁平化（flattening），可以減少輸出的冗餘。最終的結果便是不同的信號之間只有較小的變化範圍，並且使得通過信息變化範圍受限的視覺通路，進行信息的經濟性提高。
在主要視覺皮層（V1）上的神經元會對特定朝向的棒狀物或邊緣產生反應偏好，從而使在V2與V4區的神經元會對更爲複雜的形狀與輪廓產生反應。內側顳葉的神經元則會對視覺運動產生反應。這些對行爲的選擇性反應能夠通過自然信息輸入的多層次預測性編碼進行解釋。例如，運動實際上就是視覺系統在多個皮質層次上的相互整合。Rao 和 Ballard 提出了一個多層次神經網絡模型，該模型中從高級的視覺皮質區到低級的神經活動的預測性信息之間建立自上而下的聯結，同時自下而上的聯結則傳遞預測中的殘差信息。在使用自然場景中的一些圖片碎片訓練了一個神經網絡模型後，他們發現該模型的神經元產生了屬性上類似V1的視覺感受野，包括能感受到方向、啓動與停止以及其他類似的效應。Jehee 等提出預測性編碼模型符合 MST 神經元在運動中對光流（optic flow）的選擇性作用，而這種作用則能夠被腦解釋爲在空間中的運動。
在這篇總數中，我們嚴謹地通過高效編碼框架（efficient coding framework）介紹預測性編碼，並且通過該編碼在空間與時間中應用的例子來闡明這個概念。我們隨後回顧了預測性編碼爲什麼可以用來理解神經系統在很多領域中的神經反應。我們最終將會對其他支持大腦在進行預測性編碼的實驗，進行一個簡單的總結與討論。
預測性編碼的一般性框架
預測性編碼的潛在假設是視覺系統會嘗試建立一個對外部環境的內在模型，並使用該模型積極預測輸入的信號。因此可以將這個過程使用一個生成模型寫爲 P(I|r) ，即圖像 I 的概率以及一系列隱藏的內在參數 r（反映神經網絡中神經元的激活比率）。當輸入一個圖像 I ，神經系統就會假定去選擇參數 r ，使得先驗概率在貝葉斯理論下最大化 P(r|I) = P(I|r)P®/P(I) ，其中 P(I) 是恆定不變的。從信息論的觀點來看，使得 H 變成描述全部信息的長度，例如編碼長度的總和 H_{1} = -logP(I|r) ，或者長度H_{2} = -logP® 的r參數本身。最小化總描述長度 H = -logP(I|r) - logP® 等價於預測編碼假設下最大化參數的後驗概率。因此，最小化描述長度（minimum description length，MDL）框架可以視爲是等價於貝葉斯最大化後驗概率擬合（Bayesian maximum a posteriori，MAP）方法。
（接下來需要把生成模型和MDL、MAP研究一下）
文章來源：Huang, Y., & Rao, R. P. N. (2011). Predictive coding. Wiley Interdisciplinary Reviews: Cognitive Science, 2(5), 580–593. http://doi.org/10.1002/wcs.142