HTM白皮書學習筆記(二)

本回我們主要介紹一下HTM的基本原則:Hierarchy、Regions、Sparse Distributed Representations以及時間在模型中起到的作用。

1.Hierarchy

一個HTM網絡包含有很多被層次化組織的Regions。Region是HTM中負責記憶和預測的主要部件,留到下文分解。在層次化結構中,通常一個HTM Region表示一個level(level、hierarchy在這裏表示一個意思,只是具體指定region時使用level)。當你從一個低的level region往高level region走時,信息是會收斂的(convergence),這也就意味着低level region中的幾個元素在高level region中被表示成一個元素。然而由於有反饋的存在,當你由高往低時,信息會發散(diverges)。具體如下圖所示:
這裏寫圖片描述
根據上面的說法,我們可以將不同的HTM網絡進行合併,比如如下圖所示的系統,包含有兩種不同的數據(音頻和視頻)。如果兩個子HTM region均能收斂,提取出穩定的特徵,那麼高level的HTM region就能將其合併成一個模型。
這裏寫圖片描述
層次化的好處之一是efficiency。由於低level HTM region中學習到的模式在高level HTM region合併中可以重複利用,這麼做減少了訓練時間和存儲。我們一個視覺問題來解釋這個問題。在大腦的視覺皮層中,存儲着大量關於邊緣和角度的小的視覺特徵模式(同時邊緣也是世界中很多的物體的基本組成部分)。這些低level小的特徵模式在mid-level的皮層中被合併成物體的紋理以及外觀特徵(比如一個弧可以使一隻耳朵的一部分,也可以是輪胎的一部分、同時可以使杯子把的一部分)。這些mid-level的特徵在進一步合併,就形成了人認知到的頭、車和餐桌。爲了識別物體,你不需要重新學習它的組成部分。就像你在學習一個新單詞的時候,不需要重新學習字母、音節和音素了。

2.Region

新皮層是一個大約2mm厚的神經元組織,生物學家將它按照功能分成了不同的區域,稱之爲region。儘管不同region之間的大小差別很大,但是它們在結構上是大體類似的。它們都包含有6層神經元,其中5層是細胞,1層是非細胞結構(有一些特別的情況,它是大部分情況是這樣的)。每個皮質區域中,由很多內部高度互聯的神經微柱(columns)構成。HTM region也採用類似的結構如下圖所示:
這裏寫圖片描述

3.Sparse Distributed Representations

儘管神經元在新皮質中是高度互聯的,但是抑制神經元保證在某一時刻只有很小一部分神經元保持活躍狀態。因此,信息在大腦中是採用稀疏表達的方式(Sparse Distributed Representations)。
HTM Region也採用稀疏表達的方式。那麼HTM中的稀疏表達是如何實現的呢?舉例說明,假設一個HTM Region輸入20,000個bit,其中的0和1的個數隨時間顯著的變化。這個HTM Region可以將輸入轉化爲只有2%的輸出爲1的1000個bit的內部表達。因爲輸入可以表達的信息的數目遠遠大於該Region所能表達的,所以看起來這個過程造成了信息的大大的損失。但是輸入可以表達的信息的數目和該Region可以表達的模式數都是很大的數值,之後我們會介紹該Region是如何將輸入轉化爲稀疏表達的,可以看到理論上信息的損失是非常小的。後面我們會介紹稀疏表達的一些重要的能力和在HTM中實現的必須性。

4.時間的作用

時間在模型中的學習、推理和預測(learning,inference and prediction)過程中起到很重要的作用。
我們從推理開始,舉例說明假設你被蒙上眼睛,手上放上一個蘋果,當你的手指在蘋果上面移動的時候,觸覺信息隨時間在改變,一段時間之後你就能推理出這是一個蘋果。如果,你只是將蘋果放在手掌上,不讓你的手指感受這個物體,你很難判斷你手中的是蘋果還是檸檬等別的水果。
然後是學習,假設你在觀察一條向你跑來的小狗,每個時刻視網膜捕捉到小狗一種運動的模式。這個過程中你獲得的是同一只小狗的不同的模式,在數學上這些模式是完全不同的。大腦可以通過觀察同一物體一系列的運動方式,學習到該物體的運動模式。時間就是這個過程的監督者。
學習和識別不同的序列是建立預測模型的基礎。一旦HTM學到了某些模式緊隨另一些模式後面,它就可以預測出之後的輸入是什麼並把它反饋到輸入中。
下回我們將介紹HTM的四種基本的功能。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章