- Echo State Network（ESN）又叫做回聲狀態網絡，這個網絡主要的特點就是他有一個“存儲庫”，一般稱爲reservoir來存儲相關的信息和保存時間特性的。現在來介紹一下ESN
Echo State Network（ESN）
一個無輸出反饋的回聲狀態網絡由三個基本組件組成：一個輸入層，一個大型的循環隱藏層（一般叫做reservoir），以及一個輸出層。輸入層是隨機的連接到這個大型的隱藏層的（reservoir）。然後reservoir包含稀疏隨機連接。這裏只有一個可以適應的參數就是輸出權重，這個輸出權重通常是通過線性迴歸來更新調整的，如下圖所示：
輸入：
首先，我們給定一個在時間點t上的K維的輸入向量
，這個u(t)就是在t時刻下的輸入向量，一共有K維在裏面。然後我們再獲得在時間點爲t-1時刻下的N維向量
，這個x(t-1)就是在時間點爲t-1時候的存儲庫的狀態，是一個N維向量。我們通過下面的兩個方程來對整個系統進行更新：
在這裏，
是在時間點爲t下的L維的輸出（我們看到這個y(t)就知道是時間點在t下的輸出，一般用y來表示輸出的）。對於上面兩個等式，Win，Wres，Wout用來代表以下幾個權重：1.從輸入層到存儲層的連接權重；2.存儲層指向本身的權重；3.從存儲層到輸出層的鏈接權重。在網絡中，Win和Wres是隨機生成的和隨機調整的。只有Wout是可適應的。f是存儲層的激活函數（這個激活函數一般是tanh），而等式2裏面的fout就是輸出層的激活函數（通常是identity函數）
在ESN初始化的時候有三個超參數起作用：IS(Input Scaling),SR(Spectral Radius),α（稀疏Sparsity）
（1）IS是用來初始化矩陣Win的。這個Win中的元素是從均勻分佈[-IS,IS]裏面抽取出來的，也就是說這哦Win中的元素初始化以後應該服從均勻分佈[-IS,IS]
(2)SP是Wres的譜半徑，通過這個公式來計算：
這個公式裏面，
就是矩陣W的最大特徵值（求特徵值取最大值）。矩陣W的元素就是在[-0.5,0.5]之間隨機生成。
（3）α是Wres中的非零元素的比例，（用這個來表示稀疏）
一個ESN有兩個核心的特性：（比較學術，可以不管）
（1）TK（Temporal Kernel）：輸入時間序列驅動大的存儲層reservoir，在高維狀態空間中產生回波狀態，使得reservoir在基於核函數的方法中起到類似核函數的作用。reservoir可視爲速度核，其回波狀態是輸入時間序列的非線性高維表示
（2）ESP（Echo State Property回聲狀態屬性）：ESP是指短期歷史相似的輸入會產生相似的響應狀態，從而保證了儲層的動態穩定性。Yildiz, Jaeger和Kiebel(2012)討論了標準sigmoidESNs和漏積分器ESNs ESP的充分條件。對於標準的s型ESNs，如果遞歸權矩陣Wres是對角穩定的，則ESP是滿足的。ESP還提供一種重要的ESNs功能，稱爲“衰退記憶”或“短期記憶”。在這種短期記憶中，輸入和之前的存儲狀態對未來存儲層的影響會隨着時間的過去而消失的。
###################
以上就是對最基礎的ESN的一個介紹，其實我覺得對於這個ESN，他的回聲狀態就是在中間的reservoir中的循環連接導致的，這個recurrent給定了它一定的記憶功能，而且通過改變recurrent的長度就可以改變這個網絡的記憶長度。就有點類似於LSTM的樣子。