ApproxANN——神經元關鍵性分析

ApproxANN: An Approximate Computing Framework for Artificial Neural Network

主要是解讀自己閱讀的這篇論文裏的3.1節部分——神經元關鍵性分析

1. 定義關鍵性
   神經元上小的擾動會導致大的輸出質量退化，這就是關鍵性神經元。退化越大，該神經元越關鍵。
2. 關鍵性分析的舊方法
   給每個神經元注入隨機誤差，記錄對最終輸出的影響
3. 缺點
   不實用，單個神經元影響太小，而無法被大規模網絡很好監測
4. 本文的新方法
   提出有效的基於理論的神經元關鍵性分析方法
5. 具體
   最終成本函數
   E=12∑k=1c(tk−zk)2=12||t−z||2
   
   第i個神經元關鍵性，記作nci ，包括輸出層的ncoi 和隱藏層的nchi 。
   
   nci=∂E∂neti
   可由其倒數表示
   
   ncok=∂E∂netok=∂12∑ck=1(tk−zk)2∂zk.∂zk∂netok=−(tk−zk).f′(netok)
   
   同理，
   
   nchj=∂E∂yj.∂yj∂nethj=f′(nethj).∑t=1cncokwkj