ApproxANN——神经元关键性分析

ApproxANN: An Approximate Computing Framework for Artificial Neural Network

主要是解读自己阅读的这篇论文里的3.1节部分——神经元关键性分析

1. 定义关键性
   神经元上小的扰动会导致大的输出质量退化，这就是关键性神经元。退化越大，该神经元越关键。
2. 关键性分析的旧方法
   给每个神经元注入随机误差，记录对最终输出的影响
3. 缺点
   不实用，单个神经元影响太小，而无法被大规模网络很好监测
4. 本文的新方法
   提出有效的基于理论的神经元关键性分析方法
5. 具体
   最终成本函数
   E=12∑k=1c(tk−zk)2=12||t−z||2
   
   第i个神经元关键性，记作nci ，包括输出层的ncoi 和隐藏层的nchi 。
   
   nci=∂E∂neti
   可由其倒数表示
   
   ncok=∂E∂netok=∂12∑ck=1(tk−zk)2∂zk.∂zk∂netok=−(tk−zk).f′(netok)
   
   同理，
   
   nchj=∂E∂yj.∂yj∂nethj=f′(nethj).∑t=1cncokwkj