文獻閱讀（74）

• 題目：Res-DNN: A Residue Number System-Based DNN Accelerator Unit
• 時間：2019
• 期刊：TCAS-1
• 研究機構：伊朗德黑蘭大學

1 縮寫 & 引用

• RNS: Residue Number System餘數系統
• BNS: binary number system

2 abstract & introduction

RNS的思路是把一個二進制表示的數用幾個位寬更小的數表示，這樣算乘加的話可以節省資源和能耗，但是過去的工作沒有用RNS做符號檢測、比較、scaling的
本篇論文的主要貢獻：

1. 提出了一個完全基於RNS的DNN架構
2. 在各個模塊用硬件實現了RNS操作
3. 爲row stationary提供一個高效的memory層次結構
4. 用霍夫曼編碼節省memory存儲帶寬

3 背景

3.1 餘數系統

假設選取一組模$(3, 5, 7)$，則17可以表示成$(|17|_3, |17|_5, |17|_7)=(2, 2, 3)$，即都用餘數表示，這就可以表示從[0, 3x5x7)這麼多的數
都用RNS表示之後，相加就是對應位置相加，相乘就是對應位置相乘
假設X=4，Y=23

好處是：可以用更小的位寬操作，而且可以很方便的並行

3.2 壓縮算法

• 遊程編碼
• Lempel-Ziv77(LZ77)
• 霍夫曼編碼

3.3 相關工作

常用的除數有$\left \{ 2^n-1, 2^n, 2^{n+1}-1 \right \}$或$\left \{ 2^n-1, 2^n, 2^n+1 \right \}$
爲了解決溢出問題，可以動態的調整除數

4 提出的架構