原创 開題內容
1：邊緣存儲的好處 邊緣存儲可提供數據預取和緩存服 務，以克服雲存儲遠距離數據傳輸 造成的高延遲、網絡依賴等問題 邊緣存儲可提供鄰近邊緣終端 的分佈式數據存儲服務，藉助數據 去重和近似存儲技術，緩解雲數 據中心的存儲和帶寬壓力
2020-06-26 04:27:16
原创 detach_channel_max試驗記錄
實驗原理 設輸入XiX_{i}Xi爲輸入X∈X\inX∈{B,C,W,H}的第i個channel。 Yi=Xi/max(abs(Xi))∗detach(max(abs(Xi))Y_i=X_i/max(abs(X_i))*deta
2020-06-26 04:27:16
原创 The Lottery Ticket Hypothesis
The Lottery Ticket Hypothesis THE MOTIVATION Pruned network is difficult to train from the start. THE MAIN WORK Th
2020-06-26 04:27:16
原创 FRN提升方法
FRN提升方法 經過一些實驗，找到了FRN的提升方法，首先上結果。 實驗結果 數據集 FRN NewFRN NewL1FRN BN cifar10 91.24% 92.00% 91.60% 92.40% cifa
2020-06-26 04:27:16
原创 目前做法整理
Wmean=∑inWin,out/NinW_{mean} = \sum_{in} W_{in,out}/N_{in}Wmean=in∑Win,out/Nin W′=W−WmeanW^{'}= W - W_{mean}W′=
2020-06-26 04:27:16
原创 prune實驗規劃
每個實驗一個branch 實驗一 重複上一次實驗,不同之處在於,維持10類的輸出.{0,1,2,3,4},{5,6,7,8,9}相互遷移 實驗二 維持10類輸出,{0,1},{3,4}相互遷移 實驗三 基於實驗一,剪枝時只抽取10
2020-06-26 04:27:16
1
原创 FRN實驗記錄
在batchsize128的情況下，變化ramp-up，看最佳的ramp-upepoch是多少。 ramp-up 20 50 80 FRN 91.74% 92.30% 92.28% 感覺最優的rampup應在50
2020-06-26 04:27:16
原创 BN實驗總結
利用每個channel下的max 和min計算均值方差 方差 方差係數 均值 resnet-20/cifar-10的錯誤率 (max−min)2(max-min)^2(max−min)2 無 (max−min)/2(
2020-06-26 04:27:16
原创 Lottery ticket experiments 1
數據預處理 將cifar10數據處理成兩個cifar5，其中label爲{0,1,2,3,4}的五類數據放置成一組，命名爲first_cifar_5，label爲{5,6,7,8,9}的五類數據放置成一組，命名爲last_cifa
2020-06-26 04:27:16
原创 3篇BNpaper
Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift 這篇文章主要講了兩個問題 爲什麼在諸多網絡模型中，Dr
2020-06-26 04:27:16
原创 均值方差估計
均值方差估計 輸入爲x，是一個（B，Cin）的矩陣。權重是w，是一個（Cin，Cout，w，h）的矩陣。本篇文章是估計z = x*w的分佈。當估計出z的均值方差後，就可以利用量化點偏移技術，省略BN層。 假設模型爲： 輸入x爲r
2020-06-26 04:27:16
原创 BN實驗計劃
對原始的BN來說， y→=x→−μσ\overrightarrow{y}=\frac{\overrightarrow{x}-\mu}{\sigma}y=σx−μ ∂L∂x→=1σ[∂L∂y→−(∂L∂y→,1→)N1→−(∂L
2020-03-02 14:00:00
原创 BN導數
對原始的BN來說， ∂L∂x→=1σ[∂L∂y→−(∂L∂y→,1→)N1→−(∂L∂y→,y→)Ny→]\frac{\partial L}{\partial \overrightarrow{x}}=\frac{1}{\sigma
2020-02-29 14:03:37
原创 online norm 與 MABN
MABN MABN的出發點是BN依賴於大的BatchSize。作者發現，BN對於BatchSize的依賴不僅體現在均值和方差兩個統計量上，還體現在導數上。經過與Online Norm對比發現，這兩個對BatchSize依賴的導數項
2020-02-24 13:34:17
原创 數據分佈算法
背景 Cooperative Edge Caching in User-Centric Clustered Mobile Networks 這篇paper是2018年被IEEE收錄的一篇論文，着力於解決多個基站協同緩存過程中的數據
2020-02-21 13:18:31