點擊上方“碼農突圍”，馬上關注
這裏是碼農充電第一站，回覆“666”，獲取一份專屬大禮包
真愛，請設置“星標”或點個“在看”
曉查 發自 凹非寺
本文轉載自：量子位（QbitAI）
沒有乘法的神經網絡，你敢想象嗎？無論是單個神經元的運算還是卷積運算，都不可避免地要使用乘法。
然而乘法對硬件資源的消耗遠大於加法。如果不用乘法，全部改用加法應該可以讓運算速度大大提升。
去年年底，來自北京大學、華爲諾亞方舟實驗室、鵬城實驗室的研究人員將這一想法付諸實踐，他們提出了一種只用加法的神經網絡AdderNet（加法器網絡）。一作是華爲諾亞方舟實習生，正在北大讀博三。
如今，這篇文章已經被CVPR 2020收錄（Oral），官方也在GitHub上開放了源代碼。有興趣的同學不妨前往一試究竟。
加法器網絡簡介
加法器網絡的核心在於：用L1距離代替歐氏距離。
L1距離是求兩點之間座標差值的絕對值之和，因此全程不涉及乘法。
在這種新的定義下，反向傳播中用到的求偏導數運算也變成了求減法。梯度下降的優化過程也被叫做符號SGD（signSGD）。
在加法器網絡的新定義下，特徵向量的空間分佈也和CNN有很大的不同。
那麼AdderNet的實際效果如何呢？
在CIFAR-10的圖像分類任務中，AdderNet相比當初Bengio等人提出的加法神經網絡BNN性能有大幅提升，並且已經接近了傳統CNN的結果。
開源代碼
官方的AdderNet基於Python3和PyTorch。
先按照PyTorch的官方文檔準備ImageNet數據集，運行程序評估它在驗證集上的效果：
python test.py —data_dir 'path/to/imagenet_root/'
AdderNet可以在ImageNet數據集上達到74.9％的Top-1準確度和91.7％的Top-5準確度。
或者將CIFAR-10數據集下載到本地，測試一下它在CIFAR-10上的效果
python test.py —dataset cifar10 —model_dir models/ResNet20-AdderNet.pth —data_dir 'path/to/cifar10_root/'
不過AdderNet仍需自己訓練，官方表示將很快發佈預訓練模型。
現階段的AdderNet並非沒有缺陷，作者在項目主頁中說，由於AdderNet是用加法過濾器實現的，因此推理速度較慢，需要用CUDA編寫才能提高速度。
這與作者希望提高神經網絡運算速度的初衷還有一段距離。
但這篇論文的作者表示，今後還會繼續加法器神經網絡的研究，發表更多的成果，讓我們一起期待這項研究取得新的進展吧。
華爲諾亞實驗室實習生領銜打造
AdderNet這篇文章的一作名叫陳漢亭，畢業於同濟大學數學系，現在在北京大學信息科學技術學院攻讀博士學位，同時在華爲諾亞方舟實驗室實習。
在碩博連讀的前三年中，他已經以一作身份發表了5篇論文，其中一篇《Data-Free Learning of Student Networks》被ICCV 2019收錄，另外它參與多篇論文還被NeurIPS、IJCAI、ICML等頂會收錄。
傳送門
源代碼：
https://github.com/huawei-noah/AdderNet
論文地址：
https://arxiv.org/abs/1912.13200
---END---
重磅！碼農突圍-技術交流羣已成立
掃碼可添加碼農突圍助手，可申請加入碼農突圍大羣和細分方向羣，細分方向已涵蓋：Java、Python、機器學習、大數據、人工智能等羣。
一定要備註：開發方向+地點+學校/公司+暱稱（如Java開發+上海+拼夕夕+猴子），根據格式備註，可更快被通過且邀請進羣
▲長按加羣
順說句題外話，有不少人想加魚哥微信，魚哥姑且放出來，但是坑位有限哦
有熱門推薦????
2、【中文教程】簡單粗暴入門TensorFlow 2.0 | 北大學霸出品
3、一份來自亞馬遜工程師的Google面試指南，GitHub收穫9.8萬星，已翻譯成中文
如有收穫，點個在看，誠摯感謝
