原创 10.16

水軍檢測問題整理 摘要 水軍問題由來已久,水軍檢測問題一直非常重要。水軍檢測問題主要面臨的困難包括但不限於:源數據難以獲取;水軍標定規則太主觀;水軍檢測涉及的特徵難以規範化表達等。目前對水軍檢測的工作以圖計算和神經網絡訓練兩種方式

原创 10.16meeting

1:NormProp 問題1: the analysis supporting the proposed algorithm can only be applied to the input layer of a network.

原创 量化方法總結(1)

量化模型的特徵 從training和inference模型是否一致來看,可細分爲: post training quantization。在訓練時不做quantization,inference時將所有需要quantizatio

原创 Ternary weight networks閱讀筆記

本篇文章只對weight做了量化,且是三值量化。 量化目標: 量化方式: 對於Δ∗\Delta^{*}Δ∗的取值,文章給出了下面的解釋 總之就是正態分佈約爲0.6σ\sigmaσ,標準分佈爲13a\frac {1}{3}

原创 BinaryConnect: Training Deep Neural Networks with binary weights during propagations 閱讀筆記

量化方法 本文提出的方法只對weights 做了二值化,將w映射成{-1,1}。量化方法分成兩種。 第一種:Deterministic 第二種:stochastic training 在forward和backwoods的時

原创 深度學習中的Normalization模型——張俊林 閱讀筆記

原文鏈接:https://mp.weixin.qq.com/s?__biz=Mzg2MTA0NzA0Mw==&mid=2247489324&idx=1&sn=6d76ba15f2252216c95c2a6500977bd7&chk

原创 TRAINING AND INFERENCE WITH INTEGERS IN DEEP NEURAL NETWORKS

本篇文章主要創新點在於不僅僅提供了對activation 和weights的量化,還通過同樣的方式,對gradient和error進行了量化。將模型的量化做的更加深入。 這篇文章主要分爲兩塊,第一塊是知識鋪墊,第二塊是四個量化 知

原创 batch normalization基本內容

introduction 最近讀了提出batch normalization 的文章,是想 瞭解batch normalization 算法創建的思考過程。還是有些細節沒弄懂,在這裏記錄下。 文章主要講了batch normali

原创 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 論文閱讀

Introduction Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 是 google

原创 XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 論文閱讀

模型壓縮和加速是深度學習算法應用在移動端必須要解決的問題,也是近年來的研究熱點,這篇ECCV2016的文章就是做這樣的事。在這篇文章中作者主要提到兩種二值化網絡:Binary-Weight-Networks和XNOR-Networ

原创 WMT16 en-de test records

1:data preprocess TEXT=wmt16_en_de_bpe32k fairseq-preprocess --source-lang en --target-lang de \ --trainpref $TEXT/t

原创 fstream學習中的輸入問題

主要學習自這篇文章 http://www.cnblogs.com/wanghao111/archive/2009/09/05/1560822.html 接觸到這三種輸入方式: cin>>,cin.get(),cin.getline(