數據預處理，歸一化除了統一標量到（0,1）之間方便計算以外，在求loss function時還利於找到全局最優解如圖：
歸一化前，不同標度：
歸一化後，相同標度：
Deep Learning論文筆記之（六）Multi-Stage多級架構分析 [email protected] http://blog.csdn.net/zouxy09 自己平時看了一些論文，但老感覺看完過
本論文是kdd2016的一篇論文 主要的目的也是做node embedding。 主要的想法就是通過deep autoencode對node進行embedding，不過在在embedding的時候不僅考慮了1-hop的信息而且考慮
其中動量係數一般取（0,1），直觀上理解就是要是當前梯度方向與前一步的梯度方向一樣，那麼就增加這一步的權值更新，要是不一樣就減少更新。 更詳細的介紹參見《DeepLearning最優化方法之Momentum（動量）》
本文僅對常見的參數初始化方法進行總結（大部分內容來自deep learning一書），原理性的問題不進行過多的探討。 Deep Learning中參數初始化十分重要，一般來說有以下這些原因： 1.初始點的選取，有時候能夠決定算法
文章目錄1. 什麼是BERT2. 從Word Embedding到Bert模型的發展2.1 圖像的預訓練2.2 Word Embedding2.3 ELMO2.4 GPT2.5 BERT2.5.1 Embedding2.5.2 M
文章目錄1. 什麼是Transformer2. Transformer結構2.1 總體結構2.2 Encoder層結構2.2.1 Positional Encoding2.2.2 Self-Attention2.2.3 Multi
文章目錄1. 什麼是XLNet2. 自迴歸語言模型（Autoregressive LM）3. 自編碼語言模型（Autoencoder LM）4. XLNet模型4.1 排列語言建模（Permutation Language Mod
文章目錄1. 什麼是seq2seq2. 編碼器3. 解碼器4. 訓練模型5. seq2seq模型預測5.1 貪婪搜索5.2 窮舉搜索5.3 束搜索6. Bleu得分7. 代碼實現8. 參考文獻 1. 什麼是seq2seq 在⾃然語
文章目錄1. Model Log 介紹2. Model Log 特性3. Model Log 演示地址4. Model Log 安裝5. Model Log 使用5.1 啓動 web 端5.2 Model Log API使用5.3
OpenCV，是Inter公司開發的免費開源專門由於圖像處理和機器視覺的C/C++庫，英文全稱是Open Source Computer Vision。 1. 可視化語言Matlab與OpenCV都可以用於圖像處理，學哪種比較好
詞向量 NLP 處理文本，所以在進行處理之前，要先解決文本的表示。文本由詞組成，本文討論了表示詞彙的幾種方案。 WordNet 這種方法基於如下思想：用詞彙的意義來代表詞。所以我們可以建立若干個集合，每個集合代表一組同義詞，每個詞
傳送門 Word2Vec Optimization 梯度下降，隨機梯度下降。 實質上是無監督學習，每個batch的最小單位可以是一組word2word的映射，輸入值是一箇中心詞，輸出值是一個其對應的outside詞，要學習是從中心
目錄 什麼是自動微分 手動求解法 數值微分法 符號微分法 自動微分法 自動微分Forward Mode 自動微分Reverse Mode 參考引用 現代深度學習系統中（比如MXNet， TensorFlow等）都用到了一種技術——自動微分
自然語言是一套用來表達含義的複雜系統。在這套系統中，詞是表義的基本單元。在機器學習中，如何使用向量表示詞？ 顧名思義，詞向量是用來表示詞的向量，通常也被認爲是詞的特徵向量。近年來，詞向量已逐漸成爲自然語言處理的基礎知識。 爲
2014 年，Ian Goodfellow 和他在蒙特利爾大學的同事發表了一篇震撼學界的論文《Generative Adversarial Nets》，這標誌着生成對抗網絡（GAN）的誕生，而這是通過對計算圖和博弈論的創新
