原创 論文筆記之Structural Deep Network Embedding
本論文是kdd2016的一篇論文 主要的目的也是做node embedding。 主要的想法就是通過deep autoencode對node進行embedding，不過在在embedding的時候不僅考慮了1-hop的信息而且考慮
2020-07-08 10:23:34
12
原创 論文筆記之Fully Convolutional Networks for Semantic Segmentation
最近了解到了Image Semantic Segmentation方面的知識，在此做一個記錄。 這篇論文是2015cvpr的best paper，可以說是在cnn上做圖像語義分割的開山之作。 1.語義分割定義： 語義就是指物體的
2020-07-08 10:23:34
113
原创 神經網絡 動量因子
其中動量係數一般取（0,1），直觀上理解就是要是當前梯度方向與前一步的梯度方向一樣，那麼就增加這一步的權值更新，要是不一樣就減少更新。 更詳細的介紹參見《DeepLearning最優化方法之Momentum（動量）》
2020-07-08 10:23:34
1
原创 Deep Learning 之 參數初始化
本文僅對常見的參數初始化方法進行總結（大部分內容來自deep learning一書），原理性的問題不進行過多的探討。 Deep Learning中參數初始化十分重要，一般來說有以下這些原因： 1.初始點的選取，有時候能夠決定算法
2020-07-08 10:23:34
77
原创 word2vec 過程理解&詞向量的獲取
網上有很多這方面的資源，詳細各位都能夠對於word2vec瞭解了大概，這裏只講講個人的理解， 目的：通過對於一個神經網絡的訓練，得到每個詞對應的一個向量表達 基於： 這個神經網絡，是基於語言模型，即給定T個詞的字符串s，計算s
2020-07-08 10:23:34
110
原创 最優化問題之如何逃離(跳出)鞍點（Saddle Points）
看了點鞍點相關的知識，做一下備錄。 我們知道在，優化問題中，深度學習的優化問題中，經常存在鞍點，就是這一點的導數爲0，從某些維度看是極小值，從另一些維度看是極大值，比如： 深度學習的尋優過程中，鞍點所造成的困難，遠比局部最小
2020-06-04 02:41:41
10
原创 python機器學習實戰之 Decision Tree For Titanic in Kaggle
最近陸續準備熟悉一下sklearn庫，在此做一下記錄。 這篇文章是簡短的對於decision tree的kaggle上的實戰記錄，詳細的請見github 一.數據集： Titanic 是一個二分類問題，給你每個人的一些feat
2020-02-25 04:14:02
原创 From RNN To LSTM
最近看了一些rnn和lstm的資料，算是科普性的瞭解了，在此做一個總結。 目錄： 1RNN 1）RNN結構 2）RNN（本質） 3） The Problem of Long-Term Depende
2020-02-25 04:14:02
原创 論文筆記之Learning Deep Representations for Graph Clustering
本篇論文是2014年AAAI的一篇論文。 思想也比較簡單，主要是採用SAE（棧式自編碼）無監督學習的形式，在graph上進行node embedding，將embedding得到的每個node的vector做爲輸入，進行grap
2020-02-25 04:14:02
5
原创 論文筆記之Diffusion-Convolutional Neural Networks
本文是2016年NIPS上的論文 也是在graph上採用cnn進行了探討。 思路看似十分簡單： 對於一張graph而言，有N個node，每個node有F個feature，每個節點關注H hop以內的信息 架構： 對於 n
2020-02-25 04:14:02
原创 Data Mining Competition中數據缺失值處理
在數據挖掘以及機器學習中，拿到的數據，經常是某些記錄的某些字段是缺失的，面對這種情況，可以有以下幾種處理方法： 1.直接drop這條記錄 2.缺失值用衆數填補 3.缺失值用中位數填補 4.缺失值用rand(mean-std,
2020-02-25 04:14:02
原创 神經網絡中自定義LOSS的BP計算
先回顧一下高數當中學的鏈式法則 然後BP的想法就是不斷的用鏈式法則，直到鏈到能看到被導的未知數爲止. 如下圖，就是直到鏈到一個表達式中含有要求的被導變量 比如求dJ/dwi 那就一直鏈式法則下去，直到能看到zi=wi*y
2020-02-25 04:14:02
原创 數據歸一化好處
數據預處理，歸一化除了統一標量到（0,1）之間方便計算以外，在求loss function時還利於找到全局最優解如圖： 歸一化前，不同標度： 歸一化後，相同標度：
2020-02-25 04:14:02
原创 Deep Learning 最優化方法之Nesterov(牛頓動量)
本文是Deep Learning 之 最優化方法系列文章的Nesterov(牛頓動量)方法。主要參考Deep Learning 一書。 整個優化系列文章列表： Deep Learning 之 最優化方法 Deep Learni
2020-02-25 04:14:02
原创 Deep Learning 之 最優化方法
寫在前面本文主要是對Deep Learning一書最優化方法的總結，具體詳細的算法，另起博文展開。 整個優化系列文章列表： Deep Learning 之 最優化方法 Deep Learning 最優化方法之SGD
2020-02-25 04:14:02