原创 熵，互信息，KL距離（相對熵），交叉熵
熵 信息論中的熵，又叫信息熵。它是用來衡量，一個隨機變量的不確定程度。 熵越大，他的不確定性越大。最大熵模型的假設就是基於此而來。 H(X)=E[I(xi)]=−∑n=1NP(xI)log(P(xi)) 聯合熵 聯合熵用得比較少。它表
2018-09-04 16:05:43
原创 邏輯斯蒂迴歸公式推導
邏輯斯蒂迴歸，一個不是很恰當的理解就是在線性迴歸的基礎上加了一個sigmoid函數。將其輸出空間映射到0-1上面來。 然後映射後的這個值就代表他被分爲類別1的概率。 話不多說。這個就是邏輯迴歸（線性迴歸加上sigmoid的）最基本的公式
2018-09-04 16:05:43
原创 Dropout: A Simple Way to Prevent Neural Networks from Overfitting
本文來自《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》 以學習筆記的形式書寫，有些地方寫得或者翻譯得不太恰當，望見諒！！ 過擬合問題一直是深度學習中
2018-09-04 16:05:43
原创 t-SNE學習筆記
http://www.datakit.cn/blog/2017/02/05/t_sne_full.html 拜讀了這位大神的筆記，有些一開始不太明白的地方，寫個筆記記下來。 1.1基本原理 SNE是通過仿射(affinitie)變換將數
2018-09-04 16:05:43
原创 感知機及其對偶問題，參考《統計學習方法》
感知機模型： 1 判別模型， 2 旨在學習出一個線性劃分的超平面 輸入 T= {（x1，y1）,（x2，y2）……（xN，yN）}xi 是一n維的特徵向量，yi屬於{+1，-1}。 通俗來講就是。（假設T是線性可分的） 輸出 函數f
2018-09-04 16:05:43
原创 word2vector 一些問題及思考
本文是看了論文《Distributed Representations of Words and Phrases and their Compositionality》的學習筆記。 話不多說。 貼上cbow 和skip-gram的示意
2018-09-04 16:05:43
1
原创 Evaluation of Parsing 句法分析評測
在一般的學術論文中評測parser的好壞， 在dependency parsing中一般是用 LAS UAS 來衡量 簡要說來UAS是知道是邊對了（也就是它依賴的節點找對了）就算對，而LAS在前者的基礎上要求更加嚴格，還要求邊的
2018-09-04 16:05:43
2
原创 pytorch版本回退，從0.2降到0.1.12
由於個人需求，需要將pytorch降級到0.1.12。 但是官網卻沒找到對應的鏈接。 所以踩了一些坑。 具體做法可以見下面的issue。 https://github.com/dasguptar/treelstm.pytorch/i
2018-09-04 16:05:43
原创 Sunday算法流程與代碼
寫得比較馬虎，歡迎大家指正。 直接看例子 首先初始化一個map，也可以用大小爲256的int數組，數組中記錄了較短字符串中字母出現的最後一個位置，如str = “abad” map[a] = 2, map[d] = 3 然後兩個指
2018-09-04 16:05:43
原创 判斷鏈表是否有環，如果有返回入環的第一個節點。
如何判斷鏈表有環，這個問題很簡單，有環的鏈表，在遍歷的時候會永遠在環裏轉下去。 但如何返回入環的第一個節點，當然最簡單的思路是用額外的空間記錄是否訪問過該節點，如果訪問過，就立刻停止遍歷，並返回。 在《程序員代碼面試指南》中，作者採用了兩
2018-09-04 16:05:43
原创 Memory Network簡單理解
最近想把memory network的那一套引入到自己的任務中，所以寫一些學習過程中的筆記。 here is the paper http://cs224d.stanford.edu/reports/KapashiDarshan.pdf
2018-09-04 16:05:43
原创 SVM一些問題及思考
給定訓練集合 D=(x1,y1)，(x2,y2)……(xn,yn) 劃分超平面 wTx+b=0 點到直線距離 r=|wTx+b|||w|| 找到離分隔平面最近的點，稱爲支持向量,距離記爲rm rm=|wTxm+b|||w|| 然後
2018-09-04 16:05:43