原创 熵
文章目錄信息熵條件熵相對熵 (Relative entropy)，也稱KL散度 (Kullback–Leibler divergence)交叉熵總結 信息熵 一條信息的信息量大小和它的不確定性有直接的關係。我們需要搞清楚一件非常非
2019-07-11 09:29:40
原创 概率圖模型
文章目錄概率圖有向圖 vs. 無向圖有向圖條件局部獨立性結論d-劃分樸素貝葉斯圖結構全局馬爾科夫獨立性馬爾科夫隨機毯(Markov blanket)解釋消除(explaining away)概率無向圖模型條件獨立性質分解性質勢函數
2019-07-11 09:29:40
1
原创 判別式與生成式模型
有監督學習迴歸模型中，我們利用訓練集直接對條件概率p(y|x;θ)建模，例如logistic迴歸就利用hθ(x) = g(θTx)對p(y|x;θ)建模（其中g(z)是sigmoid函數）。 假設現在有一個分類問題，要根據一些動物
2019-07-11 09:29:40
原创 Python可迭代對象中的添加和刪除（add，append,pop,remove,insert）
文章目錄List:dict:set：tuple: List: classmates = ['Michael', 'Bob', 'Tracy'] classmates.append('Adam') //添加在末尾，沒有add(
2019-07-11 09:29:40
3
原创 數據平滑
文章目錄數據預處理Add-one (Laplace) smoothingAdd-k smoothingBackoff回退法Interpolation插值法(Jelinek-Mere)Absolute discountingKnes
2019-07-11 09:29:40
原创 隱馬爾科夫模型HMM（一）HMM模型
什麼樣的問題需要HMM模型 首先我們來看看什麼樣的問題解決可以用HMM模型。使用HMM模型時我們的問題一般有這兩個特徵：１）我們的問題是基於序列的，比如時間序列，或者狀態序列。２）我們的問題中有兩類數據，一類序列數據是可以觀測到的
2019-07-11 09:29:39
原创 編譯原理中的四種文法
這是有關編譯原理的。 喬姆斯基體系是計算機科學中刻畫形式文法表達能力的一個分類譜系，是由諾姆·喬姆斯基於1956年提出的。它包括四個層次： 0-型文法（無限制文法或短語結構文法）包括所有的文法。該類型的文法能夠產生所有可被圖靈機
2019-07-09 08:50:48
原创 樹- 二叉樹
文章目錄樹的類型定義查找類（引用型操作）：插入類：刪除類：有向樹：二叉樹二叉樹的定義二叉樹的重要特性兩類特殊的二叉樹滿二叉樹：深度爲k 且含有 2^k-1個結點的二叉樹。完全二叉樹：二叉樹的遍歷問題的提出先左後右的遍歷算法先序遍歷
2019-07-08 08:05:54
原创 線性表：線性表的鏈式存儲結構
文章目錄鏈表鏈表的定義單鏈表頭結點和頭指針節點實現單鏈表的操作頭部添加元素尾部添加元素指定位置添加元素刪除節點查找節點是否存在鏈表與順序表的對比循環鏈表（單向）完整代碼雙向鏈表操作 鏈表 鏈表的定義 鏈表（Linked list）
2019-07-07 07:48:53
1
原创 棧 隊列 數組
文章目錄棧棧的類型定義棧的基本操作Push(&S,e)Pop(&S,&e)數組實現棧用鏈表實現棧兩種方法的對比隊列用數組實現隊列用鏈表實現隊列兩種方法的對比數組關於數組的動態擴容以及增刪改查 棧 棧的類型定義 棧的基本操作 Pu
2019-07-07 07:48:53
原创 python gensim下使用word2vec
用gensim函數庫訓練Word2Vec模型有很多配置參數。這裏對gensim文檔的Word2Vec函數的參數說明進行翻譯。 class gensim.models.word2vec.Word2Vec(sentences=None
2019-07-06 08:39:29
原创 算法和算法分析
算法的概念 算法是計算機處理信息的本質，因爲計算機程序本質上是一個算法來告訴計算機確切的步驟來執行一個指定的任務。一般地，當算法在處理信息時，會從輸入設備或數據的存儲地址讀取數據，把結果寫入輸出設備或某個存儲地址供以後再調用。
2019-07-06 08:39:29
原创 優化器算法（optimizer）詳解
文章目錄梯度下降的理解一.優化器算法簡述1.Batch Gradient Descent （BGD）2.Stochastic Gradient Descent (SGD)3.Mini-Batch Gradient Descent
2019-07-06 08:39:29
原创 損失函數
文章目錄一、平方損失函數（最小二乘法, Ordinary Least Squares ）均方誤差ESM均方誤差+Sigmoid激活函數：輸出層神經元學習率緩慢Sigmoid激活函數：ESM均方誤差+Sigmoid激活函數二.交叉熵
2019-07-06 08:39:29