梯度下降利用到了一階泰勒展開式。
以下圖片是梯度下降原理的推導。
條件隨機場 判別模型 常用場景:詞性標註。CRF可以考慮相鄰數據的標記信息。 概率圖模型 概率圖模型(Probabilistic graphical model,PGM)是由圖表示的概率分佈。 概率無向圖模型 概率無向圖模型
最大熵模型 1.它是一個判別模型,最終目的是爲了建模p(y|x)p(y|x) 。 2.原理 認爲學習模型時,認爲條件熵最大的模型是最好的模型。 其原理可由以下博客說明,其隱含的意思是指最好的模型是在滿足已有約束的條件下,不做任何主
隱馬爾科夫模型(Hidden Markov Model, HMM) 1.生成模型,對p(x,y)p(x,y) 進行建模 2.符號說明 SYMBOLS meanings Q{q1,q2,⋯,qn}Q{q1,q2,⋯,qn
1.聯繫: 線性迴歸+sigmoid函數=邏輯迴歸 2.區別: (1)功能不同: 線性迴歸是做迴歸的,邏輯迴歸是做分類的。 (2)參數求解方法不同: 線性迴歸是用最小二乘法求解參數,邏輯迴歸是用梯度上升法求解參數。 (後續補充)