原创 PRML 閱讀筆記（十一）<4.1>
4 Linear Models for classification 這一章開始介紹分類問題的線性模型。在具體介紹之前，先介紹幾個概念。 爲什麼說是線性模型，因爲在這一類模型中，決策面是輸入向量x的線性函數，這個線性不同於
2018-09-03 19:43:26
原创 PRML 閱讀筆記（十）<3.3-3.6>
3.3 Bayesian Linear Regression 這部分看了不止一遍，沒看懂的點比較多，不敢細說了，因爲時間比較趕先放一放，只把自己對Bayesian 線性迴歸的大致理解寫了一下，這部分放在再看再理解了之後再寫吧
2018-09-03 19:43:26
6
原创 機器學習中的範數規則化之（二）核範數與規則項參數選擇
上一篇博文，我們聊到了L0，L1和L2範數，這篇我們絮叨絮叨下核範數和規則項參數選擇。知識有限，以下都是我一些淺顯的看法，如果理解存在錯誤，希望大家不吝指正。謝謝。 三、核範數 核範數||W||*是
2018-09-03 19:43:26
原创 PRML 閱讀筆記（十三）<4.3>
4.3 Probabilistic Discriminative Models 這一節中，介紹直接對p(ck|x)建模的判別模型對x進行分類。直接對p(ck|x)進行建模所要擬合的參數要比生成模型少很多，另外當對x|ck的分佈
2018-09-03 19:43:26
原创 PRML 閱讀筆記（六）<2.3.1-2.3.2>
2.3 The Gaussian Distribution 這一節，作者開始講述關於高斯分佈的推導，應用，侷限等一系列的相關知識。 作者一上來描述了一下高斯分佈應用的廣泛性，如熵的最大化和中心極限定理等。緊接着
2018-09-03 19:43:26
4
原创 PRML 閱讀筆記（十二）<4.2>
4.2 Probabilistic Generative Models 分類問題的生成模型：model p(x|ck),p(ck),再用Bayesian公式推導出p(ck|x)。對於“兩類問題”，有： 其中
2018-09-03 19:43:26
1
原创 PRML 閱讀筆記（七）<2.3.3-2.3.9>
2.3.3 Bayes'theorem for Gaussian variables 之前兩節，書中用標準二次型和配方的方法找到了p(xa)和p(xb|xa)，這一節中，把它們記爲p(x)和p(y|x)，並把他們當作貝
2018-09-03 19:43:26
11
原创 PRML 閱讀筆記（四）<1.6>
1.6 Information Theory 這章的最後一節討論了“信息論”的知識，可能是要爲後面的內容打一點基礎吧。 一上來，作者首先明確了在傳遞信息時，被傳遞的隨機變量的可能取值越多，則說明傳輸的信息量也
2018-09-03 19:43:26
原创 PRML 閱讀筆記（九）<3.1-3.2>
3.Linear Models for Regression 這章一開始作者就說明，"線性"迴歸指的是模型或預測函數是參數的線性函數，而不一定是輸入變量的線性函數。對於模型中輸入變量的的函數，可以是非線性函數，稱之爲basis
2018-09-03 19:43:25
6
原创 PRML 閱讀筆記（五）<2.1--2.2>
2 Probability Distribution 概率分佈在模式識別問題中扮演了很重要的角色，而我們常說的分佈都屬於參數分佈的範疇，因爲這些分佈都由一些列可調整的參數來控制，如正態分佈裏的均值與方差。從頻率學派的角度看，要通過
2018-09-03 19:43:25
3
原创 PRML 閱讀筆記（二）<1.3--1.4>
1.3 Model Selection 在我們的多項式曲線問題中，多項式的最高次數控制了模型的參數個數，而加入了正則化項之後，，lambda控制了模型的有效參數個數。而我們有時候不僅會考慮單個模型的複雜度，也會綜合考量多個模型
2018-09-03 19:43:24
2
原创 機器學習中的範數規則化之（一）L0、L1與L2範數
今天我們聊聊機器學習中出現的非常頻繁的問題：過擬合與規則化。我們先簡單的來理解下常用的L0、L1、L2和核範數規則化。最後聊下規則化項參數的選擇問題。這裏因爲篇幅比較龐大，爲了不嚇到大家，我將這個五個部分分成兩篇博文。知識有
2018-09-03 19:43:24
原创 PRML 閱讀筆記（八）<2.4-2.5>
2.4 The Exponential Family 到目前爲止，書中講過的除了高斯混合分佈以外的大部分概率分佈都是屬於一類更廣義的分佈--Exponential Family。這一節就是闡述這類分佈的一些共同性質。
2018-09-03 19:43:24
11
原创 PRML 閱讀筆記及疑問（小序言）
基礎比較薄弱，所以讀起這本《PRML》還是相當吃力的，於是就有了一個想法，把階段性的學習成果寫成博客，把學習到的知識理一理，同時提出一些解決不了的問題。在11月之前會讀完前四章，平均三天左右更新
2018-09-03 19:43:23
2