原创 聽課筆記(第十講): 邏輯斯蒂迴歸 (臺大機器學習)

· 上一講是關於線性迴歸,重點是求解w 的解析方案(通過pseudo-inverse 求解w)。 這一講關注另一個很重要的方法,邏輯斯蒂迴歸(logistic regression)。 林軒田對邏輯斯蒂迴歸的解釋思路和An

原创 聽課筆記(第三講): 機器學習的分類學 (臺灣國立大學機器學習基石)

機器學習方法的分類學,通過不同的分類標準來討論。 一,根據輸出空間來分類。 1, 分類(classification) 1.1 二值分類 (binary classification):輸出爲 {+1, -1}。 1.2

原创 關於K-fold cross validation 下不同的K的選擇的疑惑?

 在K-fold cross validation 下 比較不同的K的選擇對於參數選擇(模型參數,CV意義下的估計的泛化誤差)以及實際泛化誤差的影響。更一般的問題,在實際模型選擇問題中,選擇幾重交叉驗證比較合適?   交叉驗證的背景知識

原创 聽課筆記(第八講): 噪音和錯誤 (臺大機器學習)

· 當我們面對的問題不是完美的(無噪音)二值分類問題,VC 理論還有效嗎?1,噪音和非確定性目標幾種錯誤:(1) noise in y: mislabeled data; (2) noise in y: different

原创 聽課筆記(第十三講): 過擬合 - Overfitting (臺大機器學習)

1,什麼是過擬合(overfitting) 簡單的說就是這樣一種學習現象:Ein 很小,Eout 卻很大。 而Ein 和 Eout 都很大的情況叫做 underfitting。 這是機器學習中兩種常見的問題。  

原创 聽課筆記(第十三講): 過擬合 - Overfitting (臺大機器學習)

1,什麼是過擬合(overfitting)簡單的說就是這樣一種學習現象:Ein 很小,Eout 卻很大。而Ein 和 Eout 都很大的情況叫做 underfitting。這是機器學習中兩種常見的問題。   上圖中