統計學習方法筆記（十六）：主成分分析 定義 主成分分析（PCA）是一種常用的無監督學習方法，這一方法利用正交變換把由線性相關變量表示的觀測數據轉換爲少數幾個由線性無關變量表示的數據，線性無關的變量稱爲主成分。主成分的個數通常小於
統計學習方法筆記（十五）：奇異值分解 概述 奇異值分解（singular value decomposition，SVD）是一種矩陣因子分解法，是線性代數的概念 矩陣的奇異值分解不是唯一的 任意給定一個實矩陣，其奇異值分解一定存
統計學習方法筆記（十四）：聚類方法 基本概念 聚類是針對給定的樣本，依據它們的特徵的相似度或距離，將其歸併到若干個“類”或“簇”的數據分析問題 聚類屬於無監督學習，因爲只是根據樣本的相似度或距離將其進行歸類，而類或簇事先並不知道
統計學習方法筆記（八）：提升方法 在分類問題中，通過改變訓練樣本的權重，學習多個分類器，並將這些分類器進行線性組合，提高分類的性能 提升方法AdaBoost算法 如何改變訓練數據的權值或概率分佈 AdaBoost的做法是，提
統計學習方法筆記（九&十）：EM算法、隱馬爾可夫模型、條件隨機場 EM算法（簡要介紹） 隱馬爾可夫模型（HMM） 隱馬爾可夫模型是可用於標註問題的統計學習模型，屬於生成模型 條件隨機場 總結 這幾種傳統的有監督的統計學習
統計學習方法筆記（七）：支持向量機 定義 處理二分類問題 學習目標 學習目標是在特徵空間中找到一個分離超平面，能將實例分到兩個不同的類（正類和負類）。分離超平面對應於方程Wx+b=0，它由法向量W和截距b決定。法向量指向
統計學習方法筆記（六）：logistic迴歸於最大熵模型
統計學習方法筆記（十三）：無監督學習概論 無監督學習是從無標註數據中學習模型的機器學習問題，是機器學習的重要組成部分 訓練數據集的表示 聚類：如果一個樣本只能屬於一個類，稱爲硬聚類；如果一個樣本可以屬於多個類，稱爲軟
