關於統計學習方法的知識，參考書《統計學習方法》，李航著，清華大學出版社。
第一章 統計學習方法概論
第8～10節 分類、標註、迴歸問題
一、迴歸問題：
等價於函數擬合：選擇一條函數曲線使其很好地擬合已知數據。
迴歸問題最常用的損失函數是平方損失函數，這種情況下，可以由著名的最小二乘法（least squares）來求解；
二、分類問題：
三、標註問題：
標註（tagging）也是一個監督學習問題，是分類問題的一個推廣，又是更復雜的結構預測（structure prediction）問題的簡單形式。
標註問題的目的在於學習一個模型，使它能夠對觀測序列給出標記序列或狀態序列作爲預測。同樣地，標註問題也分爲學習和標註兩個過程。
標註問題的應用：
1、自然語言處理中的詞性標註就是一個典型的標註問題：給定一個由單詞組成的句子，對這個句子的每個單詞進行詞性標註，即對一個單詞序列預測其對應的詞性標註序列。
2、信息抽取：從英文文章中抽取基本名詞短語，爲此要對文章進行標註。英文單詞是一個觀測，英文句子是一個觀測序列。標記表示名詞短語的“開始”、“結束“或“其他”（分別以B、E、O表示），這樣標記序列就表示英文句子中基本名詞短語的所在位置。信息抽取時，將標記“開始”到標記“結束”之間的單詞作爲名詞短語。例如：
輸入：At Microsoft Research, we have an insatiable curiosity and the desire to create new technology that will help define the computing experience.
輸出：At/O Microsoft/B Research/E, we/O have/O an/O insatiable/B curiosity/E and/O the/O desire/BE to/O create/O new/B technology/E that/O will/O help/O define/O the/O computing/B experience/E.