機器學習筆記-02

KNN算法（k-近鄰算法）

算法本質爲從訓練集中拿出一條數據，與訓練集中數據計算，找出與該條數據最相似的幾條數據，並根據訓練集中已知的分類去預測訓練集數據的分類。

計算距離的常用算法有歐氏距離、餘弦相似度、皮爾遜係數等。

該算法不需要事先去訓練一個模型，且算法簡單，但是面對大數據及特徵值維度較高的情況下，運算時間會急劇增加。同時，k值的選擇也會影響算法的準確率。

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
def knncls():
    """
    K-近鄰預測用戶簽到位置
    :return:None
    """
    # 讀取數據
    data = pd.read_csv("./data/FBlocation/train.csv")

    # print(data.head(10))

    # 處理數據
    # 1、縮小數據,查詢數據曬訊
    data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

    # 處理時間的數據
    time_value = pd.to_datetime(data['time'], unit='s')

    print(time_value)

    # 把日期格式轉換成 字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 構造一些特徵
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 把時間戳特徵刪除
    data = data.drop(['time'], axis=1)

    print(data)

    # 把簽到數量少於n個目標位置刪除
    place_count = data.groupby('place_id').count()

    tf = place_count[place_count.row_id > 3].reset_index()

    data = data[data['place_id'].isin(tf.place_id)]

    # 取出數據當中的特徵值和目標值
    y = data['place_id']

    x = data.drop(['place_id'], axis=1)

    # 進行數據的分割訓練集合測試集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特徵工程（標準化）
    std = StandardScaler()

    # 對測試集和訓練集的特徵值進行標準化
    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 進行算法流程 # 超參數
    knn = KNeighborsClassifier()

    # fit， predict,score
    knn.fit(x_train, y_train)
    
    # 得出預測結果
    y_predict = knn.predict(x_test)
    
    print("預測的目標籤到位置爲：", y_predict)
    
    # 得出準確率
    print("預測的準確率:", knn.score(x_test, y_test))

    # 構造一些參數的值進行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 進行網格搜索
    gc = GridSearchCV(knn, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    # 預測準確率
    print("在測試集上準確率：", gc.score(x_test, y_test))

    print("在交叉驗證當中最好的結果：", gc.best_score_)

    print("選擇最好的模型是：", gc.best_estimator_)

    print("每個超參數每次交叉驗證的結果：", gc.cv_results_)

    return None

sklearn中sklearn.neighbors提供了KNeighborsClassifier，是一個完整的實現了knn算法的估計器。

其中主要的方法有三個，第一個是fit()方法，該方法需要將已經區分好特徵值和目標值的訓練集輸入到估計器中，第二個是predict()方法，該方法根據輸入的訓練集數據進行預測，生成預測結果，第三個方法爲score()方法，該方法用來生成該估計器的準確率。

樸素貝葉斯算法

樸素貝葉斯算法適用特徵值相互獨立的情況下，即特徵值之間互不影響，利用概率論中的先驗概率和後驗概率的轉換計算當前特徵下不同分類的概率，並使用概率最大的作爲預測的結果。

P(Ci|W) =P(W|Ci)*P(Ci)/P(W)

拉普拉斯平滑係數

算法在進行計算的過程中，極易遇到零概率的發生，零概率事件會導致整體的運算結果爲0，影響算法的準確率，所以需要使用變換將零概率轉換爲一個具體的數，防止最終運算結果爲0。

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
def naviebayes():
    """
    樸素貝葉斯進行文本分類
    :return: None
    """
    news = fetch_20newsgroups(subset='all')

    # 進行數據分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # 對數據集進行特徵抽取
    tf = TfidfVectorizer()

    # 以訓練集當中的詞的列表進行每篇文章重要性統計['a','b','c','d']
    x_train = tf.fit_transform(x_train)

    print(tf.get_feature_names())

    x_test = tf.transform(x_test)

    # 進行樸素貝葉斯算法的預測
    mlt = MultinomialNB(alpha=1.0)

    print(x_train.toarray())

    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    print("預測的文章類別爲：", y_predict)

    # 得出準確率
    print("準確率爲：", mlt.score(x_test, y_test))

    print("每個類別的精確率和召回率：", classification_report(y_test, y_predict, target_names=news.target_names))

    return None

該算法不需要調整任何參數就可以實現算法，但同樣算法的準確率很難得到提供，曾廣泛應用的文本分類之中。

決策樹和隨機森林

決策樹是根據不同特徵值的貢獻率生成一顆樹，對數據進行分類。
貢獻率的算法可以是信息熵，信息熵比和基尼係數。
隨機森林則是根據特徵值隨機生成多個決策樹，輔助提高算法的準確率。

from sklearn.model_selection import train_test_split, GridSearchCV
import pandas as pd
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier
def decision():
    """
    決策樹對泰坦尼克號進行預測生死
    :return: None
    """
    # 獲取數據
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # 處理數據，找出特徵值和目標值
    x = titan[['pclass', 'age', 'sex']]

    y = titan['survived']

    print(x)
    # 缺失值處理
    x['age'].fillna(x['age'].mean(), inplace=True)

    # 分割數據集到訓練集合測試集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 進行處理（特徵工程）特徵-》類別-》one_hot編碼
    dict = DictVectorizer(sparse=False)

    x_train = dict.fit_transform(x_train.to_dict(orient="records"))

    print(dict.get_feature_names())

    x_test = dict.transform(x_test.to_dict(orient="records"))

    # print(x_train)
    # 用決策樹進行預測
    # dec = DecisionTreeClassifier()
    #
    # dec.fit(x_train, y_train)
    #
    # # 預測準確率
    # print("預測的準確率：", dec.score(x_test, y_test))
    #
    # # 導出決策樹的結構
    # export_graphviz(dec, out_file="./tree.dot", feature_names=['年齡', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])

    # 隨機森林進行預測 （超參數調優）
    rf = RandomForestClassifier(n_jobs=-1)

    param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}

    # 網格搜索與交叉驗證
    gc = GridSearchCV(rf, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    print("準確率：", gc.score(x_test, y_test))

    print("查看選擇的參數模型：", gc.best_params_)

    return None