原创 各類學習器評價指標

一、各類學習器評價指標 機器學習是藉助算法模型來解析數據,並從中學習,然後對真實世界中事件作出決策或預測的方法。根據是否提供數據的分類結果(數據的標籤),可將機器學習方法分爲兩大類:監督學習(如分類和迴歸方法),無監督學習(如聚類方法

原创 用Python進行描述性統計

描述性統計指標含義 numpy/scipy包中求響應統計指標的方法: 利用Python進行描述統計分析時,用到numpy庫/scipy庫 1. 中心位置:均值、中位數(分位數)、衆數 均值(mean(data)):描述了樣本觀測

原创 sklearn包中拆分數據集進行交叉驗證的方法對比

一、對比訓練模型前,不同拆分數據集方法 sklearn.model_selection.KFold() 交叉採樣,將實驗數據劃分得到若干個互斥子集。 sklearn.model_selection.StratifiedKFold()

原创 統計知識隨時記

一、概率中的PDF/PMF/CDF 離散隨機變量:概率質量函數(Probability Mass Function,PMF) PMF即離散隨機變量在各特定取值上的概率 連續隨機變量:概率密度函數(Probability Densit

原创 matplotlib畫圖時中文顯示爲小方框的解決方法

Mac版本: 參考:https://www.cnblogs.com/Ootori/p/7716687.html 其中加代碼時要多一行:import matplotlib as mpl Windows版本: 參考:https://blo

原创 Python編程隨時記

一、feature_importances_ 一般本質是決策樹的學習器會有該屬性,即特徵的重要程度,常用於查看某個模型中用到數據特徵的重要性排序。 RandomForest中的feature_importance

原创 Python數據可視化--Matplotlib繪製圖形

一、Why’s Matplotlib Matplotlib:風格類似於Matlab,是基於Python的繪圖庫,屬於Python中最基礎的畫圖工具。他提供了一整套與matlab相似的命令API,十分適合交互式繪圖。 除了Matplo

原创 Python數據可視化-Seaborn繪製圖形

一、Seaborn特點 Seaborn是在matplotlib基礎上進行更高級的API封裝,常在繪製統計圖形時使用。 二、加載數據構建Seaborn圖像並設置主題格式 可以使用sns.load_dataset()函數來加載內置的Se

原创 機器學習方法系列-集成學習(ensemble learning)

集成學習ensemble learning:本身不是一個單獨的機器學習算法,而是通過構建並結合多個機器學習器來完成學習任務。 可以用兩句話形容: 1、“三個臭皮匠頂個諸葛亮”:一堆弱分類器的組合可以成爲一個強分類器; 2、“知錯能改,

原创 sklearn包中StratifiedKFold和KFold生成交叉驗證數據集的區別

一、StratifiedKFold及KFold主要區別及函數參數 KFold交叉採樣:將訓練/測試數據集劃分n_splits個互斥子集,每次只用其中一個子集當做測試集,剩下的(n_splits-1)作爲訓練集,進行n_splits次實

原创 sklearn包中cross_val_score進行交叉驗證

sklearn包中cross_val_score進行交叉驗證 一、cross_val_score函數功能及參數釋義 驗證模型在某個訓練集上的穩定性,輸出cv=k個預測精度。 sklearn.cross_validation.cross

原创 sklearn包中自動調參方法-網格搜索GridSearchCV

sklearn包中自動調參方法-網格搜索GridSearchCV 一、GridSearchCV主要作用及函數參數 GridSearchCV:作用是在指定的範圍內可以自動調參,只需將參數輸入即可得到最優化的結果和參數。相對於人工調參更省

原创 Python中Groupby函數應用

Pandas分組和聚合運算–Groupby函數應用 一、groupby函數功能 根據一個或多個鍵拆分pandas對象,計算分組摘要統計,如計數、平均值、標準差或用戶自定義函數等。 二、groupby函數原理 可將groupby函數分組

原创 機器學習之用Python進行邏輯迴歸分析

前言 迴歸和分類方法是機器學習中經常用到的方法,本文首先介紹這兩種方法的區別和聯繫,然後對分類方法中的邏輯迴歸進行較詳細的說明(包括其基本原理及評估指標),最後結合案例介紹如何利用Python進行邏輯迴歸分析。 一、分類與迴歸

原创 Python中辨析type/dtype/astype用法

Python中與數據類型相關函數及屬性有如下三個:type/dtype/astype。 名稱 描述 type() 返回參數的數據類型 dtype 返回數組中元素的數據類型 astype() 對數據類型進行轉換