機器學習概述

python基礎的準備及pip list截圖

（1）測試anaconda

 

 

（2）Python環境及pip list截圖

視頻學習筆記

bilibili：https://www.bilibili.com/video/BV1Tb411H7uC?p=1

P1 機器學習概論

機器學習中建模過程

數據處理

特徵工程

模型選擇

尋找最佳超參數

模型分析與模型融合 

數據預處理方法

數據清洗：數據清洗的目的是清除錯誤點，冗餘點和數據的噪聲。

數據集成：將多個數據源中的數據進行合併，形成一個統一的表格。

數據變化：找到數據的特徵表示，用維度變換來減少有效的數據

 

P4 Python基礎

 

 使用pip安裝numpy、pandas、scipy、matplotlib

pip install numpy -i https://pypi.douban.com/simple

使用豆瓣倉庫可以加速下載

 負二項分佈

  稱隨機變量服從參數爲的負二項分佈，如果 
     
    其中是正整數，，. 
    負二項分佈的概率恰好是的泰勒級數的項，分佈因此得名.負二項分佈亦稱爲帕斯卡分佈，是幾何分佈的推廣.伯努利試驗恰好出現r次成功所需要的次數，服從參數爲的負二項分佈. 
    我們的程序的隨機變量進行了一個變化. 
    

什麼是機器學習，有哪些分類？

（1）什麼是機器學習

讓機器從數據中學習，進而得到一個更加符合現實規律的模型，通過對模型的使用使得機器比以往表現的更好。

 機器學習的工作流程

（2）機器學習的分類

學習方式

• 監督學習：表示機器學習的數據是帶標記的，這些標記可以包括數據類別、數據屬性及特徵點位置等。這些標記作爲預期效果，不斷修正機器的預測結果。
• 半監督：輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。
• 無監督學習：表示機器學習的數據是沒有標記的。機器從無標記的數據中探索並推斷出潛在的聯繫。
• 強化學習：帶有激勵機制的，如果機器行動正確，將施予一定的“正激勵”；如果行動錯誤，同樣會給出一個懲罰，在這種情況下，機器將會考慮如何在一個環境中行動才能達到激勵的最大化，具有一定的動態規劃思想。
• 深度學習：深度學習是一種實現這種機器學習的優秀技術，深度學習本身是神經網絡算法的衍生。

案例：

監督學習：

　　監督學習的輸入是標註分類標籤的樣本集，通俗地說，就是給定了一組標準答案。監督學習從這樣給定了分類標籤的樣本集中學習出一個函數，當新的數據到來時，就可以根據這個函數預測新數據的分類標籤。

半監督學習：

　　如圖論推理算法或者拉普拉斯支持向量機等。

無監督學習：

　　常見算法包括Apriori算法以及k-Means算法。

強化學習：

　　強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。

深度學習：

　　聲音識別，圖像識別。

算法

• 迴歸算法：是試圖採用對誤差的衡量來探索變量之間的關係的一類算法。
• 決策樹學習：決策樹算法根據數據的屬性採用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和迴歸問題。
• 貝葉斯方法：是基於貝葉斯定理的一類算法，主要用來解決分類和迴歸問題。
• 關聯規則學習：通過尋找最能夠解釋數據變量之間關係的規則，來找出大量多元數據集中有用的關聯規則。
• 神經網絡：人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。
• 降低維度算法：像聚類算法一樣，降低維度算法試圖分析數據的內在結構，不過降低維度算法是以非監督學習的方式試圖利用較少的信息來歸納或者解釋數據。
• 集成算法：用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然後把結果整合起來進行整體預測。