原创 【數據分析】matplotlib繪製條形圖,散點圖,直方圖及總結 No.2

一、matplotlib的散點圖、直方圖、條形圖 1、散點圖 from matplotlib import pyplot as plt plt.scatter(x,y) 用途: 不同條件之間的內在關聯關係 觀察數據的離散聚合程度

原创 【機器學習】迴歸算法之線性迴歸 No.11

1、線性關係: 如下表中房價隨着面積的變化,通過繪製點後,這些點基本上是均勻分佈在一條線的周圍,則這兩個變量間的關係可以使用一條直線描述,將這種關係稱爲線性關係。 線性關係使用如下函數描述: 2、矩陣 3、損失函數 最小二乘法之正規

原创 【機器學習】分類算法-k近鄰算法(KNN)No.8

1、定義 如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。最早是由Cover和Hart提出的一種分類算法。 2、計算方式 K近鄰算法需要對數據做標準化處理 3、sklea

原创 【中間件學習篇_Kafka】初識中間件及消息中間件Kafka No.1

在運維工作崗位上也一年之久了,日常工作中處理的最多的故障問題就屬中間件,平時接觸到的有常用的一些中間件,如tomcat,Apache,nginx,F5,Weblogic以及Springboot,還有幾種常用到的消息中間件,如:Kafka,

原创 【機器學習】數據降維 No.5

此處維度主要指的是:特徵的數量 降維主要有兩種方式:1、特徵選擇,2、主成分分析 1、特徵選擇 (1)特徵選擇是什麼? 特徵選擇就是單純的從提取到的所有特徵中選擇部分特徵作爲訓練集特徵,特徵在選擇前和選擇後可以改變值、也不改變值,但是選擇

原创 Postfix:MTA(郵件傳輸代理)軟件

一、postfix背景及優點 postfix的爲了替代傳統的sendmail,基於GPL協議開發的一款MTA(郵件傳輸代理)軟件。相較於sendmail,postfix在速度,性能,安全性和穩定性上都更勝一籌。 1. postfix是免費

原创 【機器學習】決策樹 No.3

1、決策樹之信息論基礎 決策樹思想來源非常樸素,程序設計中的條件分支結構(if-else),最早的決策樹就是利用這類結構分割數據的一種分類學習方法。 例: 銀行貸款例子(使用決策樹劃分是否貸款),此處特徵爲兩個:房子,工作: 香農,信

原创 【機器學習】sklearn數據集與估計器 No.7

1、sklearn數據集 (1) 數據的劃分和介紹 機器學習中一般將數據集劃分爲兩個部分: 訓練數據:用於訓練,構建模型。 測試數據:在模型檢驗時使用,用於評估模型是否有效 (2)數據集劃分API sklearn.model_selec

原创 【數據分析】numpy中的nan和常用統計方法 No.5

一、nan和inf 1、 nan(NAN,Nan):not a number 表示不是一個數字 什麼時候會出現nan呢?        當我們讀取本地文件爲float的時候,如果有缺失或者當做了一個不合適的計算的時候,比如無窮大減去無窮大

原创 【數據分析】數據分析之matplotlib繪製折線圖 No.1

一、matplotlib安裝 pip install matplotlib 二、matplotlib 1、什麼是matplotlib   最流行的python底層繪圖庫,主要做數據可視化圖表,名字取自matlab,模仿matlab構建。

原创 【機器學習】聚類算法-k-means No.14

1、非監督學習的特點 只有特徵值,沒有目標值(物以類聚,人以羣分) 2、聚類過程 隨機設置K個特徵空間內的點作爲初始的聚類中心; 對於其他每個點分別計算到K箇中心的距離,未知的點選擇最近的一個聚類中心點作爲標記類別; 接着對着標記的聚

原创 【機器學習】分類算法-邏輯迴歸 No.13

1、定義 邏輯分類是解決二分類問題的利器 邏輯迴歸公式: 2、損失函數 3、Sklearn邏輯迴歸API sklearn.linear_model.LogisticRegression 4、案例:良/惡性癌症預測 數據地址:

原创 【機器學習】分類模型的評估、模型的選擇與調優 No.10

一、分類模型的評估 1、分類模型的評估 (1)準確率      estimator.score() :一般最常見使用的是準確率,即預測結果正確的百分比。 (2)精確率和召回率 2、分類模型評估API Sklearn.metrics.c

原创 線程安全隊列Queue

隊列是線程間最常用的交換數據的形式,Queue模塊實現了線程安全的隊列,尤其適合多線程編程。Queue模塊實現了三種類型隊列: ❑Queue Queue:一個先進先出(FIFO)的隊列,最先加入隊列的元素最先取出; ❑LifoQu

原创 【機器學習】分類算法-樸素貝葉斯算法 No.9

1、概率基礎 聯合概率和條件概率 2、樸素貝葉斯-貝葉斯公式 例: 3、Sklearn樸素貝葉斯API Sklearn.naive_bays.MultinomiaINB 4、案例 案例流程:        第一步:加載20