決策樹
一、 決策樹優點
1、決策樹易於理解和解釋，可以可視化分析，容易提取出規則。
2、可以同時處理標稱型和數值型數據。
3、測試數據集時，運行速度比較快。
4、決策樹可以很好的擴展到大型數據庫中，同時它的大小獨立於數據庫大小。
二、決策樹缺點
1、對缺失數據處理比較困難。
2、容易出現過擬合問題。
3、忽略數據集中屬性的相互關聯。
4、ID3算法計算信息增益時結果偏向數值比較多的特徵。
三、改進措施
1、對決策樹進行剪枝。可以採用交叉驗證法和加入正則化的方法。
2、使用基於決策樹的combination算法，如bagging算法，randomforest算法，可以解決過擬合的問題
三、應用領域
企業管理實踐，企業投資決策，由於決策樹很好的分析能力，在決策過程應用較多。
KNN算法
一、KNN算法的優點
1、KNN是一種在線技術，新數據可以直接加入數據集而不必進行重新訓練
2、KNN理論簡單，容易實現
二、KNN算法的缺點
1、對於樣本容量大的數據集計算量比較大。
2、樣本不平衡時，預測偏差比較大。如：某一類的樣本比較少，而其它類樣本比較多。
3、KNN每一次分類都會重新進行一次全局運算。
4、k值大小的選擇。
三、KNN算法應用領域
文本分類、模式識別、聚類分析，多分類領域
支持向量機（SVM）
一、 SVM優點
1、解決小樣本下機器學習問題。
2、解決非線性問題。
3、無局部極小值問題。（相對於神經網絡等算法）
4、可以很好的處理高維數據集。
5、泛化能力比較強。
二、SVM缺點
1、對於核函數的高維映射解釋力不強，尤其是徑向基函數。
2、對缺失數據敏感。
三、SVM應用領域
文本分類、圖像識別、主要二分類領域
AdaBoost算法
一、 AdaBoost算法優點
1、很好的利用了弱分類器進行級聯。
2、可以將不同的分類算法作爲弱分類器。
3、AdaBoost具有很高的精度。
4、相對於bagging算法和Random Forest算法，AdaBoost充分考慮的每個分類器的權重。
二、Adaboost算法缺點
1、AdaBoost迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定。
2、數據不平衡導致分類精度下降。
3、訓練比較耗時，每次重新選擇當前分類器最好切分點。
三、AdaBoost應用領域
模式識別、計算機視覺領域，用於二分類和多分類場景
樸素貝葉斯算法
一、 樸素貝葉斯算法優點
1、對大數量訓練和查詢時具有較高的速度。即使使用超大規模的訓練集，針對每個項目通常也只會有相對較少的特徵數，並且對項目的訓練和分類也僅僅是特徵概率的數學運算而已。
2、支持增量式運算。即可以實時的對新增的樣本進行訓練。
3、樸素貝葉斯對結果解釋容易理解。
二、樸素貝葉斯缺點
1、由於使用了樣本屬性獨立性的假設，所以如果樣本屬性有關聯時其效果不好。
三、樸素貝葉斯應用領域
文本分類、欺詐檢測中使用較多
Logistic迴歸算法
一、logistic迴歸優點
1、計算代價不高，易於理解和實現
二、logistic迴歸缺點
1、容易產生欠擬合。
2、分類精度不高。
三、logistic迴歸應用領域
用於二分類領域，可以得出概率值，適用於根據分類概率排名的領域，如搜索排名等。
Logistic迴歸的擴展softmax可以應用於多分類領域，如手寫字識別等。
人工神經網絡
一、 神經網絡優點
1、分類準確度高，學習能力極強。
2、對噪聲數據魯棒性和容錯性較強。
3、有聯想能力，能逼近任意非線性關係。
二、神經網絡缺點
1、神經網絡參數較多，權值和閾值。
2、黑盒過程，不能觀察中間結果。
3、學習過程比較長，有可能陷入局部極小值。
三、人工神經網絡應用領域
目前深度神經網絡已經應用與計算機視覺，自然語言處理，語音識別等領域並取得很好的效果。