原创 Spark MLlib FPGrowth算法

1.1 FPGrowth算法 1.1.1 基本概念 關聯規則挖掘的一個典型例子是購物籃分析。關聯規則研究有助於發現交易數據庫中不同商品(項)之間的聯繫,找出顧客購買行爲模式,如購買了某一商品對購買其他商品的影響,分析結果可以應用於商品貨架

原创 Spark MLlib SVM算法

1.1 SVM支持向量機算法 支持向量機理論知識參照以下文檔: 支持向量機SVM(一) http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html 支持向量機SVM(二

原创 Spark MLlib Deep Learning Deep Belief Network (深度學習-深度信念網絡)2.2

Spark MLlib Deep Learning Deep Belief Network (深度學習-深度信念網絡)2.2 http://blog.csdn.net/sunbow0 第二章Deep Belief Network (深度信

原创 Spark MLlib Deep Learning Neural Net(深度學習-神經網絡)1.3

Spark MLlib Deep Learning Neural Net(深度學習-神經網絡)1.3 http://blog.csdn.net/sunbow0 第一章Neural Net(神經網絡) 3 實例 3.1 測試數據 3.1

原创 Spark Mlib BLAS線性代數運算庫

1.4 BLAS (BLAS routines for MLlib's vectors and matrices.) BLAS(Basic Linear Algebra Subprograms,基礎線性代數程序集)是一個應用程序接口(AP

原创 Spark1.4.1 編譯與安裝

1、下載 下載地址: http://spark.apache.org/downloads.html 選擇下載源碼 2、源碼編譯 1)解壓 tar -zxvf spark-1.4.1.tgz 2、編譯 進入根目錄下,採用make-d

原创 Spark MLlib LDA主題模型

Spark MLlib LDA主題模型(1) Spark MLlib LDA主題模型是Spark1.3開始加入的,具體介紹看以下文檔: 官方編程指南: http://spark.apache.org/docs/latest/mllib-c

原创 Spark MLlib Deep Learning Neural Net(深度學習-神經網絡)1.1

Spark MLlib Deep Learning Neural Net(深度學習-神經網絡)1.1 http://blog.csdn.net/sunbow0 Spark MLlib Deep Learning工具箱,是根據現有深度學習

原创 Spark MLlib Deep Learning Convolution Neural Network (深度學習-卷積神經網絡)3.2

3、Spark MLlib Deep Learning Convolution Neural Network(深度學習-卷積神經網絡)3.2 http://blog.csdn.net/sunbow0 第三章Convolution Neur

原创 Spark MLlib Deep Learning Neural Net(深度學習-神經網絡)1.2

Spark MLlib Deep Learning Neural Net(深度學習-神經網絡)1.2 http://blog.csdn.net/sunbow0 第一章Neural Net(神經網絡) 2基礎及源碼解析 2.1 Neu

原创 Spark MLlib Deep Learning Deep Belief Network (深度學習-深度信念網絡)2.1

Spark MLlib Deep Learning Deep Belief Network (深度學習-深度信念網絡)2.1 http://blog.csdn.net/sunbow0 Spark MLlib Deep Learning工具

原创 Spark MLlib Linear Regression線性迴歸算法

1、Spark MLlib Linear Regression線性迴歸算法 1.1 線性迴歸算法 1.1.1 基礎理論 在統計學中,線性迴歸(Linear Regression)是利用稱爲線性迴歸方程的最小平方函數對一個或多個自變量和因變

原创 Spark MLlib Logistic Regression邏輯迴歸算法

1.1 邏輯迴歸算法 1.1.1 基礎理論 logistic迴歸本質上是線性迴歸,只是在特徵到結果的映射中加入了一層函數映射,即先把特徵線性求和,然後使用函數g(z)將最爲假設函數來預測。g(z)可以將連續值映射到0和1上。 它與線性迴歸

原创 Spark MLlib Statistics統計

1、Spark MLlib Statistics統計 Spark Mllib 統計模塊代碼結構如下: 1.1 列統計彙總 計算每列最大值、最小值、平均值、方差值、L1範數、L2範數。     //讀取數據,轉換成RDD[Vector

原创 Spark MLlib Deep Learning Convolution Neural Network (深度學習-卷積神經網絡)3.3

3、Spark MLlib Deep Learning Convolution Neural Network(深度學習-卷積神經網絡)3.3 http://blog.csdn.net/sunbow0 第三章Convolution Neur