異常用戶發現（Spark MLlib+Spark SQL+DataFrame）

環境：Amabri 2.2.2、HDP 2.4.2、Spark 1.6.1 

***這是我自己東拼西湊整出來的，錯誤在所難免，但應該也有部分可借鑑之處...***

整體思路：對原始數據提取特徵後，使用KMeans做聚類，把元素明顯少的類視爲異常類，類中的用戶視爲異常用戶，打上標籤，之後用隨機森林進行分類，
訓練出模型後對新數據進行分類，找出異常用戶。

之前統計分析、特徵工程部分用的MySQL，聚類用了R和Mahout，分類用了MLlib，怎一個亂字了得。我想了想覺得完全可以只用Spark完成。

1.前面的統計分析、特徵工程用Spark SQL代替MySQL即可，都是SQL只有部分函數不一樣，改一下就行，比較簡單不再做了。
（我的原則是能用SQL解決的堅決先用SQL 0.0）

2.將MySQL中的特徵表通過Sqoop導入Hive。（Hive和Spark SQL的元數據是共享的）

#因爲特徵表沒有主鍵，需要切分字段或設置map數爲1
[hdfs@ws1dn1 root]$ sqoop import --connect jdbc:mysql://192.168.1.65:3306/v3 --username root -P --table t_log_2016_all --hive-import -m 1

3.使用Spark MLlib進行聚類、分類，注意與[Spark MLlib RandomForest（隨機森林）建模與預測]
(http://blog.csdn.net/dr_guo/article/details/53258037)的區別，這裏是對DataFrame操作的，那篇博客是對RDD操作的。

請注意包名與類名不同org.apache.spark.mllib.tree.RandomForest/org.apache.spark.ml.classification.RandomForestClassifier

遺憾的是Spark1.6.1中MLlib沒有提供基於DataFrame的API來支持ML持久化，據說spark2.0支持了。
[Apache Spark 2.0預覽： 機器學習模型持久化](http://www.infoq.com/cn/articles/spark-apache-2-preview)

下面上代碼

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.ml.clustering.KMeans
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.feature.StringIndexer
import org.apache.spark.ml.classification.RandomForestClassifier
import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator


/**
  * Created by drguo on 2016/11/25.
  */
object RunKMeansAndRF {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("km")
    val sc = new SparkContext(sparkConf)
    val sqlContext = new SQLContext(sc)
    val v3 = sqlContext.sql("select * from t_log_2016_all").cache()
    //選出特徵列
    val featureCols = Array("machine_chg_cnt", "ip_chg_cnt", "login_cnt", "logout_cnt", "otherop_cnt", "report_cnt", "send_email_cnt", "out_work_cnt",
      "out_commun_cnt",  "udisk_out_cnt", "copy_cnt", "udisk_self_exa_cnt",  "doc_cnt", "xls_cnt", "pdf_cnt", "ppt_cnt",  "et_cnt", "gd_cnt",
      "txt_cnt", "xml_cnt", "eqs_cnt", "rar_cnt", "zip_cnt", "tif_cnt", "jpg_cnt", "png_cnt", "bmp_cnt", "op_total_cnt")
    //在原DF上增加一列，將前面選出的特徵轉成vector添到此列 features: vector
    val assembler = new VectorAssembler().setInputCols(featureCols).setOutputCol("features")
    val data = assembler.transform(v3)
    //data.show
    //data.printSchema

    val kmeans = new KMeans().setK(6).setFeaturesCol("features").setPredictionCol("cluster")
    val model = kmeans.fit(data)

    //model.clusterCenters.foreach(println) 查看類中心
    //model.computeCost(data) 可以用來評價模型好壞、調參(越小越好)

    val pred = model.transform(data)
    //pred.show()
    /*
    +--------------------+---------------+----------+---------+----------+-----------+----------+--------------+------------+--------------+-------------+--------+------------------+-------+-------+-------+-------+------+------+-------+-------+-------+-------+-------+-------+-------+-------+-------+------------+-------+--------------------+-------+
    |             usersid|machine_chg_cnt|ip_chg_cnt|login_cnt|logout_cnt|otherop_cnt|report_cnt|send_email_cnt|out_work_cnt|out_commun_cnt|udisk_out_cnt|copy_cnt|udisk_self_exa_cnt|doc_cnt|xls_cnt|pdf_cnt|ppt_cnt|et_cnt|gd_cnt|txt_cnt|xml_cnt|eqs_cnt|rar_cnt|zip_cnt|tif_cnt|jpg_cnt|png_cnt|bmp_cnt|op_total_cnt|date_ym|            features|cluster|
    +--------------------+---------------+----------+---------+----------+-----------+----------+--------------+------------+--------------+-------------+--------+------------------+-------+-------+-------+-------+------+------+-------+-------+-------+-------+-------+-------+-------+-------+-------+------------+-------+--------------------+-------+
    |001461E4-86C64780...|              1|         6|      7.0|       1.0|        1.0|       1.0|           1.0|         1.0|           1.0|          1.0|     1.0|               1.0|    1.0|    1.0|    1.0|    1.0|   1.0|   1.0|    1.0|    1.0|    1.0|    1.0|    1.0|    1.0|    1.0|    1.0|    1.0|           6| 201601|[1.0,6.0,7.0,1.0,...|      0|
    */
    //註冊爲臨時表，用sql處理。換成永久表用CTAS語句或直接pred.write.saveAsTable("tablename")！
    pred.registerTempTable("v3_km")
    //查看每個類各有多少用戶，把用戶明顯過少的類標爲異常類，其中的用戶標爲異常用戶
    /*sqlContext.sql("select cluster, count(1) as cnt from v3_km group by cluster").show()
    +-------+-----+
    |cluster|  cnt|
    +-------+-----+
    |      0|15575|
    |      1|    1|
    |      2|    3|
    |      3|   46|
    |      4|  270|
    |      5|    2|
    +-------+-----+
    */

    /*下面的CTAS語句不可行，因爲features是vector格式的，不能轉化爲struct
    0類作爲負樣本，打上標籤0
    sqlContext.sql("create table rf_input as select *, 0 as label from v3_km where cluster = 0 order by rand() limit 250")
    其他類作爲正樣本，打上標籤1
    sqlContext.sql("insert into table rf_input select usersid, date_ym, features, 1 from v3_km where cluster != 0 order by rand() limit 250")
    */

    //0類作爲負樣本，打上標籤0
    val negative_samples = sqlContext.sql("select usersid, date_ym, features, 0 as cluster from v3_km where cluster = 0 order by rand() limit 250")
    //其他類作爲正樣本，打上標籤1
    val positive_samples = sqlContext.sql("select usersid, date_ym, features, 1 as cluster from v3_km where cluster != 0 order by rand() limit 250")
    //合併正負樣本
    val rf_input = negative_samples.unionAll(positive_samples).cache()
    //rf_input.count

    //  Create a label column with the StringIndexer
    val labelIndexer = new StringIndexer().setInputCol("cluster").setOutputCol("label")
    val rfDataset = labelIndexer.fit(rf_input).transform(rf_input)

    //將數據集劃分爲訓練集、測試集
    val splitSeed = 5043
    val Array(trainingData, testData) = rfDataset.randomSplit(Array(0.7, 0.3), splitSeed)
    // create the classifier,  set parameters for training
    val classifier = new RandomForestClassifier().setImpurity("gini").setMaxDepth(3).setNumTrees(20).setFeatureSubsetStrategy("auto").setSeed(5043)
    //  use the random forest classifier  to train (fit) the model
    val rfmodel = classifier.fit(trainingData)
    // print out the random forest trees
    //rfmodel.toDebugString

    // run the  model on test features to get predictions
    val predictions = rfmodel.transform(testData)//要對新數據進行分類，向量化後放進去即可
    //predictions.show
    /*
    +--------------------+-------+--------------------+-------+-----+--------------------+--------------------+----------+
    |             usersid|date_ym|            features|cluster|label|       rawPrediction|         probability|prediction|
    +--------------------+-------+--------------------+-------+-----+--------------------+--------------------+----------+
    |013BEA87-5D73409E...| 201603|[1.0,1.0,1.0,1.0,...|      0|  0.0|[18.1097422934236...|[0.90548711467118...|       0.0|
    |0592E1A4-7339B97B...| 201609|[1.0,2.0,1.0,1.0,...|      0|  0.0|[17.6858421744611...|[0.88429210872305...|       0.0|
    |0646BA92-1A06462F...| 201606|[1.0,1.0,1.0,1.0,...|      0|  0.0|[16.9666881487346...|[0.84833440743673...|       0.0|
    |081D24DC-74960FD1...| 201602|[1.0,4.0,1.0,1.0,...|      0|  0.0|[18.2040819160651...|[0.91020409580325...|       0.0|
    */
    //將預測結果保存到表中
    //predictions.saveAsTable("rf_output")
    predictions.write.saveAsTable("rf_output")
    // create an Evaluator for binary classification, which expects two input columns: rawPrediction and label.
    val evaluator = new BinaryClassificationEvaluator().setLabelCol("label")
    // Evaluates predictions and returns a scalar metric areaUnderROC(larger is better). AUC:ROC曲線下的面積，越趨近於1，分類效果越好，爲0.5時相當於瞎猜的效果
    val accuracy = evaluator.evaluate(predictions)
    //accuracy: Double = 0.9992023928215354
  }
}

最後貼一下DataFrame的函數
Action 操作
1、 collect() ,返回值是一個數組，返回dataframe集合所有的行
2、 collectAsList() 返回值是一個java類型的數組，返回dataframe集合所有的行
3、 count() 返回一個number類型的，返回dataframe集合的行數
4、 describe(cols: String*) 返回一個通過數學計算的類表值(count, mean, stddev, min, and max)，這個可以傳多個參數，中間用逗號分隔，
如果有字段爲空，那麼不參與運算，只這對數值類型的字段。例如df.describe("age", "height").show()
5、 first() 返回第一行 ，類型是row類型
6、 head() 返回第一行 ，類型是row類型
7、 head(n:Int)返回n行  ，類型是row 類型
8、 show()返回dataframe集合的值 默認是20行，返回類型是unit
9、 show(n:Int)返回n行，，返回值類型是unit
10、 table(n:Int) 返回n行  ，類型是row 類型
dataframe的基本操作
1、 cache()同步數據的內存
2、 columns 返回一個string類型的數組，返回值是所有列的名字
3、 dtypes返回一個string類型的二維數組，返回值是所有列的名字以及類型
4、 explan()打印執行計劃  物理的
5、 explain(n:Boolean) 輸入值爲 false 或者true ，返回值是unit  默認是false ，如果輸入true 將會打印 邏輯的和物理的
6、 isLocal 返回值是Boolean類型，如果允許模式是local返回true 否則返回false
7、 persist(newlevel:StorageLevel) 返回一個dataframe.this.type 輸入存儲模型類型
8、 printSchema() 打印出字段名稱和類型 按照樹狀結構來打印
9、 registerTempTable(tablename:String) 返回Unit ，將df的對象只放在一張表裏面，這個表隨着對象的刪除而刪除了
10、 schema 返回structType 類型，將字段名稱和類型按照結構體類型返回
11、 toDF()返回一個新的dataframe類型的
12、 toDF(colnames：String*)將參數中的幾個字段返回一個新的dataframe類型的，
13、 unpersist() 返回dataframe.this.type 類型，去除模式中的數據
14、 unpersist(blocking:Boolean)返回dataframe.this.type類型 true 和unpersist是一樣的作用false 是去除RDD

集成查詢：
1、 agg(expers:column*) 返回dataframe類型 ，同數學計算求值
df.agg(max("age"), avg("salary"))
df.groupBy().agg(max("age"), avg("salary"))
2、 agg(exprs: Map[String, String])  返回dataframe類型 ，同數學計算求值 map類型的
df.agg(Map("age" -> "max", "salary" -> "avg"))
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))
3、 agg(aggExpr: (String, String), aggExprs: (String, String)*)  返回dataframe類型 ，同數學計算求值
df.agg(Map("age" -> "max", "salary" -> "avg"))
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))
4、 apply(colName: String) 返回column類型，捕獲輸入進去列的對象
5、 as(alias: String) 返回一個新的dataframe類型，就是原來的一個別名
6、 col(colName: String)  返回column類型，捕獲輸入進去列的對象
7、 cube(col1: String, cols: String*) 返回一個GroupedData類型，根據某些字段來彙總
8、 distinct 去重 返回一個dataframe類型
9、 drop(col: Column) 刪除某列 返回dataframe類型
10、 dropDuplicates(colNames: Array[String]) 刪除相同的列 返回一個dataframe
11、 except(other: DataFrame) 返回一個dataframe，返回在當前集合存在的在其他集合不存在的
(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag[B]) 返回值是dataframe類型，這個 將一個字段進行更多行的拆分
df.explode("name","names") {name :String=> name.split(" ")}.show();
將name字段根據空格來拆分，拆分的字段放在names裏面
13、 filter(conditionExpr: String): 刷選部分數據，返回dataframe類型 df.filter("age>10").show();  df.filter(df("age")>10).show();   
df.where(df("age")>10).show(); 都可以
14、 groupBy(col1: String, cols: String*) 根據某寫字段來彙總返回groupedate類型   df.groupBy("age").agg(Map("age" ->"count"))
.show();df.groupBy("age").avg().show();都可以
15、 intersect(other: DataFrame) 返回一個dataframe，在2個dataframe都存在的元素
16、 join(right: DataFrame, joinExprs: Column, joinType: String)
一個是關聯的dataframe，第二個關聯的條件，第三個關聯的類型：inner, outer, left_outer, right_outer, leftsemi
df.join(ds,df("name")===ds("name") and  df("age")===ds("age"),"outer").show();
17、 limit(n: Int) 返回dataframe類型  去n 條數據出來
18、 na: DataFrameNaFunctions ，可以調用dataframenafunctions的功能區做過濾 df.na.drop().show(); 刪除爲空的行
19、 orderBy(sortExprs: Column*) 做alise排序
20、 select(cols:string*) dataframe 做字段的刷選 df.select($"colA", $"colB" + 1)
21、 selectExpr(exprs: String*) 做字段的刷選 df.selectExpr("name","name as names","upper(name)","age+1").show();
22、 sort(sortExprs: Column*) 排序 df.sort(df("age").desc).show(); 默認是asc
23、 unionAll(other:Dataframe) 合併 df.unionAll(ds).show();
24、 withColumnRenamed(existingName: String, newName: String) 修改列表 df.withColumnRenamed("name","names").show();
25、 withColumn(colName: String, col: Column) 增加一列 df.withColumn("aa",df("name")).show();

異常用戶發現（Spark MLlib+Spark SQL+DataFrame）

Hive、Beeline、Spark-SQL、Spark-Shell CLI使用

Hadoop與MongoDB整合（Hive篇）

使用Flume向HDFS持久化數據（日誌）

Spark SQL與Hive On MapReduce速度比較

基於HDP使用Flume實時採集MySQL中數據傳到Kafka+HDFS或Hive

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結