原创 idea熱部署SpringBoot
1)在pom文件中添加依賴： <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-
2020-06-06 21:19:01
原创 hive配置角度調優
下面的內容是我們每次在hive命令行執行SQL時都會打印出來的內容： In order to change the average load for a reducer (in bytes): set hive.exec.reduc
2020-06-06 21:19:01
1
原创 mrunit --- mapereduce測試框架
MRUnit的那些坑1. Maven無法成功導入org.apache.mrunit 提示： Unresolved dependency：’org.apache.mrunit:mrunit:jar….’ 原因：沒有確定版本 解決方法：在
2020-06-06 21:19:01
原创 Spring Boot 2.x和Spring Security 5.x後禁用認證
原文鏈接：https://juejin.im/post/5c8b13e8e51d450c412f2ac4 Spring Boot 2.x和Spring Security 5.x前禁用認證 在ap
2019-08-17 13:22:25
3
原创 迴歸算法
內容 1.什麼是迴歸分析？ 2.我們爲什麼要使用迴歸分析？ 3.迴歸有哪些類型 ？ 4.線性迴歸 5.邏輯迴歸（邏輯迴歸並不是迴歸算法，而是分類算法） 6.多項式迴歸 7.逐步迴歸 8.嶺迴歸 9.Lasso迴歸 10.ElasticNe
2019-04-10 13:22:09
原创 Spark MLlib架構解析（含分類算法、迴歸算法、聚類算法和協同過濾）
MLlib目前支持4種常見的機器學習問題: 分類、迴歸、聚類和協同過濾 MLlib在Spark整個生態系統中的位置如圖下圖所示 Spark MLlib庫 MLlib算法庫的核心內容 實驗的數據直接使用官方提供的數
2019-03-30 13:21:47
原创 groupByKey與reduceByKey
貼一段經典的代碼： val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext
2019-03-23 22:59:58
2
原创 鍵值對RDD（Pair RDD ）
1：map函數把一個普通的RDD轉化爲pair RDD var lines = sc.parallelize(List("i love you")) val pairs = lines.map(x=>(x,1)) pairs.forea
2019-03-23 13:21:55
原创 System.exit(0) System.exit(1)
System.exit(0)是正常退出程序，而System.exit(1)或者說非0表示非正常退出程序。 System.exit(status)不管status爲何值都會退出程序。 和return不同的是： return是回到上一
2019-03-16 13:21:53
原创 Hadoop—MapReduce練習（數據去重、數據排序、平均成績、倒排索引）
統計手機流量信息 數據去重 數據排序 平均成績 倒排索引 2. 統計手機流量信息 從下面的數據中的得到每個手機號的上行流量、下行流量、總流量。 源數據： 1363157985066 13726230503 00
2019-03-08 01:29:45
1
原创 MRUnit測試WordCount
pom <dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <!-
2019-03-06 18:40:45
原创 SVM（支持向量機）
SVM是一種用於二分類的分類算法，通過數據集訓練得到的分類器，可以用來預測新的樣本的類別（正例或負例兩種類別）。SVM也可以用於迴歸。 文本僅講述支持向量分類器(SVC)。根據數據集的不同，SVM可以分爲三類： 線性可分 線性不可分
2019-03-03 23:02:26
原创 MapReduce練習
轉載：https://www.cnblogs.com/shishanyuan/p/4190403.html /** dept表===================== id,部門名稱，地點 =====================
2019-03-03 23:02:26
1
原创 MRUnit的安裝和使用
pom <dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <sc
2019-03-03 23:02:26
1