原创 Flume 自定義source -- SQLSource (轉爲 json 格式)
個人使用flume 相對較多 ，對他的採集任務比較喜歡 ,自己做了一些數據庫方向的的拓展。 雖然 github 上 有很多 自定義的 flume sql-source 比如 大名鼎鼎 的 https://github.com
2020-06-21 08:43:58
原创 flink 隱式轉換的問題
初入 flink 報錯如下 Information:2020-05-14 11:18 - Build completed with 2 errors and 0 warnings in 3 s 77 ms Error:(15,
2020-05-15 23:13:07
1
原创 flink streamWordCount demo
flink 的 wordCount 流式計算的demo package com.hbn.wc import org.apache.flink.api.scala._ import org.apache.flink.streami
2020-05-15 23:13:07
原创 flink wordcount demo
demo package com.hbn.wc import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment} import org.apache.flink.a
2020-05-15 23:13:07
原创 flink Cannot find compatible factory for specified execution.target (=local)
初入 flink wordcount 報錯如下 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/
2020-05-15 23:13:07
1
原创 Java 操作 Spark 時 卻不能設置泛型參數的問題 ？
最近在使用Java開發spark 過程中 遇到一個問題 即不能設置 返回對象的泛型參數 代碼如下 jssc 爲 JavaStreamingContext 使用 JavaSparkContext 也會遇到這種情況 List<Tu
2019-09-15 19:06:21
原创 Spark sql 中 自定義實體類無法識別其中的 Date 字段
在使用過程中 創建了實體類 使用反射的方式將 rdd 轉換爲 df 但是在使用過程中 即使沒有在 查詢中使用該字段，依然會報錯 主要提示爲 ` scala.MatchError: Thu Sep 05 10:16:25 CST
2019-09-05 18:59:45
7
原创 spark sql 使用過程中 無法識別輸入字段
在使用spark sql 過程中 可能映射爲實體類 但是該實體類的屬性 ，並沒有設置getter setter 方法 就會出現如下問題 提示 ： 無法識別某些字段 /Library/Java/JavaVirtualMach
2019-09-05 18:59:45
1
原创 spark sqlcontext 讀取json 文件
多行json 直接 使用 sqlcontext.read().json("path") 讀取時候 報錯如下 ： Exception in thread "main" org.apache.spark.sql.AnalysisExce
2019-09-02 18:54:48
2
原创 Flume 自定義source --sql source
個人使用flume 相對較多 ，對他的採集任務 比較喜歡 ,自己做了一些數據庫的拓展。 雖然 github 上 有很多 自定義的 flume sql-source 比如 大名鼎鼎 的 https://github.com/k
2019-02-15 00:27:50
2
原创 Spark 創建RDD (集合，本地文件，hdfs文件)基礎數據源
本文主要記錄 一些基礎 數據源 轉換 成爲 RDD 的案例 僅供參考 1.集合類轉換爲RDD import java.util.Arrays; import java.util.List; import org.apache
2018-09-13 02:30:15
原创 啓動Hadoop時一直提示輸入密碼
[root@wh bin]# sh $HADOOP_HOME/sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.s
2018-09-13 02:30:15