原创 Flink 1.9.0 Error: A JNI error has occurred, please check your installation and try again
僅供和我一樣的小白閱讀，大牛請略過！ 今天趟 Flink 19.0 遇到了一個官網的坑：官網可能默認每一位開發者都非常熟悉 Maven 但是今天我這個小白實實在在的躺了次坑： java.lang.NoClassDefFoundError
2020-06-16 16:51:30
2
原创 錯誤: 無法初始化主類
錯誤描述： 錯誤: 無法初始化主類 com.haier.flink.main.PreFilteringMain 原因: java.lang.NoClassDefFoundError: org/apache/flink/streaming
2020-02-22 14:24:09
原创 Centos7安裝Docker
均使用 root 用戶： 首先卸載 Centos 7 上的舊版本： yum remove docker \ docker-client \ docker-clie
2019-09-07 23:47:29
2
原创 json 轉 map，循環得到 key，value
原文鏈接：https://blog.csdn.net/stimgo/article/details/71750781 版權聲明：本文爲其他博主原創文章，遵循 CC 4.0 by-sa 版權協議，
2019-08-22 23:13:24
原创 Java 從後向前進行字符串截取！
實現思路： 先將字符串倒轉，然後對字符串進行截取。 字符串反轉的方法： /** * @描述 TODO : 將指定的字符串進行倒轉 * @參數 [s] 要倒轉的字符串 * @返回值 java.la
2019-06-14 19:25:04
原创 MyBatis在XML中同一個Bean，一個字段對應一個List(一對多)，寫入Oracle數據庫！mybatis foreach 嵌套 批量 insert map list 數據
Bean : public class XXXBean { private String id; private List<Bean> ListName; Getter and Setter 。。。。。。 }
2019-06-13 17:31:25
原创 Spark2.3.2 SparkSession 將 String 類型的 Json 轉換爲 DataFrame
import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{SQLContext, SparkSession} object DataF
2019-04-07 01:56:39
原创 {"error":{"root_cause":[{"type":"strict_dynamic_mapping_exception","reason":"mapping set to strict,
報錯信息： {"error":{"root_cause":[{"type":"strict_dynamic_mapping_exception","reason":"mapping set to strict, dynamic intr
2019-03-27 00:01:40
4
原创 SparkStreaming 根據指定字段進行去重，並保留時間爲最新的那條記錄(消費Kafka版本爲 0.10)
// 對數據進行過濾，取時間爲最新的那條記錄 val inputFilterIterable: RDD[(String, String)] = inputFeedRDD.map(inputRDD => {
2019-03-23 00:11:33
原创 Scala Java 混合開發的項目如何通過 Maven 進行打包(配置文件也都添加進去)
項目目錄結構： pom.xml 中的打包代碼： <build> <resources> <resource> <directory>src/main/
2019-03-17 00:04:40
原创 DataFrame轉自定義JavaBean
本人在項目開發的階段遇到了一個業務場景：需要將 DataFrame 的數據轉成一個自定義的 JavaBean 對象，然後傳給 Java 應用層。 執行的主函數代碼： package com.hanlian.spark.sql impo
2019-03-16 00:12:58
原创 DataFrame返回一個空白表如何進行判斷沒有任何數據
// 直接判斷DataFrame轉換成的RDD val csr_bool_customerid = customerid.rdd.isEmpty()
2019-03-03 21:45:34
1
原创 Streaming 消費 Kafka 中的 Json 數據並對單個 Batch 進行數據指定字段去重
inputKafkaDStream .foreachRDD(input => { if (!input.isEmpty()) { input.map(a => {
2019-02-27 21:27:35
原创 如何對混合開發的項目使用 Maven 進行相關依賴包打包
在項目的 pom 中的 <build></build> 之間添加一下內容即可實現將項目需要的包全部打包。 <!-- ============================================ 打包整個項目開始 =====
2019-02-20 20:46:16
原创 SparkStreaming寫Hive一個小Demo案例（數據源爲 Socket）
import org.apache.spark.SparkContext import org.apache.spark.sql.{SaveMode, SparkSession} import org.apache.spark.str
2019-02-19 06:51:21