原创 Spark JDBC系列--取數的四種方式
本文旨在介紹 Spark 通過JDBC讀取數據庫數據的四種API 調用前準備 對於不同的數據庫，需要在spark的環境中添加對應的依賴包，如： <dependency> <groupId>or
2020-06-10 04:47:22
原创 streaming讀取kafka數據再保存到es7.7.0代碼及踩過的坑2
注意當 import com.alibaba.fastjson.JSON import com.emg.es.moder.ESData import com.emg.es.util.ProUtils import com.uber
2020-06-10 04:47:22
原创 idea導入springBoot項目，lombok包報錯
gradle中lombok包的依賴 compileOnly "org.projectlombok:lombok:${lombokVersion}" annotationProcessor "org.projectlombok:lo
2020-06-10 04:47:22
原创 scala寫spark讀取postgres數據庫寫入es中
pg表中數據大概160w條200多M，方法一速度是五分半，方法二速度是四分半。 方法一： import org.apache.spark.sql.SparkSession import org.elasticsearch.spa
2020-06-10 04:47:22
原创 根據日期字符串判斷當月第幾周
package com.emg.matchs.utils; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; /
2020-06-10 04:47:22
原创 每月的最後一天使用crontab 定時執行任務
需求：有一個程序，需要在每個月的最後一天執行 例如：每個月的最後一天早上8:00 打印 dede 到 /tmp/test.txt 初步分析：要麼直接使用crontab一句命令實現，要麼在腳本里面判斷時間，再使用crontab執行 方
2020-06-10 04:47:22
原创 streaming讀取kafka數據再保存到es7.7.0代碼及踩過的坑
代碼 import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.kafka.common.serialization.StringDeseri
2020-05-26 21:45:45
原创 springBoot寫kafka生產者
kafka生產者發送數據時保證同一id的數據都發送到同一個分區中（同一topic時） import com.alibaba.fastjson.JSON; import com.emg.receiver.ecar.bean.Re
2020-05-20 21:12:07
原创 簡單上手版使用oozie提交spark程序
做這個實驗之前你的服務器上最好裝了cdh集羣，以及添加必要的組件，如hadoop，oozie，spark，yarn等。必須都啓動成功。 需要準備一個關於spark的demo架包、job.propertie、workflow.xm
2020-05-13 04:33:19
原创 使用命令行往GItLab提交一個固定分支的流程
默認git下載、安裝、公鑰都做好了。 1.新建本地倉庫，在你想要存放你們公司項目的目錄下新建一個文件夾（也可以直接放到項目的目錄下），名字自擬，進去該文件夾後右鍵 Git Bash ，輸入： $ git init /
2020-04-30 12:58:07
原创 判斷字符串是否爲空時，equals變量是前面還是後面 。
原文鏈接：https://blog.csdn.net/weixin_39973810/article/details/82112922 轉自：https://blog.csdn.net/weix
2019-09-04 23:34:52
1
原创 Hbase的Filter詳解使用
原文鏈接：https://blog.csdn.net/lr131425/article/details/72676254 參數基礎 有兩個參數類在各類Filter中經常出現，統一介紹下： （1）
2019-09-04 15:11:13
原创 學習hbase
原文鏈接：https://www.csdn.net/gather_24/MtTaEg0sMDM2MC1ibG9n.html https://www.csdn.net/gather_24/MtTa
2019-09-04 15:11:13
原创 全網最全Hbase入門的增加，查詢，刪除數據詳細解讀和代碼展示
原文鏈接：https://blog.csdn.net/young_so_nice/article/details/51405329 以下是Hbase的入門詳細解讀： 一，從外部的連接上hbase
2019-09-04 15:11:13
原创 Spark的UI優化詳解
原文鏈接：https://blog.csdn.net/m0_37657725/article/details/97305919 集羣環境 集羣環境可以看到集羣一個有280G內存，120核數，5個
2019-08-28 15:20:45