原创 HBase管理offset，解決kafka頭越界或尾越界問題(HBase存儲offset可以更換爲Mysql、Redis、Zookeeper)
HBase管理offset，解決kafka頭越界或尾越界問題(HBase存儲offset可以更換爲Mysql、Redis、Zookeeper什麼是越界？頭越界的原因尾越界的原因解決方案流程圖代碼實現調用方式舉例 什麼是越界？ 越界
2020-07-08 02:26:55
9
原创 Spark Streaming + Kafka Integration Guide 位置策略和消費策略譯文
LocationStrategies 位置策略 The new Kafka consumer API will pre-fetch messages into buffers. Therefore it is important for
2020-07-08 02:26:55
原创 Spark UI監控指標查看
1. Spark監控頁 進入對應的application 進入Tracking URL 選擇Streaming 2. 監控指標 Input Size 每個批次處理輸入數據大小（如多少條日誌） Processing Time
2020-06-21 14:05:17
原创 Shiro-Redis集羣在Spring Boot中實踐(實現用戶登錄、權限管理、用戶踢出、密碼錯誤次數過多不允許登錄、記住我，修改密碼)
Shiro-Redis集羣在Spring Boot中實踐Shiro-Redis集羣在Spring Boot中實踐(前後端分離)1. 項目背景2. 準備工作3. 數據庫表1.用戶表(user表)2.角色表(role表)3.用戶 -
2020-04-30 16:44:19
原创 Spark+kafka+scala入門
1. Scala編程思想 (1) val常量，var變量，在聲明變量的時候不需要說明具體的類型，類似於javascript語言 (2) def表示聲明函數或方法，其中參數名顛倒寫，即變量名在前：類型，返回值不需要寫return d
2020-03-30 20:02:41
原创 postman使用注意事項
1.發送GET請求不需要填body，只需要在URL後面加上？key=value，header設置爲[{"key":"Content-Type","value":"application/x-www-form-urlencoded","de
2020-02-22 02:46:14
原创 mybatis使用技巧
1.返回值設置爲實體Bean最好，也可以使用hashmap等接收，但不方便。 2.在User.xml可以定義傳入類的別名，方便快捷，不需要傳入類的全名，使用方式如下： <typeAlias type="com.someapp.model
2020-02-22 02:46:14
原创 Elastic Search最佳實踐
ES最佳實踐(6.x) 按天生成index，支撐每天10億級日誌量入庫。 ES日誌採用按天生成index方法，查詢先確定索引位置，如log_20190801，log_20190802。再去ES中查找 動態模板與指定字段類型配合
2019-09-26 21:21:05
原创 Java 8 時間日期工具類
import org.springframework.util.Assert; import java.time.*; import java.time.format.DateTimeFormatter; import jav
2019-09-26 21:21:05
原创 Elastic Search工具類
項目背景 需要在非Spring環境(Spark)下使用ES的增刪改查,新增此工具類方便開發。 maven依賴 <!-- 若需要對ES增刪改查 需引入ES高級客戶端 --> <dependency>
2019-09-26 21:21:05
1
原创 IDEA 編碼格式配置
務必將IDE的編碼統一修改爲UTF-8 IDEA中操作路徑爲：File | Settings | Editor | File Encodings 將如下三項修改爲UTF-8格式 IDE Encodings Project Enc
2019-09-26 21:21:05
原创 Spring MVC + Slf4j + Log4j2 日誌文件系統配置
https://www.jianshu.com/p/191273d04d2d 整合的很完美~測試可用
2019-05-10 20:01:49
1
原创 普通Maven項目打包jar，提供第三方調用
新建本地項目pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln
2019-04-02 21:39:09
原创 Log4j整合阿里雲日誌服務
### 日誌級別 ERROR > WARN > INFO > DEBUG ### # 優先採用slf4j獲取log 所有的第三方jar都不太想看到輸出日誌，但是error的級別以上的需要 # private static final
2019-03-29 21:48:58
原创 Spring Boot2統一異常處理
Spring Boot 2.0 統一異常處理爲什麼要統一異常處理項目框架及異常類型項目代碼pom依賴（只寫出該模塊涉及依賴）配置yml(properties基本一樣)通用返回類統一異常處理類實現ErrorController接口 爲什
2019-03-25 21:49:38