原创 List使用Stream 分組求和groupingBy， collect、reduce方法流數據處理
jdk8 流式數據處理太靈活，一下了還不太好掌握 ，下面記錄一些操作，方便使用的時候參考 public void testCodeSum() { Foo foo1 = new Foo(1, 2, 5);
2020-06-17 05:08:29
1
原创 kafka不同組消費同一主題topic生產者配置
因數涉及到數據的原子性，必須多個分組消費同一消費主題，寫入數據庫後， 可以自行回回滾數據，重新消費，不影響其它數據消費的目的，實現分批次拉取數據等，也是走了很多坑 第一， 是環境兼容性問題，高版本可能更容易實現多分組消費同一主題topic
2020-06-17 04:12:12
原创 kafka-stream流式處理示例
一 首生是kafka -stream 版本號問題，然後是springboot1.5.6兼容問題，發現springboot2.0不支持kafka -stream1.0.2包 第一個是窗口聚合的初始值，第二個是進行聚合的聚合器，第三個
2020-06-17 04:12:12
原创 mybatis批量插入和批量修改刪除
第一， 是組裝自己的的LIST 傳入參數，再循環得到對象 先貼 xml代碼 update 的時候， mysql數據庫， 一定要加上雙線單引號，否則會報錯，找不到數據庫屬性 <!-- 增加SNMP --> <insert id="i
2020-06-17 04:12:12
原创 kafka定時任務拉取數據
1 定時任務兩種， 2 消費分組消費從哪裏開始，不消費歷史數據 定時主要是爲了延遲拉消費，最簡單方式 直接批量拉取之後， ack批量提交後， 線程掛起3秒，更好達到效果 if (kafuKfaUtils.insertFl
2020-06-17 04:12:12
1
原创 kylin單機版搭建OLAP
最近想嘗試大數據框架，所以選擇了kylin 當然 druid 框架也是很不錯，不過他有自己特定的語言，不支持SQL，這樣對後期改造項目不方便，另外是kylin團隊是國內維護，中文文檔全，所以就選它來試試手 首生下載 http://k
2020-06-07 01:04:44
原创 kafka生產環境集羣搭建
三臺服務器 準備工作 安裝java環境 搭建zookeeper集羣 搭建kafka集羣 服務器配置 主機名 IP地址 硬件配置 kafka-1 192.168.1.162 24CPU、46G內存、600G存儲 kafka-2 19
2020-06-07 01:04:34
原创 Spring Boot + Sharding-JDBC快速簡單實現數據庫讀寫分離
官網說明 ① Sharding-JDBC是一個開源的分佈式數據庫中間件解決方案。它在Java的JDBC層以對業務應用零侵入的方式額外提供數據分片，讀寫分離，柔性事務和分佈式治理能力。並在其基礎上提供封裝了MySQL協議的服務端版本，用於
2020-06-07 01:04:34
原创 流量採集任務分配算法
任務分配算法，主要是輪詢然後是 MAP利用數據結構， KEY裏封裝對象 再追加list 如 Map<String, List<String>> old_map = new HashMap(); old_map.get(same.g
2020-02-26 16:57:03
原创 紅包分配算法，總金額分配算法
最近要做一個 總數和分配幾個點的數據， 但是又不能是平均值，所以寫一個隨機分配數，每個數的和加在一起等於總金額 類似於紅包分配方式，解釋說明都寫在類裏了 解釋和說明 * 1 搶紅包的期望收益應與先後順序無關 2 保證每個用戶至少
2020-02-25 17:02:32
原创 redis+springboot1.5.6集羣配置
線上碰到連接池無法獲取問題 ，排查後，看到配置redis的地方有問題， RedisConnectionFailureException: Could not get a resource from the pool; nested exc
2020-02-22 02:55:57
原创 Greenplum批量操作，數據庫裏面作刪除更新速度最快
這是記一次線上GP大數據庫 大量重複問題解決方案 1 建臨時表，把重複的數據備份，2 在備份庫用查詢條件去刪除正式表 最近在玩Greenplum 數據庫， 一款分佈式的數據庫 ，MPP架構，但是有好的也有不如意的，總體感覺還是不錯，底
2020-02-22 02:55:57
原创 Logback異步日誌輸出的使用
<?xml version="1.0" encoding="UTF-8"?> <configuration scan="true" scanPeriod="60 seconds" debug="false"> <!--定義日誌文件
2020-02-22 02:55:57
原创 docker下讀取txt文件找不到路徑,必須copy到容器或者映射文件
今天遇到問題， 項目上傳了一個GEO文件，但是在容器裏運行的時候，找不到路徑，因爲容器裏沒有項目文件路徑，只有一個JAR包， 這樣的話，就要在容器裏創建一個工作目錄，然後打包容器的時候，把文件copy或者 add進容器裏， 代碼如下
2020-02-22 02:55:57
原创 kafka批量消費手動提交ACK
一次性拉取多條數據，消費後再手動提交ACK，因爲要保存到數據庫去， 這過程如果失敗的話， 需要重新消費這些數據 所以 配置的時候，KAFKA不能自動提交 ， 批量消費數據 設置ENABLE_AUTO_COMMIT_CONFIG=fals
2020-02-22 02:55:57
8