原创 canal1.1.3 mysql 數據實時同步 redis mq等
最近有個需求，需要將一張表同步redis， 找到了CANAL,又是阿里開發的，下面是官方介紹 開發背景 早期阿里巴巴因爲杭州和美國雙機房部署，存在跨機房同步的業務需求，實現方式主要是基於業務 trigger 獲取增量變更。從 2010
2020-06-25 20:32:44
原创 釘釘 H5微應用開發 免密登錄
近2年釘釘很火，很多企業在用，要做一個釘釘的微應用 打算用VUE做前端，springboot做後端。其中比較重要的就是釘釘的免密登錄，網上資料比較少 而且很多都過時了，下面我這個官方SDK包是20190926發佈的 釘釘微應用開發者文檔：
2020-06-25 20:32:44
原创 總結 項目中的技術方案選型和爲什麼
1，爲什麼要前後端分離。 1.1 前後端分離可以讓開發人員更專注於自己的專業，開發效率更高 1.2 前端和後端分開部署在各自的服務器，性能更好 2, 前端爲什麼用vue。 2.1 國人產的
2020-06-25 20:32:44
原创 springboot 秒殺系統（三）高併發服務間調用
分佈式系統的思想就是： 如果一個系統的壓力過大，可以把一個服務拆分成多個服務，這個叫垂直拆分。 也可以考慮做鏡像集羣，負載平衡，這個叫水平拆分。 這個系統我們可以考慮垂直拆分，將訂單相關的功能拆分出來。 我們將訂單的邏輯拿出來，放到or
2020-06-25 20:32:44
1
原创 大數據 (三) BI報表系統 superset 源碼搭建開發環境
公司要用BI報表給業務來分析查詢數據，對比了幾個BI報表，不是收費，就是一般 最後決定用superset BI報表，開始去git上找源碼開始搭建環境了。 我們是5月中下旬開始下的，當時superset的最新版本是0.36,我們從主分支ma
2020-06-25 20:32:44
5
原创 怎麼用敏捷開發
敏捷開發是什麼？敏捷開發的核心就是人 原則套用網圖： 我之前的經驗就是： 需求階段： 你跟客戶去調研需求的時候， 必須要把他的主流程和大概需求先弄明白。 很多細節，客戶自己都不明白，他們必須有個看得見的東西 擺在他們面前，才能慢慢
2020-06-25 20:32:44
原创 rabbitmq 怎麼保證冪等性，數據一致性問題
mq的作用主要是用來解耦，削峯，異步， 增加MQ,系統的複雜性也會增加很多， 也會帶來其他的問題，比如MQ掛了怎麼辦，怎麼保持數據的冪等性 冪等性問題通俗點講就是保證數據不被重複消費，同時數據也不能少， 也就是數據一致性問題。 下面是MQ
2020-06-25 20:32:44
原创 MAVEN 引入外部包，並打包時引入外部JAR
最近做一個釘釘項目，引用官方的jar包，taobao-sdk-java-auto_1479188381469-20190926.jar 需要項目引入外部包，而不是直接依賴引入maven庫 1，在項目下建立個LIB目錄，把下載的包放進入，如
2020-06-25 20:32:32
原创 編寫自己的工具starter類 (一)- spring-boot-redis-starter
開始 spring-boot 爲什麼現在這麼火了，因爲它解決了很多配置信息文件 實現了集成一個組件，裝箱即用的效果。也就是約定大於配置。 平常工作中，我們也可以開發自己的starter包，下面以我寫的一個工具包爲例 需求 寫一個redis
2020-06-25 20:32:32
原创 大數據 (三) BI報表系統 superset 2 製作表格
superset是git上star很多的項目，已經進入了apche的孵化器 上節我已經介紹了superset的開發搭建環境，比較麻煩，其實大家可以直接通過 命令安裝，這樣還簡單些，下面我介紹一下superset的一些用法 supers
2020-06-25 20:32:31
9
原创 大數據（二）flink 2 代碼demo
上節是介紹一些概念。下面是具體的例子。 代碼傳至GITHUB 傳送地址 一般都是flink消費kafka的數據來實時統計數據的 引入flink相關jar包 <properties> <flink.version>1.
2020-06-25 20:32:31
原创 大數據（二）flink 1 概念介紹
Flink介紹： Apache Flink是一個框架和分佈式處理引擎，用於對無界和有界數據流進行有狀態計算。 2015年升級爲Apache的頂級項目，然後突然爆發，之後被阿里收購。 基本上國內說得出名字的大廠都在用flink。 Flin
2020-05-22 21:04:06
原创 大數據（一）flume
Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方（可定製）的能力。
2020-05-15 07:38:22
原创 大數據架構及技術體系
下面是大數據體系架構圖 大數據分2個部分，一部分是走實時的，另外一部分是走離線的，不管那塊都需要數據來分析 從上圖來看，數據分爲結構化數據（MYSQL,ORACLE等），半結構數據（文件日誌），非結構化數據（視頻，PPT等） 我們一般需
2020-04-30 23:01:00
原创 分佈式服務之分佈式緩存（layering-cache）
很多高性能高併發的優化最有效果的優化就是做緩存， 緩存又分本地緩存和分佈式緩存，分佈式緩存大多數用redis， 但是高併發下的redis有時候網絡消耗多的時候也扛不住， 於是redis又可以做分佈式redis，增加redis的服務器節點和
2020-04-14 00:02:53
4