原创 golang 實現簡單的rsa加密算法
Golang 實現簡單的rsa加密算法 NOTE: gcd 是求最大公約數 Golang 中已經有crypto/rsa實現加密EncryptPKCS1v15()、解密DecryptPKCS1v15()，本文只是自己實現簡單的ras 加密算
2021-01-15 14:03:24
原创 mac 根目錄下無法創建目錄
新建/etc/synthetic.conf sudo vim /etc/synthetic.conf 創建軟鏈接 在文件中添加內容，格式： 更目錄下的文件 + TAB + 自定義的真實目錄 datas /opt/da
2020-12-31 14:03:08
原创 pyecharts 地圖繪製
地圖繪製 熱力圖 from pyecharts import options as opts from pyecharts.charts import Geo from pyecharts.globals import GeoType,
2020-12-27 14:03:11
原创 mysqldump error?
mysqldump 導出表結構 mysqldump -hHost -PPort -uUser -pPassword -d Database TableName 導出表結構和數據 # 直接導出，User 必須有 Table Lock 權限
2020-12-25 14:09:45
原创 基於Docker實現Mysql主從同步
基於Docker實現Mysql主從同步 Docker搭建主從服務 MySQL Docker Image 安裝 docker pull mysql:8.0 運行容器 Master 對外映射端口 3307 docker run -p
2020-12-25 14:09:45
原创 flink 如何實現對watermark 的checkpoint,防止數據複寫
fink slink 後的數據被複寫了？？？ 生產環境總會遇到各種各樣的莫名其名的數據，一但考慮不周便是車毀人亡啊。 線上sink 流是es , es 的文檔id 是自定義的 id+windowSatarTime 設window si
2020-10-22 14:26:30
原创 flink 處理實時數據的三重保障
flink 處理實時數據的三重保障 window+watermark 來處理亂序數據對於 TumblingEventTimeWindows window 的元數據startTime,endTime 和程序啓動時間無關,當你指定出 win
2020-10-20 14:26:28
原创 flink 兩個datastream實現left_join的兩種方法
本文只是以left_join作爲舉例，right_join,full_join 等是同理的,大家可以自行擴展 1. 實驗思路 1.提供兩個流 nameStream: 用戶名稱信息從 9999 端口獲取
2020-10-18 14:26:48
原创 mac ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
可能是/tmp/mysql.sock 被刪除 1. 查詢my.cnf 應該放的路徑 mysql --verbose --help | grep my.cnf// /etc/my.cnf /etc/mysql/my.cnf /usr/
2020-10-13 14:26:32
原创 flink error Hadoop is not in the classpath/dependencies.
1. 在 $FLINK_HOME/lib 下加 Hadoop 的jar包，官網可以下載 https://flink.apache.org/downloads.html 2. mvn 添加依賴： <dependency>
2020-09-29 14:26:43
3
原创 sbt 構建很慢
創建或者修改文件 vim ~/.sbt/repositories [repositories] local aliyun: http://maven.aliyun.com/nexus/content/groups/public type
2020-09-28 14:27:07
原创 scala case class + BeanProperty+fastjson 快速實現類的序列化與反序列化
在實際的開發中，我們往往需要定義大量的類結構，來實現面向對象式的數據管理。考慮一種場景，這種場景下單個類管理的類成員變量有很多個，我們如何實現在少量代碼編寫的情況先實現一個類的序列化？ 1. 在Java 中要實現一個類的序列化，需要 imp
2020-09-27 14:27:28
原创 pymysql 批量插入報錯 MySQL server has gone away (BrokenPipeError(32, 'Broken pipe')
insert 語句批量插入的數據在3M 左右 通過pymyql 插入時報錯： MySQL server has gone away (BrokenPipeError(32, 'Broken pipe') 進入mysql 查詢最大插
2020-09-25 14:26:33
原创 flink yarn error 缺少hadoop 包
flink version: Apache Flink 1.11.2 for Scala 2.12 後運行,各種jar 包找不到 yarn-session.sh -n 1 -jm 1024m -tm 1024m 查看官網：ht
2020-09-24 14:26:54
原创 flink Could not create the DispatcherResourceManagerComponent
注意： start-scala-shell.sh 只適用Apache Flink 1.11.2 for Scala 2.11 中scala_2.11.x 系列 ,scala_2.12.x 不支持 Error: Could not fin
2020-09-24 14:26:54
2