原创 pyecharts 地圖繪製

地圖繪製 熱力圖 from pyecharts import options as opts from pyecharts.charts import Geo from pyecharts.globals import GeoType,

原创 mysqldump error?

mysqldump 導出表結構 mysqldump -hHost -PPort -uUser -pPassword -d Database TableName 導出表結構和數據 # 直接導出,User 必須有 Table Lock 權限

原创 基於Docker實現Mysql主從同步

基於Docker實現Mysql主從同步 Docker搭建主從服務 MySQL Docker Image 安裝 docker pull mysql:8.0 運行容器 Master 對外映射端口 3307 docker run -p

原创 flink 如何實現對watermark 的checkpoint,防止數據複寫

fink slink 後的數據被複寫了??? 生產環境總會遇到各種各樣的莫名其名的數據,一但考慮不周便是車毀人亡啊。   線上sink 流是es , es 的文檔id 是自定義的 id+windowSatarTime 設window si

原创 flink 處理實時數據的三重保障

flink 處理實時數據的三重保障 window+watermark 來處理亂序數據對於 TumblingEventTimeWindows window 的元數據startTime,endTime 和程序啓動時間無關,當你指定出 win

原创 flink 兩個datastream實現left_join的兩種方法

本文只是以left_join作爲舉例,right_join,full_join 等是同理的,大家可以自行擴展   1. 實驗思路   1.提供兩個流             nameStream: 用戶名稱信息從 9999 端口獲取    

原创 mac ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

可能是/tmp/mysql.sock 被刪除   1.  查詢my.cnf 應該放的路徑 mysql --verbose --help | grep my.cnf// /etc/my.cnf /etc/mysql/my.cnf /usr/

原创 flink error Hadoop is not in the classpath/dependencies.

1. 在 $FLINK_HOME/lib 下加 Hadoop 的jar包,官網可以下載 https://flink.apache.org/downloads.html 2. mvn 添加依賴: <dependency>

原创 sbt 構建很慢

創建或者修改文件  vim ~/.sbt/repositories [repositories] local aliyun: http://maven.aliyun.com/nexus/content/groups/public type

原创 scala case class + BeanProperty+fastjson 快速實現類的序列化與反序列化

在實際的開發中,我們往往需要定義大量的類結構,來實現面向對象式的數據管理。考慮一種場景,這種場景下單個類管理的類成員變量有很多個,我們如何實現在少量代碼編寫的情況先實現一個類的序列化? 1. 在Java 中要實現一個類的序列化,需要 imp

原创 pymysql 批量插入報錯 MySQL server has gone away (BrokenPipeError(32, 'Broken pipe')

insert 語句批量插入的數據在3M 左右 通過pymyql 插入時報錯: MySQL server has gone away (BrokenPipeError(32, 'Broken pipe')   進入mysql  查詢最大插

原创 flink yarn error 缺少hadoop 包

flink version: Apache Flink 1.11.2 for Scala 2.12    後運行,各種jar 包找不到 yarn-session.sh -n 1 -jm 1024m -tm 1024m   查看官網:ht

原创 flink Could not create the DispatcherResourceManagerComponent

注意: start-scala-shell.sh 只適用Apache Flink 1.11.2 for Scala 2.11 中scala_2.11.x 系列 ,scala_2.12.x 不支持 Error: Could not fin

原创 zookeeper error: Starting zookeeper ... FAILED TO START

剛開始安裝的版本是Apache ZooKeeper 3.6.2 解壓後, zkServer.sh start  報錯   刪除 data 和logs 目錄都不可以,查看 logs Error: Could not find or load

原创 Mac下SSH免密登錄localhost,error:Permission denied (publickey,password,keyboard-interactive).

1.ssh-keygen -t rsa 2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3. chmod og-wx ~/.ssh/authorized_keys 4. chmod 7