原创 kafka-spark-hive
1、場景介紹：數據發往kafka（500億條每天），用spark讀取kafka的數據，寫入到hive表裏面（ORC壓縮算法，一個分區字段） 2、hive的介紹：hive表是分區表分區的字段是一個，想要使用動態分區，hive的壓縮算法是OR
2020-06-22 04:37:54
原创 canal問題彙集，高可用，kerberos，tsdb，metric監控，admin等等
1、 2、 3、Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.confi
2020-06-22 04:37:54
原创 clickhouse的高級使用摸索
目錄 前言 OLAP場景的關鍵特徵 缺陷 一、集羣模式搭建 1、centos系統安裝 2、配置文件 3、啓動 4、連接數據庫 二、字段知識 三、表知識 1、表引擎介紹 2、集羣模式表用法 四、綜合使用 前言 ClickHouse是一個用
2020-06-22 04:37:54
2
原创 TiDB單機，docker-compose安裝
目錄 一、環境準備 1、安裝docker 2、安裝docker-compose 3、安裝mysql（可能不需要）root賬號下安裝 4、安裝git 二、安裝TiDB 三、測試 一、環境準備 本機環境是：centos7.3 1、安裝do
2020-06-22 04:37:54
原创 vue-admin-template和vue-element-admin框架的二次開發使用發佈部署接口路由權限環境搭建，前端快速入門框架
目錄 一、簡介 1、項目簡介 2、下載 3、環境搭建 二、框架 三、問題 1、界面開發 2、路由控制 3、接口請求 4、權限管理 四、發佈 一、簡介 1、項目簡介 官網：https://github.com/PanJiaChen vue-
2020-06-22 04:37:54
原创 canal-adapter使用，MySQL到kafka到MySQL
一、背景介紹 canal-adapter是canal的客戶端適配器，能夠直接將canal同步的數據寫入到目標數據庫（hbase,rdb,es），rdb是關係型數據庫比如MySQL、Oracle、PostgresSQL和SQLServer等
2020-06-22 04:37:54
1
原创 canal-admin的高可用使用，單機使用，HA使用，阿里的canal的UI界面，管理canal的實例，以及問題
一、軟件下載 1、介紹 canal的主要的作用就是通過MySQL的binlog日誌文件，同步數據到MQ，MQ包含mysql、kafka、tcp等等 canal-admin是一個webUI界面，通過界面配置的方式，管理canal的配置文件，
2020-06-22 04:37:54
原创 scala.util.matching.Regex V
一、出現問題 Scala的版本與spark的版本的不匹配的時候會出現。maven依賴的Scala；電腦環境變量的Scala；IDEA的全局sdk的Scala。 都沒有問題時還是會出現Exception in thread "main" j
2020-06-22 04:37:50
原创 關於hbase的HBaseAdmin對象的創建，新舊版本對比
一、hbase的java API 在重寫以前的代碼的時候，換了新版本的hbase，導致出現了很多問題，在此記錄一下，新舊版本創建HBaseAdmin的方式 二、舊的版本 創建的HBaseAdmin裏面傳入的是configuration。
2020-06-13 00:28:35
原创 Java遊戲開發
1、電腦版計算機器 百度雲連接：https://pan.baidu.com/s/1swMwN9tjKq4umNZ7wXjmuA 提取碼：s7sq 2、坦克 百度雲連接：https://pan.
2020-06-10 16:26:41
原创 canal的遠程配置canal.instance.global.mode = manager。。。canal源碼追蹤解析
一、canal的程序入口 在官網給的GitHub裏面的deployer模塊裏面，官網：https://github.com/alibaba/canal/tree/master/deployer 其中的main方法在：com.alibaba
2020-06-10 16:26:41
1
原创 canal高可用的數據重複消費問題，自動切換時消費端數據重複消費，canal高可用的搭建，運用以及問題,以及元數據保存問題，保存zookeeper清除
一、問題描述 搭建的canal是高可用模式，在IDEA裏面進行消費的，但是在服務端進行切換時，出現了數據重複被消費的問題。salve1:11111開啓服務時，往數據庫裏面插入了一條數據，然後又刪除了這條數據，這是Mysql的bin-log
2020-06-10 16:26:41
原创 Linux的時間設置，修改時間，免密登錄
系統是centos6 一、修改時區 查看時間服務器是否是上海的：cat /etc/sysconfig/clock 如果不是則編輯該文件：vi /etc/sysconfig/clock 改成：ZONE="Asia/Shanghai" 我一般
2020-06-10 16:26:41
原创 java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
[2019-05-30 14:38:58,089] ERROR Exiting Kafka due to fatal exception (kafka.Kafka$) java.lang.NoSuchMethodError: scala.
2020-06-10 16:26:41
原创 canal的分庫分表使用group-instance.xml
一、背景前提 公司的MySQL數據庫是分庫分表的，若要是按照一個庫（IP）對應一個實例的話，就需要創建10個實例，而且改動還很不方便，一次需要改10個配置文件。所以查到canal自帶這種功能； 對於分庫分表的MySQL配置的port，us
2020-04-22 10:33:43