原创 Kettle工具——Spoon、Kitchen、Pan、Carte
目錄 1. Spoon 2. Kitchen和Pan （1）命令行參數 （2）例子 3. Carte Kettle裏有不同的工具，用於ETL的不同階段。主要工具如下： Spoon：圖形化工具，用於快速設計和維護複雜的ETL
2020-05-26 07:22:13
原创 Kettle數據庫連接中的集羣與分片
目錄 1. 在數據庫連接中使用集羣 2. 創建數據庫分區schemas 3. 啓用數據庫分區 4. 例子 （1）將三個mysql實例的數據導入到另一個mysql實例 （2）將一個mysql實例的數據分發到三個mysql實例 （3）將三個m
2020-05-24 10:28:36
原创 徹底搞清 Kettle 數據分發方式與多線程
目錄 1. 分發方式 （1）輸入兩線程，輸出單線程 （2）輸入單線程，兩個輸出，一個單線程、另一個兩線程 （3）輸入單線程、兩個輸出均爲兩線程 （4）所有步驟均爲兩線程 （5）輸入步驟爲兩線程，輸出步驟爲四線程 2. 複製方式 （1）輸入
2020-05-20 22:20:57
原创 使用MySQL的rlike判斷字符串是否匹配
問題提出： 表user_experience_wealth_log改名爲user_experience_wealth_log_new，該表涉及若干存儲過程。爲了避免遺漏，需要確認所有相關過程都做了修改，驗證方法爲不存在包含user_exp
2020-04-25 20:42:25
原创 phoenix中日期與時間戳的相關轉換
日期轉時間戳： select to_char(to_number(to_date('2020-03-01','yyyy-MM-dd','GMT+8'))/1000,'##########'); 時間戳轉日期： to_char(CONV
2020-04-25 20:42:25
原创 求二進制中1的個數之——HAKMEM算法
問題：求一個整數的二進制中1的個數。 方案一： select @i:= 50 i,@i_bin:=bin(@i) i_bin, length(@i_bin)-length(replace(@i_bin,'1','')) len_1; 方
2020-04-19 04:46:59
原创 MySQL找出未提交事務的信息
目錄 一、processlist中的未提交事務 二、information_schema.innodb_trx中的未提交事務 三、performance_schema.events_statements_current中的未提交事務 參考
2020-03-31 14:29:50
原创 在CDH 6.3.1上安裝HAWQ 2.4.0
目錄 一、安裝環境 二、選擇HAWQ主機 三、安裝前準備 1. 建立gpadmin用戶和HAWQ主目錄 2. 創建HAWQ的本地數據目錄 3. 安裝依賴包 三、安裝HAWQ 1. 下載安裝包 2. 解壓並安裝 四、配置HAWQ 1. 創建
2020-03-14 16:20:45
原创 在CDH 6.3中安裝Phoenix服務
目錄 一、下載並安裝Phoenix parcel 二、安裝CSD文件 三、在Cloudera Manager中添加Phoenix服務（前提是已經安裝了HBase服務） 四、配置HBase以用於Phoenix 五、驗證Phoenix安裝 參
2020-03-10 21:34:01
原创 MySQL百萬級數據高效導入Redis
DBAplus社羣 今天 以下文章來源於俠夢的開發筆記 ，作者俠夢 前言 隨着系統的運行，數據量變得越來越大，單純的將數據存儲在MySQL中，已然不能滿足查詢要求了，此時我們引入Redis作爲查詢的緩存層，將業務中的熱數據保存到Redis
2020-03-03 23:42:02
原创 用NC或rsync傳文件和目錄
目標機（172.16.1.125）： nc -l 12345 | tar zxvf - 源機（172.16.1.124）： tar cfz - * | nc 172.16.1.125 12345 rsync --hard-links -r
2020-03-03 23:42:02
原创 獲取MySQL歷史session
MySQL的show processlist命令可以顯示當時的會話情況，但很多時候都需要查看出問題當時的狀態，可惜MySQL沒有提供類似history session這樣的功能。於是爲了方便問題排查，自己寫了一個非常簡單的
2020-02-28 11:32:49
1
原创 Galera Cluster for MySQL 詳解（四）——性能測試
目錄 一、測試目標 二、測試規劃 三、測試過程 1. 缺省配置 2. 多線程 3. 流控 四、測試結論 參考： 本篇使用tpcc-mysql壓測工具對實驗環境的三節點Galera集羣進行一系列性能測試。 一、測試目標 驗證
2020-02-24 09:59:26
3
原创 MySQL高可用之DRBD
目錄 一、DRBD簡介 1. 工作原理 2. DRBD 支持的底層設備 3. DRBD資源 4. DRBD 配置工具 5. DRBD與RAID1區別 6. DRBD與共享存儲 二、DRBD安裝配置 1. 實驗環境 2. 配置前準備 3
2020-02-24 09:59:26
1
原创 Galera Cluster for MySQL 詳解（三）——管理監控
目錄 一、管理 1. 在線DDL （1）TOI （2）RSU （3）pt-online-schema-change 2. 恢復主組件 （1）瞭解主組件狀態 （2）修改保存的主組件狀態 3. 重置仲裁 （1）查找最高級的節點 （2）重置仲裁
2020-02-24 09:59:26
53