原创 Galera Cluster for MySQL 詳解(五)——負載均衡

        Galera負載均衡器(Galera Load Balancer,GLB)爲客戶端請求提供了一個簡單的TCP連接平衡功能,其與Galera Cluster的關係類似於MySQL Router之於組複製。它從另一個輕量級負載

原创 定期全備redis

        首先申明我的觀點,redis本身只是緩存,不適合作爲數據庫使用,有說微博就是拿redis當DB用的,自己去證實吧。如果非要拿redis當數據庫,就不得不考慮數據丟失問題,這裏討論兩種常見的可能造成數據丟失的情況。    

原创 重疊時間段問題優化算法詳解

目錄 一、問題提出 1. 描述 2. 分析 二、優化重疊查詢 1. 自關聯 2. 遊標+內存臨時表 三、改進取得活躍時段的算法 1. 最小範圍算法(表連接) 2. 正負計數器算法(一次掃描) 四、MySQL 8的單條查詢解決方案 一、問題

原创 CDH 6.3.1整合Zeppelin 0.8.2

目錄 一、安裝Zeppelin 二、配置Zeppelin的用戶名密碼 三、使用Zeppelin查詢CDH的hive表 四、定義Hive解釋器 五、定義MySQL解釋器         Zeppelin是一個基於Web的筆記本,可以直接在瀏

原创 redis手工分片

目錄 一、redis環境 二、redis手工分片步驟 1. 配置級聯複製 2. 去掉老哨兵監控 3. 停止新實例從老實例的複製 4. 添加新哨兵監控 5. 重啓新哨兵        6. 添加老哨兵監控 7. 重啓老哨兵 三、注意事項 四

原创 DBeaver連接hive、impala、phoenix、HAWQ、redis

目錄 一、DBeaver簡介 二、下載與安裝 三、連接hive 四、連接impala 五、連接phoenix 六、連接HAWQ 七、連接redis         伴隨着技術的不斷髮展與進步,我們會接觸和使用越來越多的數據源。從經久不衰的

原创 Kettle與Hadoop(三)連接Hadoop

目錄 一、環境說明 二、連接Hadoop集羣 三、連接Hive 四、連接Impala 五、後續(建立MySQL數據庫連接) 參考:Use Hadoop with Pentaho         Kettle可以與Hadoop協同工作。讓我

原创 Kettle與Hadoop(四)導入導出Hadoop集羣數據

目錄 一、向Hadoop集羣導入數據(Hadoop copy files) 1. 向HDFS導入數據 2. 向Hive導入數據 二、從Hadoop集羣抽取數據 1. 把數據從HDFS抽取到RDBMS 2. 把數據從Hive抽取到RDBMS

原创 Kettle與Hadoop(一)Kettle簡介

目錄 一、Kettle設計原則 二、轉換 1. 步驟 2. 轉換的跳 3. 並行 4. 數據行 5. 數據轉換 (1)Date和String的轉換 (2)Numeric和String的轉換 (3)其它轉換 三、作業 1. 作業項 2. 作

原创 Kettle與Hadoop(九)提交Spark作業

實驗目的: 配置Kettle向Spark集羣提交作業。 實驗環境: Spark History Server: 172.16.1.126 Spark Gateway: 172.16.1.124 172.16.1.125 172.16.1.

原创 Kettle與Hadoop(六)執行HiveQL語句

1. 建立hive表,導入原始數據,過程參考 https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%

原创 Kettle與Hadoop(二)Kettle安裝配置

目錄 一、安裝Java 二、安裝Kettle 三、運行Kettle程序 1. 安裝Linux圖形環境 2. 安裝配置VNC Server 3. 在客戶端使用vncviewer連接系統 4. 執行spoon.sh 四、給Spoon創建一個桌

原创 Kettle與Hadoop(七)執行Sqoop作業

目錄 一、Sqoop export 二、Sqoop import 一、Sqoop export 1. 建立一個作業,將HDFS文件導出到MySQL數據庫。 (1)打開PDI,新建一個作業,如圖1所示。 圖1   (2)編輯'Sqoop

原创 Kettle與Hadoop(五)執行MapReduce

目錄 一、示例1——格式化原始web日誌 1. 準備文件與目錄 2. 建立一個用於Mapper的轉換 3. 建立一個調用MapReduce步驟的作業,使用mapper轉換,僅運行map作業。 4. 執行作業並驗證輸出 二、示例2——生成聚

原创 Kettle與Hadoop(八)執行Oozie作業

1. 打開PDI,新建一個作業,如圖1所示。 圖1 2. 編輯'Oozie job executor'作業項,如圖2所示。 圖2         說明: CDH631是已經建好的Hadoop集羣連接,參見“https://wxy032