原创 kylin搭建
本文檔主要是kylin的搭建以及在搭建過程中遇見大問題。 1.環境 本文檔主要搭建在開發環境。環境是基於CDH6.2 CDH中有hadoop ，spark ,hbase 2.下載 瞭解自己的環境就可以有針對的下載需要的版本。現在K
2020-05-05 19:29:17
原创 Sqoop ERROR metastore.GenericJobStorage: Cannot restore job
我的環境爲 CDH 6.2 sqoop1.4.7 出現這個錯誤。我這裏不考慮沒有創建JOB的情況。因爲，我已經創建幾次job。同時我執行運行job時，有時可以運行，有時不可以運行。 20/04/27 10:22:41 ERROR
2020-04-29 09:13:46
2
原创 FlinkSQL Scala版本的自定義UDF —— 03
我們在處理數據的時候經常會出現一些。常用函數無法滿足的函數。 本案例的實踐效果是：對傳入字段變爲url。 如 傳入：hao123 返回：http://www.hao123.com 源數據csv文件： hao123,2,1 baid
2020-04-21 13:13:55
原创 Flink1.8消費Kafka的Nginx數據統計——02
Flink消費Kafka的數據 本案例是fileBeat採集Nginx的access.log日誌發送至Kafka。在這裏不討論這一步驟。只討論Kafka至Flink的過程。不多說直接上代碼。 1、 Kafka的源數據 這是beat
2020-04-21 13:13:55
原创 CDH中hue執行shell腳本調用sqoop腳本報錯
CDH中hue執行shell腳本調用sqoop腳本報錯 1、Could not load db driver class: com.oracle.jdbc.Driver 解決：oracle驅動不存在。你可以把驅動包拷貝到/opt
2020-04-14 04:03:17
原创 Kafka+Zookeeper集羣搭建
Kafka+Zookeeper集羣搭建 1、介紹 Apache kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，是消息中間件的一種，用於構
2020-03-30 10:41:10