原创 dolphinscheduler使用與測試文檔
安全中心（Security） 隊列管理（Queue manage） 隊列是在執行 spark、mapreduce 等程序，需要用到“隊列”參數時使用的（創建後不可刪除）。 例： 安全中心 -> 隊列管理 -> 創建隊列 --------
2020-06-16 05:29:52
原创 dolphinscheduler部署文檔（集羣版）
集羣規劃 ds集羣（生產配置） hostname CPU Memory Disk size Master Worker Logger Alert API UI DS01 8C 16G 50G √ √ √ √ √ √ DS0
2020-06-16 05:29:41
原创 DataX添加告警功能 前言 設計思路 代碼改動 總結
前言 公司的DataX已經用了2年多了，性能以及基本功能上沒有太大問題。但是有一個問題一直困擾着我，就是DataX的錯誤告警。DataX的日誌問題，一直令人頭疼。隨着job的逐漸增多，一個調度程序或者腳本打印出來的日誌實在太多，假如中途有哪
2020-06-16 05:29:41
原创 dolphinscheduler部署文檔（單機版）
下載 後端: wget https://downloads.apache.org/incubator/dolphinscheduler/1.2.0/apache-dolphinscheduler-incubating-1.2.0-dolph
2020-06-16 05:29:41
原创 DataX原理及安裝 DataX簡介 設計理念 DataX核心架構 安裝部署
DataX簡介 DataX是什麼？它是幹什麼用的？下面是官方給的介紹。 DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HB
2020-06-16 05:29:41
原创 Spark RDD、DF、DS互轉
DataFrame/Dataset 轉RDD val rdd1=df.rdd val rdd2=ds.rdd RDD 轉DataFrame import spark.implicits._ val df = rdd.map {l
2020-06-11 13:11:35
原创 DataX原理及安裝
DataX簡介 DataX是什麼？它是幹什麼用的？下面是官方給的介紹。 DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、A
2020-06-11 13:11:35