原创 DS測試

1,創建用戶和租戶 輸入前端登錄網址 : http://192.168.xx.xx:12345/dolphinscheduler/ui/view/login/index.html ​ 輸入用戶名:admin ​ 密碼:dol

原创 日誌處理

日誌處理 數據 數據情況 每行記錄有5部分組成: 訪問ip 、訪問時間 、訪問資源【跟着兩個訪問的Url】、訪問狀態 、本次流量 截取部分數據如下: 日誌:鏈接: https://pan.baidu.com/s/1Q9yHxTC

原创 docker 關聯 github 自動化打鏡像

docker 關聯 github 自動化打鏡像 登錄docker hub 官網(https://www.docker.com/) 點擊個人賬號下的Account Settings 連接github 點擊GitHub進行連

原创 ssh-keygen使用

ssh-keygen使用 Linux下使用ssh-keygen無密碼登錄 使用ssh-keygen -t rsa生成祕鑰 root@journey:~# ssh-keygen -t rsa Generating public/pr

原创 datanode啓動不起來

2019-05-27 18:47:40,234 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2019-05-27 18:47:40,240 I

原创 shell學習

日誌清理 #!/bin/bash # 清除日誌腳本 LOG_DIR=/var/log ROOT_UID=0 # $UID爲0的用戶,即root用戶 # 腳本需要使用root用戶權限來運行,因此,對當前用戶進行判斷,不合要求的用戶給出友

原创 EasySchedulerr大數據調度系統架構分析

EasySchedulerr大數據調度系統架構分析 導語 EasyScheduler是易觀平臺自主研發的大數據分佈式調度系統。主要解決數據研發ETL 錯綜複雜的依賴關係,而不能直觀監控任務健康狀態等問題。EasyScheduler以D

原创 hive內部表,修改分區名字

1,創建一個分區表 CREATE TABLE `stg.stu`(   `id` string COMMENT '用戶唯一識別ID',    `name` string COMMENT '名字') COM

原创 Superset安裝文檔及遇到的問題解決

Superset安裝部署 1、Python版本要求  Superset支持的python版本爲Python 2.7 and Python 3.4+. Python 3 是推薦的版本, Python 2.6目前是不支持。  2、安裝操作系統

原创 mysql權限

#創建用戶密碼及授權 GRANT ALL PRIVILEGES on db123.* to 'zhangsan'@'%' IDENTIFIED  BY '123456'; #收回權限 REVOKE SEL