原创 DS測試
1,創建用戶和租戶 輸入前端登錄網址 : http://192.168.xx.xx:12345/dolphinscheduler/ui/view/login/index.html 輸入用戶名:admin 密碼:dol
原创 日誌處理
日誌處理 數據 數據情況 每行記錄有5部分組成: 訪問ip 、訪問時間 、訪問資源【跟着兩個訪問的Url】、訪問狀態 、本次流量 截取部分數據如下: 日誌:鏈接: https://pan.baidu.com/s/1Q9yHxTC
原创 docker 關聯 github 自動化打鏡像
docker 關聯 github 自動化打鏡像 登錄docker hub 官網(https://www.docker.com/) 點擊個人賬號下的Account Settings 連接github 點擊GitHub進行連
原创 ssh-keygen使用
ssh-keygen使用 Linux下使用ssh-keygen無密碼登錄 使用ssh-keygen -t rsa生成祕鑰 root@journey:~# ssh-keygen -t rsa Generating public/pr
原创 datanode啓動不起來
2019-05-27 18:47:40,234 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2019-05-27 18:47:40,240 I
原创 shell學習
日誌清理 #!/bin/bash # 清除日誌腳本 LOG_DIR=/var/log ROOT_UID=0 # $UID爲0的用戶,即root用戶 # 腳本需要使用root用戶權限來運行,因此,對當前用戶進行判斷,不合要求的用戶給出友
原创 EasySchedulerr大數據調度系統架構分析
EasySchedulerr大數據調度系統架構分析 導語 EasyScheduler是易觀平臺自主研發的大數據分佈式調度系統。主要解決數據研發ETL 錯綜複雜的依賴關係,而不能直觀監控任務健康狀態等問題。EasyScheduler以D
原创 hive內部表,修改分區名字
1,創建一個分區表 CREATE TABLE `stg.stu`( `id` string COMMENT '用戶唯一識別ID', `name` string COMMENT '名字') COM
原创 Superset安裝文檔及遇到的問題解決
Superset安裝部署 1、Python版本要求 Superset支持的python版本爲Python 2.7 and Python 3.4+. Python 3 是推薦的版本, Python 2.6目前是不支持。 2、安裝操作系統
原创 mysql權限
#創建用戶密碼及授權 GRANT ALL PRIVILEGES on db123.* to 'zhangsan'@'%' IDENTIFIED BY '123456'; #收回權限 REVOKE SEL