原创 cdh hive 中文註釋亂碼解決方法(簡單幾步)
一、問題描述 環境 cdh5.12.1 + hive 1.1.0。 hive 元數據庫用的是mysql 創建hive表後，用desc查看錶信息，中文註釋出現亂碼，如下 二、解決方法 1、進入mysql執行：show create dat
2020-06-25 14:12:33
2
原创 Hadoop運維彙總
開始兼運維。對網上查詢到的運維問題進行簡單彙總....................................................... 一：namenode出現missing blocks 日常巡檢CDH集羣和HDP
2020-06-17 16:26:51
57
原创 hive詳細表結構操作（增加列，刪除列，修改列，移動列）
hive詳細表結構操作（增加列，刪除列，修改列，移動列） hive修改表名 ALTER TABLE table_name RENAME TO new_table_name; hive表在最後增加一個字段（在分區字段之前） alter
2020-06-17 16:26:51
2
原创 卸載Cloudera Manager
CDH6 如果因爲其他原因，需要卸載Cloudera Manager，在各節點執行如下步驟即可。 systemctl stop cloudera-scm-server systemctl stop cloudera-scm-agen
2020-06-17 16:26:51
原创 在Rancher上部署AirFlow
一、把AirFlow鏡像上傳到Harbor 1.在本地虛擬機把做好的容器導入成鏡像 docker load -i airflow.tar 2.登錄私有倉庫（其實就是登錄Harbor） docker login 10.1.119.
2020-06-16 01:51:04
10
原创 AirFlow容器部署和使用
一、如何製作AirFlow容器 1、安裝docker環境 基於centos環境下進行部署，建議在centos6或者centos7的環境下 1.1、下載docker安裝包 下載地址：https://download.docker.com
2020-06-16 01:51:04
6
原创 not authorized on admin to execute command(權限驗證)
角色授權分兩種，一種是直接在當前庫中創建用戶並授予相關權限。如admin庫中創建admin用戶。另一種情況是 將在admin中創建的用戶授予操作其他庫的權限，相關授權命令如下： 授予角色： db.grantRolesToUser("us
2020-06-06 12:32:46
原创 hive的分隔符問題
在使用hive的時候，分隔符是必不可少的，當學習的時候使用的都是常規分隔符，比如：逗號“,”、豎線“|”等，這些鍵盤上都可以直接輸入的字符，但是這些字符只要是鍵盤上的，在針對複雜的業務邏輯的時候，都會失效。 比如你有一個備註字段，這個字段
2020-06-06 12:32:46
原创 (完全離線)在docker容器下安裝airflow
本人的環境是基於centos7下來安裝的 一、安裝docker 下載docker安裝包，下載地址：https://download.docker.com/linux/static/stable/x86_64/ 下載到本地後解壓 ta
2020-06-06 12:32:46
3
原创 MongoDB 查看所有用戶賬號信息
在 MongoDB 中創建了很多帳號，怎麼查看所有帳號信息？ 1. 查看全局所有賬戶 2. 查看當前庫下的賬戶 查看全局所有賬戶 : > use admin switched to db admin > db.auth('admi
2020-06-06 12:32:46
原创 docker倉庫資源的地址修改
1、新增或者修改/etc/docker目錄下的daemon.json文件 樣例文件如下 { "registry-mirrors": ["https://kuamavit.mirror.aliyuncs.com", "https://
2020-06-06 12:32:46
原创 CDH集羣的Cloudera Manager 節點 ，遷移Cloudera Scm Server端
場景：原有的 Cloudera Manager 節點 服務器不穩定，需要遷移至新的服務器 原有: http://192.168.1.212:7180 遷移後: http://192.168.1.44:7180 停止原有的server端與所
2020-06-06 12:32:46
1
原创 cdh6 存在隱患 : 主機網絡接口似乎以全速運行
cloudera後臺，顯示，存在隱患 : 以下網絡接口似乎未以全速運行：enp4s0。1 主機網絡接口似乎以全速運行。 cloudera cdh6的測試機，都是公司淘汰下來的員工使用過的臺式機，很差。硬件達不到要求。纔會有上面的問題。然後
2020-06-06 12:32:46