原创 0024-CENTOS6.5安裝CDH5.12.1(一)

1.概述 本文檔主要描述離線環境下,CentOS6.5操作系統部署CDH5.12.1企業版的過程。本安裝文檔主要分爲4個步驟: 1.前期準備(包括hostname、關閉防火牆、關閉SELinux、時鐘同步等) 2.安裝Cloudera Ma

原创 0025-CENTOS6.5安裝CDH5.12.1(二)

5.快速組件服務驗證 5.1HDFS驗證(mkdir+put+cat+get) mkdir操作: [root@ip-172-31-6-148~]# hadoop fs -mkdir -p /fayson/test [root@ip-172-

原创 0110-如何給Kerberos環境下的CDH集羣添加Gateway節點

Fayson的github: https://github.com/fayson/cdhproject 1.文檔編寫目的 Gateway節點又稱爲客戶端節點,通常用作訪問Hadoop集羣的接口機。它主要會部署一些客戶端的配置,腳本命令,

原创 0026-Hive使用十六進制分隔符異常分析

1.問題描述 通過sqoop抽取Mysql表數據到hive表,發現hive表所有列顯示爲null Hive表的分隔符爲“\u001B”,sqoop指定的分隔符也是“\u001B” 通過命令show create table test_hi

原创 0031-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(一)

1.文檔編寫目的 本文檔主要講述如何在啓用Kerberos的CDH集羣中安裝配置及使用Sentry。 內容概述 1.如何安裝Sentry服務 2.Hive/Impala/Hue/HDFS服務如何與Sentry集成 3.Sentry測試

原创 0023-HOSTS配置問題導致集羣異常故障分析

1.問題現象 Hadoop集羣HDFS、YARN、Hive等服務出現異常告警 重啓集羣異常告警任然存在大量告警 Cluster 1 HDFS 可用空間抑制... NameNode 運行狀況抑制... HDFS 金絲雀抑制... Dat

原创 0470-如何在Redhat7.4安裝CDH5.16.1

Fayson的github: https://github.com/fayson/cdhproject 推薦關注微信公衆號:“Hadoop實操”,ID:gh_c4c535955d0f,或者掃描文末二維碼。 1.文章編寫目的 Cloude

原创 0040-如何重置Cloudera Manager的admin密碼

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 如果你忘記Cloudera Manager的admin用戶密碼,需要重置。那麼本文剛好能幫到你。 2.解決辦法 1.查看Cloudera Manager服

原创 0039-如何使用Python Impyla客戶端連接Hive和Impala

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 繼上一章講述如何在CDH集羣安裝Anaconda&搭建Python私有源後,本章節主要講述如何使用Pyton Impyla客戶端連接CDH集羣的Hive

原创 0037-如何在Windows Server2008搭建DNS服務並配置泛域名解析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 有了DNS服務,對於一個CDH集羣的所有節點的hostname和ip,您就再也不需要手動維護各個節點的hosts文件。另外DNS服務對於在CDH上安裝或

原创 0034-CM啓動報InnoDB engine not found分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 cloudera-scm-server服務啓動失敗,日誌報錯如下: 2017-09-10 10:23:47,267 ERROR main:com.cloude

原创 0033-如何在Hue中使用Sentry

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 本文檔講述如何通過Hue管理Sentry權限,您將學習到以下知識: 1.如何使用Hue創建用戶 2.如何使用Hue爲hive用戶組授權超級權限 3.如何

原创 0035-如何使用Sentry管理Hive外部表(補充)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 本文文檔主要講述如何使用Sentry管理Hive/Impala外部表權限。 內容概述 1.創建測試庫及外部表 2.創建角色並授權 3.授權測試 4.

原创 0038-如何在CDH集羣安裝Anaconda&搭建Python私有源

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 Anaconda是一個用於科學計算的Python發行版,支持 Linux, Mac, Windows系統,提供了包管理與環境管理的功能,可以很方便地解決

原创 0036-如何通過CM API優雅的獲取元數據庫密碼

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 人啊,上了年紀了,總容易忘記一些事情,比如你一不小心就忘記了CDH集羣Hive,Hue和Sentry服務的元數據庫密碼,對於數據庫(MySQL/Oracle