原创 0031-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(一)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 本文檔主要講述如何在啓用Kerberos的CDH集羣中安裝配置及使用Sentry。 內容概述 1.如何安裝Sentry服務 2.Hive/Impal

原创 0032-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(二)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 5.Sentry列權限管理 1.在集羣所有節點添加fayson_r用戶 [root@ip-172-31-6-148 cdh-shell-bak]# useradd fay

原创 0030-如何在CDH中安裝Kudu&Spark2&Kafka

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.概述 在CDH的默認安裝包中,是不包含Kafka,Kudu和Spark2的,需要單獨下載特定的Parcel包才能安裝相應服務。本文檔主要描述在離線環境下,在CentOS

原创 0028-如何在CDH未啓用認證的情況下安裝及使用Sentry

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 CDH平臺中的安全,認證(Kerberos/LDAP)是第一步,授權(Sentry)是第二步。如果要啓用授權,必須先啓用認證。但在CDH平臺中給出了一種

原创 0029-如何實現CDH元數據庫MySQL的主備

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 MySQL數據庫自身提供的主從複製功能可以方便的實現數據的多處自動備份,實現數據庫的擴展。多個數據備份不僅可以加強數據的安全性,通過實現讀寫分離還能進一

原创 0024-CENTOS6.5安裝CDH5.12.1(一)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.概述 本文檔主要描述離線環境下,CentOS6.5操作系統部署CDH5.12.1企業版的過程。本安裝文檔主要分爲4個步驟: 1.前期準備(包括hostname、關閉防火

原创 0023-HOSTS配置問題導致集羣異常故障分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題現象 Hadoop集羣HDFS、YARN、Hive等服務出現異常告警 重啓集羣異常告警任然存在大量告警 Cluster 1 HDFS 可用空間抑制... Name

原创 0025-CENTOS6.5安裝CDH5.12.1(二)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 5.快速組件服務驗證 5.1HDFS驗證(mkdir+put+cat+get) mkdir操作: [root@ip-172-31-6-148~]# hadoop fs -m

原创 0026-Hive使用十六進制分隔符異常分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 通過sqoop抽取Mysql表數據到hive表,發現hive表所有列顯示爲null Hive表的分隔符爲“\u001B”,sqoop指定的分隔符也是“\u0

原创 0020-使用JDBC向Kudu表插入中文字符-雙引號的祕密

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 使用Impala JDBC向Kudu表中插入中文字符,插入的中文字符串亂碼,中文字符串被截斷。 2.問題復現 測試環境: CDH5.12.0 Kudu1.4

原创 0022-如何永久刪除Kafka的Topic

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 使用kafka-topics --delete命令刪除topic時並沒有真正的刪除,而是把topic標記爲:“marked for deletion”,導致重

原创 0025-CENTOS6.5安裝CDH5.12.1(二)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 5.快速組件服務驗證 5.1HDFS驗證(mkdir+put+cat+get) mkdir操作: [root@ip-172-31-6-148~]# hadoop fs -m

原创 0021-使用JDBC向Kudu表插入中文字符-cast的祕密

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 使用Impala JDBC向Kudu表中插入中文字符,插入的中文字符串亂碼,中文字符串被截斷。 繼之前文檔使用sql拼接方式插入中文字符串亂碼解決方法後,此文

原创 0027-如何在CDH集羣啓用Kerberos

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 本文檔講述如何在CDH集羣啓用及配置Kerberos,您將學習到以下知識: 1.如何安裝及配置KDC服務 2.如何通過CDH啓用Kerberos 3.如

原创 0017-Spark的HistoryServer不能查看到所有歷史作業分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 Spark的HistoryServer能正常查看之前的歷史作業日誌,但新提交的作業在執行完成後未能在HistoryServer頁面查看。 2.問題復現 1.分