原创 CDP Private Cloud Base 7.1.4正式GA

2020年10月27日  1.平臺支持 如果使用Oracle 12作爲元數據庫,支持從HDP2.x到DC-Ambari的原地升級; 支持使用Oracle 19作爲元數據庫,包括全新安裝和升級; 支持SLES 12 SP5操

原创 CDP Private Cloud Base 7.1.5正式GA

2020年12月11日  1.對一部分平臺組件的FIPS 140-2合規性支持,通過使用FIPS 140-2驗證的加密模塊,並在啓用了FIPS模式的Redhat和CentOS操作系統上進行部署,現在可以配置CDP Priva

原创 基於Apache Spark 3.1.1的CDS 3.1正式GA

2021年3月25日  基於Apache Spark 3.1.1的CDS 3.1在CDP Private Cloud Base 7.1.6上正式發佈,這是CDS 3的小版本更新發布,主要改進包括: Parcel包含spar

原创 聊聊自主可控和開源

最近和客戶交流的時候,聽到一些的關於開源可控與開源軟件使用的聲音。正直華爲被制裁,多箇中國企業上榜美國商務部進出口管制實體名單,又有一些自媒體在帶節奏,描繪開源軟件同樣受到實體名單限制的影響,似乎一時間,加強自主可控的聲音、

原创 0024-CENTOS6.5安裝CDH5.12.1(一)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.概述 本文檔主要描述離線環境下,CentOS6.5操作系統部署CDH5.12.1企業版的過程。本安裝文檔主要分爲4個步驟: 1.前期準備(包括hostname、關閉防火

原创 0025-CENTOS6.5安裝CDH5.12.1(二)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 5.快速組件服務驗證 5.1HDFS驗證(mkdir+put+cat+get) mkdir操作: [[email protected]~]# hadoop fs -m

原创 0022-如何永久刪除Kafka的Topic

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 使用kafka-topics --delete命令刪除topic時並沒有真正的刪除,而是把topic標記爲:“marked for deletion”,導致重

原创 0025-CENTOS6.5安裝CDH5.12.1(二)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 5.快速組件服務驗證 5.1HDFS驗證(mkdir+put+cat+get) mkdir操作: [[email protected]~]# hadoop fs -m

原创 0023-HOSTS配置問題導致集羣異常故障分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題現象 Hadoop集羣HDFS、YARN、Hive等服務出現異常告警 重啓集羣異常告警任然存在大量告警 Cluster 1 HDFS 可用空間抑制... Name

原创 0026-Hive使用十六進制分隔符異常分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.問題描述 通過sqoop抽取Mysql表數據到hive表,發現hive表所有列顯示爲null Hive表的分隔符爲“\u001B”,sqoop指定的分隔符也是“\u0

原创 0031-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(一)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 1.文檔編寫目的 本文檔主要講述如何在啓用Kerberos的CDH集羣中安裝配置及使用Sentry。 內容概述 1.如何安裝Sentry服務 2.Hive/Impal

原创 0002-CENTOS7.2安裝CDH5.10和Kudu1.2

Fayson的github: https://github.com/fayson/cdhproject 推薦關注微信公衆號:“Hadoop實操”,ID:gh_c4c535955d0f,或者掃描文末二維碼。 1.概述 本文檔描述CENTO

原创 0022-如何永久刪除Kafka的Topic

1.問題描述 使用kafka-topics --delete命令刪除topic時並沒有真正的刪除,而是把topic標記爲:“marked for deletion”,導致重新創建相同名稱的Topic時報錯“already exists”。

原创 0032-如何在CDH啓用Kerberos的情況下安裝及使用Sentry(二)

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。 5.Sentry列權限管理 1.在集羣所有節點添加fayson_r用戶 [[email protected] cdh-shell-bak]# useradd fay

原创 0024-CENTOS6.5安裝CDH5.12.1(一)

1.概述 本文檔主要描述離線環境下,CentOS6.5操作系統部署CDH5.12.1企業版的過程。本安裝文檔主要分爲4個步驟: 1.前期準備(包括hostname、關閉防火牆、關閉SELinux、時鐘同步等) 2.安裝Cloudera Ma