原创 hdfs datanode decomission引發的block missing
最近在幫公司下線離線計算集羣的機器，逐臺decomiss，下到第四臺機器時，cdh告警來了，丟失塊大於集羣的1%，算了一下集羣有400多臺，下線一臺不應該告警，以爲下線步驟有問題，點了中止下線，後來看了下其實步驟是沒問題的，由於下線的機器配
2020-02-20 13:07:36
7
原创 hive 基本架構
如下圖所示，從邏輯上來看，Hive包含了3大部分。 Hive Clients Hive Services Hive Storage and Computing 用戶操作Hive的接口主要有三個：CLI，Client 和 WUI。 其中最
2019-10-19 13:04:44
原创 hiveserver2和metastore service的區別和聯繫
ref: https://www.cnblogs.com/Skyar/p/5862261.html https://www.cnblogs.com/liupengpengg/p/7849914.html
2019-10-19 13:04:34
原创 Kerberos實戰
一、概要在Ambari頁面啓用Kerberos嚮導成功後，在Kerberos數據庫中，就存放着許多Principal，在/etc/security/keytabs目錄下也存放着很多keytab。這些principal與keytab是一一對應
2019-10-18 13:04:52
原创 linux安裝python3
1、下載python#wget //www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz 2、解壓、編譯安裝（依次執行以下5條命令）#tar -zxvf Python-3.7.3.tgz cd
2019-08-22 13:00:20
2
原创 如何在Hue中使用Sentry創建角色，授權
參照官方文檔：http://gethue.com/apache-sentry-made-easy-with-the-new-hue-security-app/#howto 在sentry的admin group中加入你的hue管理員賬戶的組
2019-08-21 13:07:07
3
原创 搭建ldap自助修改密碼系統--Self Service Password
服務安裝： 安裝依賴：yum install php70-ldap.x86_64 -y (版本儘量大於5.3，否則會提示更新php程序) yum install httpd -y 安裝Self
2019-08-16 13:00:34
125
原创 搭建ldap雙主模式
一.安裝OpenLDAP yum install openldap openldap-clients openldap-servers 安裝完直接啓動 ``` systemctl start slapd ``` 設置管理員密碼 `
2019-08-09 13:00:50
140
原创 hive表開啓lastAccessTime參數
1.hive-site.xml 的 Hive 服務高級配置代碼段（安全閥）中添加2個參數： hive.security.authorization.sqlstd.confwhitelist=hive.exec.pre.hooks hive.
2019-06-28 13:01:23
原创 cdh版本升級（5.14 -> 6.2）
我們的Cloudera Manager和cdh版本是5.14，現在公司需要升級到cdh6.2需要先升級Cloudera Manager，然後升級cdh。 1.Cloudera Manager升級 (參考https://www.clouder
2019-05-28 12:59:42
6
原创 Hive UDAF開發詳解
說明這篇文章是來自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不嚴格翻譯，因爲翻譯的文章示例寫得比較通俗易懂，此外，我把自己對於Hive的UD
2019-05-22 12:59:56
6
原创 ambari+hdp安裝
Yun2集羣上Ambari+HDP安裝1.安裝環境說明：系統版本：CentOS7安裝版本：Ambari版本:2.2.2.0HDP版本:2.4.2.0集羣機器：Ambari Server :yun2Ambari Agent:yun3 ,yun
2019-05-22 12:59:45
原创 Linux安裝Python2.7
1、下載python#wget https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tgz 2、解壓、編譯安裝（依次執行以下5條命令）#tar -zxvf Python-2.7.9.tg
2019-05-08 12:59:18
原创 cdh啓用sentry的步驟
cdh版本：5.14主要參照官方文檔：https://www.cloudera.com/documentation/enterprise/5-14-x/topics/sentry.html 一.部署sentry服務1.配置：官方建議將hiv
2019-04-16 13:01:05
原创 hive+impala+hue+sentry+ldap整合
公司用的cdh版本爲5.14，sentry集成的步驟很簡單，通過cdh的界面就可以完成了 主要寫一些openldap的搭建和phpldap的使用，還有ldap和（hive，impala，hue）的整合。ldap的具體概念可以參
2019-04-13 12:58:26
26