原创 Iptables常用操作及CDH 啓用防火牆
一、Iptables常用操作1.查看當前所有的iptables配置iptables -L -n 2.添加允許INPUT訪問規則,以下時常見服務的端口設置，如果需要拒絕訪問，則將ACCEPT改爲DROP即可iptables -A INPU
2018-08-26 23:48:42
1
原创 大數據平臺運維------CDH平臺啓用HBASE權限控制
1. 啓用HBase安全服務1.1. 主頁-->HBase-->配置-->搜索hbase.superuser添加root，hbase，admin用戶1.2. 主頁-->HBase-->配置-->Master-->HBase Copr
2018-08-26 23:48:42
原创 大數據平臺運維------CM與CDH的升級
1. 升級說明CM與CDH的升級過程有點類似與安裝過程，這裏我們也是採用離線安裝模式，各軟件版本信息爲：操作系統：CentOS6.8CDH版本：5.7.1：CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sh
2018-08-26 23:48:42
6
原创 kerberos高可用---主從部署
1. 選擇slave的master(node2)和slave(node3)上添加對方爲可信用戶在已有kerbero環境中，再選擇一臺主機作爲slave安裝kerbero服務端yum -y install krb5-server krb5
2018-08-26 23:48:40
1
原创 大數據平臺運維------HDFS balancer的使用
1. 背景Hadoop的HDFS集羣非常容易出現機器與機器之間磁盤利用率不平衡的情況，比如集羣中添加新的數據節點。當HDFS出現不平衡狀況的時候，將引發很多問題，比如MR程序無法很好地利用本地計算的優勢，機器之間無法達到更好的網絡帶寬使
2018-08-26 23:48:40
1
原创 大數據平臺搭建------CDH單機部署
從 17年十一月入職起，到中間經歷了畢業、春節、轉正。在工作崗位上學到了很多很多的東西，非常有幸遇到這麼一羣人生導師，早就想把工作中趟過的坑，總結的文檔，開個博客記錄起來，一來可以給其他人蔘考，二來也是自己的一個複習吧。可是
2018-08-26 23:48:40
原创 在CM中修改HDFS的nameservice
在大數據平臺中，hdfs的nameservice關係到很多方面，如果有配置錯誤的話，往往排查起來會非常非常的蛋疼，這時候就需要修改nameservice了，在CM中修改nameservice又不同於直接在配置文件裏修改，需
2018-08-26 23:48:40
2
原创 大數據平臺搭建------CM 和CDH安裝
一、安裝說明 CM是由cloudera公司提供的大數據組件自動部署和監控管理工具，相應的和CDH是cloudera公司在開源的hadoop社區版的基礎上做了商業化的封裝的大數據平臺。 採用離線安裝模式，雖然在線安裝比
2018-08-26 23:48:38
2