原创 Pyhon源碼編譯安裝
下載版本 python下載源碼python2.7.11安裝(記得要下載python 2.7版本的)，下載地址: http://www.python.org/download/ 安裝步驟爲（python 2.7的安裝對是否能成功安裝
2020-02-20 18:32:47
原创 Ambari Metrics基於源碼編譯使用
編譯(2.4.2) 參考：https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.4.2 wget http://www
2020-02-20 18:32:47
原创 [TODO]Kafka及Kafka Streaming架構熟悉
基本概念 名稱 解釋 Broker 消息中間件處理節點，一個Kafka節點就是一個broker，一個或者多個Broker可以組成一個Kafka集羣 Topic Kafka根據topic對消息進行歸類，發佈到Kafk
2020-02-20 18:32:47
原创 關於Spark關注的一些問題
Issues spark.storage.replication.proactive 針對RDD，開啓block proactive(主動)複製機制： 當Cached RDD在executor處理上失敗時，如果有可用複製集則可以
2020-02-20 18:32:47
原创 Apache Beam編譯&運行Demo
ApacheBeam源碼變異 # 調整下build.gradle // mavenCentral() maven { url 'http://maven.aliyun.com/nexus/content/groups/public/'
2019-04-10 14:15:22
原创 Spark支持kerberos環境下的Kafka、Hbase傳輸
一、準備環境： 創建Kafka Topic和HBase表 1. 在kerberos環境下創建Kafka Topic 1.1 因爲kafka默認使用的協議爲PLAINTEXT，在kerberos環境下需要變更其通信協議： 在${KAFKA_
2018-09-03 09:58:19
原创 Spark Streaming 基於Yarn集羣提交任務疑惑
參考項目： https://github.com/LiShuMing/spark-demos 疑惑一、Spark提交任務依賴包問題？ 使用Spark打jar包是個比較頭疼的問題： * 不能包冗餘的依賴（比如hadoop/hbase）
2018-09-03 09:58:19
原创 基於Ambari 滾動、快速升級實現調研(內源版本)
背景 當前現狀 當前的Ambari自身仍然不支持版本的升級，所以下一個版本NDP-3.3.0該如何升級存在着疑問： 比如說當前的NDP-3.2.0，如果猛獁上線新的的mammut 4.16對應的的NDP-3.3.0版本，該怎麼操作？ 或
2018-09-03 09:58:19
29
原创 HBase Master啓動認證kerberos失敗&問題解決
1. 問題復原 在kerberos環境下啓動HBase時，包如下錯誤： 2018-03-29 11:59:12,828 INFO [main-SendThread(hadoop2497.jd.163.org:2181)] zookeep
2018-09-03 09:58:18
原创 基於角色權限管理系統數據庫表設計結構(常用電商客戶管理後臺)
表結構 用戶表 各種角色用戶基本信息表：客戶、店主、管理員均使用本表； +---------------------+-------------+------+-----+---------------------+-------
2018-09-03 09:58:18
原创 Ambari日常運維操作命令收集
Ambari REST API查詢相關 獲取集羣配置信息：http://hzadg-mammut-platform1.server.163.org:8080/api/v1/clusters/cluster1?fields=Cluster
2018-09-03 09:58:18
7
原创 在Hive表中支持HBase操作
非Kerberos環境 環境部署 將HBase Master/lib下的一下jar包複製到到hiveserver/lib下： root@hzadg-mammut-platform7:/usr/ndp/current/hive_serv
2018-09-03 09:58:18
原创 NameNode JVM配置詳解
NameNode JVM配置詳解 線上NameNode JVM如下 /home/hadoop/java-current/bin/java -Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs -Dhadoop.lo
2018-09-03 09:58:18
3
原创 Spark2.3.0之pyspark實現原理分析
背景 PySpark Performance Enhancements: [SPARK-22216][SPARK-21187] Significant improvements in python performance and int
2018-09-03 09:58:18
原创 Ambari之metainfo.xml詳解
metainfo.xml定義了Ambari管理Service的一些配置內容，該文件對應Service定義起着至關重要的作用。 結構 一級結構 Field Usage Sample Values name service的名
2018-09-03 09:58:18