原创 python字符串前面u、r、b含義以及str、bytes互轉
u/U:表示unicode字符串 不但是針對中文，也針對任何的字符串，代表是對字符串進行unicode編碼。 一般英文字符在使用各種編碼下, 基本都可以正常解析, 所以一般不帶u；但是中文, 必須表明所需編碼, 否則一旦編
2018-12-07 19:58:33
原创 linux下python2與python3並存
ambari底層的協議是走python2的，但是storm和spark運行python腳本的時候，需要python3的方法，所有這時候就需要python2與python3並存。 1、查看Python2的版本 ambari默認安裝了pyth
2018-12-01 00:03:42
原创 linux下pip和pip3安裝
1、pip #執行wget命令提示 -bash: wget: command not found yum -y install wget #安裝pip wget https://bootstrap.pypa.io/get-pip.py
2018-12-01 00:03:42
原创 kafka0.10.1 內置性能測試（生產者和消費者吞吐量測試）
1、使用kafka-run-class腳本測試 生產者測試： kafka-run-class.sh:是kafka提供的測試Producer性能腳本，通過腳本，可以計算出Producer在一段時間內的平均延時和吞吐量。 ./kafka-r
2018-11-21 04:48:24
原创 ambari心跳丟失Heartbeat Lost或者無法確認主機confirm hosts
第一種情況，心跳丟失： 原因1：server或者agent更換ip或域名，導致服務無法檢測 修改ip或域名： vim /etc/ambari-agent/conf/ambari-agent.ini 重啓服務： ambari-agent
2018-11-14 05:02:59
28
原创 批量清理ambari hadoop集羣
1、關閉ambari-server，ambari-agent ambari-server stop ambari-agent stop 2、運行清理腳本 chmod +x ambari.sh ./ambari.sh 運行後顯示：Pleas
2018-11-14 05:02:59
1
原创 Ambari SmartSense原理
Hortonworks SmartSense工具（HST）用於收集羣集診斷數據，用於協助支持案例故障排除和SmartSense分析。HST使用中央服務器守護程序和分佈式的被動HST代理集。HST代理進程不是長期服務，僅在需
2018-11-14 05:02:59
原创 Ambari Metrics 原理
Ambari Metrics System 簡稱爲 AMS，它主要爲系統管理員提供了集羣性能的監察功能。Metrics 一般分爲 Cluster、Host 以及 Service 三個層級。Cluster 和 Host 級
2018-11-14 05:02:59
5
原创 Ambari服務郵箱告警
1、登錄ambari管理頁面，找到Manage Notifications選項 2、創建告警 3、配置告警 4、163郵箱授權碼設置 5、修改郵件標題 （若沒特殊需求，可忽略） 下載 alert-templates.xml ht
2018-11-07 04:54:36
原创 python訪問hbase數據
使用Python調用happybase庫。thrift 是facebook開發並開源的一個二進制通訊中間件，通過thrift，我們可以用Python來操作Hbase 1、概述 Thrift最初由Facebook開發的，後來提交給了Apac
2018-09-13 05:12:14
原创 Zookeeper的CancelledKeyException異常問題
項目中用到storm+kafka+zookeeper，在實際應用中zk和kafka常出問題，這裏記錄下在使用zk過程中的問題。 注：zk版本是3.4.8，kafka是0.8.2.0。zk、storm和kafka都是運行在同一個集羣的三臺機
2018-09-13 05:12:14
原创 win10下安裝thrift插件
linux下thrift安裝和rhbase安裝： https://blog.csdn.net/qq_21153619/article/details/82250725 1、概述 Thrift最初由Facebook開發的，後來提交給了Ap
2018-09-13 05:12:14
原创 linux下R snappy插件安裝
1、下載 下載R的snappy安裝包 https://github.com/lulyon/R-snappy 2、上次到虛擬機並解壓 mkdir /usr/local/snappy/ unzip R-snappy-master.zip 3、
2018-09-07 12:40:27
2
原创 storm裏snappy數據壓縮應用
1、snappy介紹 因爲一些特殊需求，需要將數據進行壓縮，壓縮庫有很多比如zlib、LZO、LZF、FastLZ，這裏採用的是snappy Snappy 在 Google 內部被廣泛的使用，從 BigTable 到 MapReduce
2018-09-07 12:40:27
3
原创 CenOS7下安裝Thrift和rhbase--源碼編譯和yum安裝
一、源碼編譯 一、先搭建hbase集羣和R環境安裝 hbase集羣搭建步驟詳見： https://mp.csdn.net/postedit/81698599 R環境安裝 https://blog.csdn.net/qq_21153619/
2018-09-05 15:14:11