原创 開啓yarn node labels

背景: 最近新擴容一批nodemanager服務器,由於沒有申請額外的磁盤,只有默認的40GB空間,當執行較大的mapreduce任務時app_cache/file_cache容易將磁盤寫滿,因此需要讓ResourceManager 將

原创 使用python連接phoenix的幾種方式

使用python連接phoenix的幾種方式 使用python連接phoenix的幾種方式 phoenixdb jaydebeapi 主要有以下幾個python package可以用來連接phoenix,其餘的待補充:

原创 spring boot 連接Phoenix 報錯SYSTEM:CATALOG is found but client

錯誤詳情: 18:19:14.527 [taskScheduler-1] ERROR o.s.s.s.TaskUtils$LoggingErrorHandler - Unexpected error occurred in schedul

原创 利用openresty動態設置host

利用openresty動態設置host 因項目需要,nginx proxy需要動態設置http_host參數,原生nginx並不支持,經調研發現openresty可以實現: 1. 安裝openresty 2. 啓動nginx 3.修改n

原创 Kafka Eagle 安裝與使用

1. 官方文檔 https://ke.smartloli.org/ 2. 安裝 2.1 壓縮包安裝 2.1.1 下載壓縮包 http://download.smartloli.org/ 2.1.2 解壓縮 tar -zxvf kaf

原创 測試 impala with TPC-H

因項目需要,需要測試impala查詢性能,經過一番搜索最準選定基於TPC-H工具來測試。 目錄 硬軟件環境 TPC-H測試工具準備 準備測試數據生成器tpch-dbgen 下載 tpc-h-impala測試腳本

原创 logstash 指定kafka 從最開始消費

input {    kafka {        bootstrap_servers => "localhost:9092"        group_id => "consumer-group-01" 

原创 HBase 相關資源彙總

官方網站:       http://hbase.apache.org/  個人博客:http://hbasefly.com/  網易杭研院 範欣欣https://blog.bcmeng.com/ 編程小夢 康凱森http://blog.