原创 Opentsdb插入數據導致RegionServer寫入請求分佈不均勻(二):Opentsdb 預切分Hbase中 tsdb表

Opentsdb當中,存儲數據表的表名字叫做tsdb表,tsdb表的行健結構是 指標UID(指標+標籤的某個組合)+ 數據生成時間(取整小時)+標籤1-Key的UID+標籤1-Vlaue的UID+…+標籤N-Key的UID+標籤N-Vl

原创 spark 2 查看歷史job任務日誌

1。編輯spark-env.sh export HADOOP_HOME=/usr/hdp/current/hadoop-client export HADOOP_CONF_DIR=/usr/hdp/current/hadoop-clie

原创 hive :Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

當我們輸入shell命令,想要進入hive的時候,或者當你成功進入hive的時候,輸入show databases;的時候呢,會出現這種問題。 這種問題一般是讓我們啓動metastore。 ./hive –service metastor

原创 集羣間動態擴展和刪除hdfs的datanode和hbase的regionserver

如果你既要增加節點,又要刪除節點呢,我推薦的順序是:新增datanode,新增regionserver,停掉regionserver ,停掉datanode。 如果你單獨的增加或者移出呢,順序就是上面拆開的就行啦。 如果你新增機器呢,新增

原创 Opentsdb 2.3 Writing data(一)

寫數據 你也許迫不及待的想將數據放入到TSDB當中,但是爲了能夠充分發揮OpenTSDB的性能和靈活性,你可能需要暫時停一下並且認真的思考一下你得命名規則。當你已經深思熟慮的思考過你得命名規則之後,你可以通過Telnet或者HTTP AP

原创 HA模式下,擴展HDFS集羣遇到的問題,namenode 啓動不起來!emmmmmmmm~

因爲需要吧,需要擴幾臺Hbase的從節點,也需要擴展幾臺datanode節點。然後我把安裝包scp到我的新節點上,然後在slaves和regionservers裏面加上我新的機器,dfs.data.dir什麼的都新建好了,然後我從新啓動集

原创 KafkaOffsetMonitor

想監控kafka的offset,主要是想了解生產者和消費者速度是否匹配,就去百度了一下常用的kafka offset監控工具,然後就找到了KafkaOffsetMonitor。 java -cp KafkaOffsetMonitor-as

原创 hive: metastore 無法啓動(本地模式 Mysql)

1。首先將mysql的bind-address = 0.0.0.0這個配置改成0.0.0.0 我的mysql配置文件在/etc/mysql/my.cnf這個裏面。大家可以根據自己的情況。 2。com.mysql.cj

原创 OPENTSDB: Request failed: Internal Server Error net.opentsdb.core.IllegalDataException

今天Opentsdb補傳歷史數據的時候,出現瞭如下的錯誤: Request failed: Internal Server Error net.opentsdb.core.IllegalDataException:Duplicate ti

原创 使用tcollector及使用過程中遇到的錯誤

0.1. tcollector 首先先介紹下什麼是tcollector,我們都知道,opentsdb是採集時間序列點位的,對用於作爲監控來使用。但是,我們採集點位需要從寫腳本,並且採集了點位之後,我們需要整理,然後發送給Opentsdb,

原创 Opentsdb 2.3 Writing data(二)

我們接着上一篇文章的繼續=-= 上一篇大致介紹了下Opentsdb的一些設計理念以及Opentsdb的一些好處呀,基本概念啥子的,接下來繼續深入介紹一下Opentsdb。 開始! 數據結構 每條時間序列都應該包含以下幾個屬性: ·點