原创 HBase運維｜一次HBase目錄空間佔用異常的解決之旅
一次HBase目錄空間佔用異常的解決之旅 1. 前言 在詳細描述我們此次遇到的HBase的異常之前，先來簡單介紹一下我們集羣的概況。當前我們使用的HBase的版本是cdh6.3.2-hbase2.1
2021-12-25 21:30:36
1
原创 HBase 運維 | 記錄一次生產上暴力解決HBase RIT問題
1.現象: 昨晚集羣夯住，內存不夠，導致HBase RegionServer掛了！緊跟着CDH HBase Master(active)節點是紅色的，顯示信息:HBase Regions In Transition Over Thre
2021-12-25 21:30:36
1
原创 HBase Bulkload 失敗問題處理以及改進
某天某應用找到我，說線上 bulkload 導入數據到 HBase 失敗 check 了一下 MR 日誌，報錯如下 org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.gro
2021-12-25 21:30:36
9
原创 Phoenix系列｜構建Phoenix二級索引
目錄導讀 目錄導讀 1. 前言 2. 二級索引的分類 3. 配置 HBase 支持 Phoenix 二級索引 4. 實戰 4.1 全局索引測試 4.2 本地索引測試 4.3 異步構建索引 4.4 繼續本地索引的測
2021-12-25 21:30:36
1
原创 HBase運維｜記一次BulkLoad導致的RIT異常
目錄結構 1. 前言 2. BulkLoad 導致數據無限膨脹 3. 刪表超時導致 RIT 4. 重新規劃 Import 的流程 5. 總結 1. 前言 Hadoop 集羣的 DataNode 節點嚴重不均衡，某些節點的磁盤空
2021-12-25 21:30:36
1
原创 HBase運維｜HBase2.x修復工具HBCK2介紹
1. 背景 在瞭解HBCK2之前，建議先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不適用，且它的寫功能（-fix）已刪除，它雖然還可以報告HBase2.x集羣的狀態，但是由於它不
2021-12-25 21:30:35
原创 Phoenix系列｜創建Phoenix映射表
目前，在公司小部分的業務場景中有用到 Phoenix，但也僅限基於 Phoenix 的二級索引機制來進行查詢上的優化。雖然使用的頻次不大，但偶爾用到時，有些語句的使用方式和注意事項總記不太熟，每次都需要一頓谷歌和百度，然後從五花八門的
2021-12-25 21:30:35
原创 HBase 運維｜HBase Region 重疊問題處理
最近某應用反饋 HBase 數據插入數據後、查詢出現錯誤數據 現象如下： 有一行數據： 前面時間 T1 ：插入3列 後面時間 T2 ：插入1 列（通過 put 新值來更新某列數據） scan 操作只能看到 時間點T1的 3 列數據， g
2021-12-25 21:30:35
原创 HBase V2.3.0： Apache HBase官方下載頁可以點擊下載了~
本文分享自微信公衆號 - HBase工作筆記（HBase-Notes）。如有侵權，請聯繫 [email protected] 刪除。本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。
2021-12-25 21:30:35
原创 阿里 Canal 與 Hbase 版本對應關係
Canal簡介： Canal是純Java開發的，基於數據庫增量日誌解析，提供增量數據訂閱&消費，目前主要支持了mysql。 原理相對比較簡單： canal模擬mysql slave的交互協議，僞裝自己爲mysql slave，向my
2021-01-30 10:16:29
1
原创 Hive篇：Hive分區表常用語法彙總
前言： 如果對分區表瞭如指掌，那麼非分區表的語法就簡單多了，只需將 PARTITION 相關字段去掉就可以了。 1. 創建hive分區表 //不指定LOCATION CREATE EXTERNAL TABLE IF NOT
2021-01-30 10:16:29
原创 開源工具 | HBase表管理系統——HBaseManager2.0.2
1. 前言 在之前的文章中已經爲大家簡單介紹過HBaseManager，它提供界面化的方式來幫助我們有效地管理我們集羣的HBase表信息。在HBase的維護工作中，絕大多數需要在HBase Shell下執行的命令，都可
2021-01-30 10:16:29
原创 HBase篇：CDH使用Solr實現HBase二級索引
前言： 詳細步驟請參看“閱讀原文”，下面通過圖文幫大家理解一下。 1.簡單說明 使用Solr構建Hbase二級索引的原理很簡單，不過是以空間換取時間，對指定列在Solr中構建索引，最終還是通過rowkey訪問Hbas
2021-01-30 10:16:29
1
原创 HBase 中文參考指南真不少~
用最少的文字說最有用的話： http://hbase.org.cn/ https://www.docs4dev.com/docs/zh/apache-hbase/2.1/reference https://www.bo
2021-01-30 10:16:28
原创 Hbase篇：Phoenix Hello World
昨天已經寫了如何安裝Phoenix，下面我們基於shell命令行和Java代碼兩種方式展示一個Phoenix入門HelloWorld的實現，這個helloworld示例主要實現了： 創建一個表 向表中插入兩條數據 查詢表中的數據
2021-01-30 10:16:28