原创 elasticsearch生產集羣部署-集羣規劃建議（轉載）
一般來說，如果我們剛開始用es，都是先在自己的筆記本電腦上，或者是幾個虛擬機組成的小集羣上，安裝一個es，然後開始學習和試用其中的功能。但是如果我們要將es部署到生產環境中，那麼是由很多額外的事情要做的。需要考慮我們部署的機器的內存、CP
2020-03-02 02:21:41
原创 hbase table region 按條件自動批量合併
環境信息： HBase 1.2.2，Hadoop 2.7.2 使用需求： 爲什麼需要合併Region呢？這個需要從Region的Split來說。當一個Region被不斷的寫數據，達到Region的Split的閥值時（由屬性hbase.hr
2019-04-24 11:05:01
23
原创 ElasticSearch6.X query dsl 樣例
範圍過濾： GET index_name/type_name/_search { "query": { "bool": { "filter": { "geo_bounding_box": {
2019-02-01 14:20:03
原创 linux端口被佔用，netstat查看無進程號，端口狀態一直停留在FIN_WAIT1以及CLOSE_WAIT狀態
環境信息： CentOS 6.5 現象： 同事啓動程序發現端口被佔用，netstat查看之後發現如下現象： 發現端口處於FIN_WAIT1狀態以及CLOSE_WAIT狀態，無法釋放 問題分析： FIN_WAIT1以及CLOSE_WAIT
2019-01-25 18:16:15
1
原创 sqoop詳細例子-按天定時把postgresql數據庫中的數據導出到hdfs
環境信息： sqoop 1.4.6 使用需求： 每天凌晨00:30按天把postgresql數據庫中的數據導出到hdfs，並按年月日分級分目錄存儲 詳細描述： 首先先寫好sqoop腳本，在配置定時任務 sqoop腳本： #!/bin/b
2018-12-10 17:47:04
原创 hbase1.2 coprocessor使用介紹和問題總結（部署、卸載以及更新）
環境信息： HBase 1.2.2，Hadoop 2.7.2 使用需求： 由於需要使用es創建hbase的二級索引，所以打算使用coprocessor中的RegionObserver來實現此功能，本文主要也是講解RegionObserve
2018-12-10 17:47:04
原创 Elasticsearch6.X快捷安裝head插件--瀏覽器安裝
環境信息： Elasticsearch6.5，chrome瀏覽器 需求： 安裝head插件 實現： 由於elasticsearch 6.0之後的版本head插件不再作爲插件形式提供，需要單獨安裝，有兩種方式： 1、通過是chrome瀏覽器
2018-11-21 03:04:16
原创 HBase讀延遲的12種優化套路
任何系統都會有各種各樣的問題，有些是系統本身設計問題，有些卻是使用姿勢問題。HBase也一樣，在真實生產線上大家或多或少都會遇到很多問題，有些是HBase還需要完善的，有些是我們確實對它瞭解太少。總結起來，大家遇到的主要問題無非是Full
2018-10-27 03:08:13
原创 HBase增加/修改/刪除表的壓縮方式
環境信息： HBase 1.2.2 需求： 一個已經存在的表，修改其壓縮方式，並對之前的舊數據生效 實現： 1、進入shell界面--hbase shell 2、停用表--disable 'geomesa_hbase（表名）' 3、修改壓
2018-09-21 08:12:49
原创 硬盤無法識別導致HDFS無法正常使用
環境信息： Hadoop版本：2.7.2 現象： HDFS升級配置重啓後空間大量減少 HDFS狀態爲INCONSISTENT,無法正常使用，DataNode進程隨即消失 問題分析： 可能原因： 1、由於HADOOP集羣進行過擴展，導致集羣
2018-09-06 06:20:07
原创 程序員必讀之經典
程序員保護眼睛方法 (2008-04-12 08:41:29)標籤：保護眼睛 分類：轉載天地 告訴大家一種保護眼睛的好方法： 桌面->右鍵->屬性->外觀->高級－>項目選擇（窗口）、顏色1（L）選擇（其它）將色調改爲：85。
2018-09-06 06:20:07
2
原创 vmware workstation 12 實現虛擬機克隆，並修改相關配置
原文鏈接：https://blog.csdn.net/AaronLau_love/article/details/72864963 左側欄，我的計算機，選擇需要克隆的虛擬機，右鍵，管理->克隆 點擊下一步，選擇虛擬機中的當前狀態（如
2018-09-06 06:20:07
原创 HBase節點掉線問題排查
環境信息： Hadoop2.7.2+HBase1.2.2+Zookeeper3.4.10 11臺服務器，1主10從，基本配置：128G內存，2個CPU12核48線程 服務器上運行了HDFS（11臺），HBase（11臺），Zookeepe
2018-09-06 06:20:07
55
原创 linux下殭屍進程的發現與處理（kill -9 無法殺掉的進程）
環境信息： centos6.5 問題描述： 大數據集羣HDFS的DataNode的一個節點down掉，去服務器查看，發現datanode節點還在，打算重新啓動該節點的datanode，使用hadoop-daemon.sh stop dat
2018-09-06 06:20:07
4
原创 HBase:Multiple regions have the same startkey，There is an overlap in the region chain.問題詳解
環境信息： Hadoop 2.7.2+HBase 1.2.2 現象： HBase重啓後運行hbase hbck報錯： Multiple regions have the same startkey：XXXX There is an ove
2018-09-06 06:20:07
301