原创 redis主從架構與redis+sentinel 哨兵機制架構搭建（生產可用）
redis的搭建過程，請參考 https://blog.51cto.com/12445535/2385106 接下來，我們再找一臺服務器，進行安裝redis 實現redis的主從架構 和上面的方法搭建一個redis只不過在從redis中的配
2019-04-27 13:07:41
原创 生產上安裝mongodb全過程
mongodb-linux-x86_64-4.0.2.tgz 生產上安裝mongodb操作系統爲 centos6.5 第一步 執行優化腳本 初始化腳本 第二步：上傳mongodb的二進制安裝包 [root@prd3-mongodb-10
2019-04-27 13:07:41
原创 mysql關係型數據庫遵循ACID規則
關係型數據庫遵循ACID規則 事務在英文中是transaction，和現實世界中的交易很類似，它有如下四個特性： 1、A (Atomicity) 原子性 原子性很容易理解，也就是說事務裏的所有操作要麼全部做完，要麼都不做，事務成功的條件是事
2019-04-27 13:07:40
原创 生產環境可用redis4.0.11安裝全過程
生產環境可用redis4.0.11安裝全過程 先執行initialization.sh優化腳本 詳情見 初始化腳本我們線上用的是redis-4.0.11.tar.gz根據日誌內容進行優化 //後面會提現處理，我們這裏可以先執行，不明白的同
2019-04-26 13:54:30
原创 生產環境可用mysql5.7.23安裝全過程
生產環境安裝5.7.23全過程 先執行initialization.sh優化腳本 詳情見 Linux 在安裝mysql前，需要先查看一下是否清空了系統自帶了mysql我們這裏需要刪除系統自帶了mysql lib 我們先把mysql放置在/o
2019-04-26 13:54:30
原创 linux內核高級優化腳本
linux內核高級優化腳本可以用於hadoop生態圈環境的組件安裝 linux內核調優具體的每一步的解釋請參考 03搭建cdh備註：使用與centos6和centos7兩個系統版本執行 [root@lb01 scripts]# pwd /o
2019-04-23 13:08:32
原创 ganglia監控的搭建
參考鏈接：Centos7.2 ganglia（一）之環境搭建部署http://www.51niux.com/?id=83ganglia系列知識彙總，很重要的3個鏈接 http://www.51niux.com/?cate=24
2019-04-14 13:08:16
原创 hbase 服務器優化之硬件優化（用好操作系統）
下圖是HBase官方文檔上對操作系統環境的幾點配置要求：1、關閉透明大頁echo 'never' >/sys/kernel/mm/transparent_hugepage/enabledecho 'never' >/sys/kernel/m
2019-04-09 13:07:34
2
原创 hbase compation基本原理01
回顧一下hbase寫流程1、HBase是一種Log-Structured Merge Tree架構模式，2、用戶數據寫入先寫WAL，再寫緩存，3、滿足一定條件後緩存數據會執行flush操作真正落盤，形成一個數據文件HFile。 什麼叫Com
2019-04-09 13:07:23
1
原创 hbase compaction的深度研究02（compaction策略算法選擇）
1、compaction的核心作用是：通過合併大量小文件爲一個大文件來減少hfile的總數量，進而保證讀延遲的穩定。2、合併文件首先是讀出所有小文件的KVs，再寫入同一個大文件，這個過程會帶來嚴重的IO壓力和帶寬壓力，對整個系統的讀請求和寫
2019-04-09 13:07:23
原创 hbase 集羣規劃（集羣業務規劃，集羣容量規劃，Region規劃）
//hbase集羣業務規劃，集羣容量規劃，Region規劃，引出問題：1、一個集羣上面到底應該運行哪些業務可以最大程度上利用系統的軟硬件資源？2、另外，對於一個給定業務來說，應該如何規劃集羣的硬件容量才能使得資源不浪費？3、最後，一個給定的
2019-04-09 13:07:23
原创 hbase split分裂Pre-splitting自動split手動split和split分裂過程
//自動splitting 公式 原理等中講到了：而0.94版本中，IncreasingToUpperBoundRegionSplitPolicy 是默認的split策略。這個策略中，最小的分裂大小和table的某個region serve
2019-04-09 13:07:23
原创 hbase 客戶端超時機制參數優化實踐
hbase 客戶端超時機制參數優化實踐 1、介紹了HBase客戶端基於退避算法的重試機制，並分析得出在某些場景下如果重試策略設置不當會導致長時間的業務阻塞。2、除了重試機制外，業務童鞋最關心的就是超時機制了。3、客戶端超時設置對整個系統的穩
2019-04-04 13:08:23
16
原创 hbase優化方向說明
如何對hbase用的好，怎麼定義把hbase用的好？在保證系統穩定性、可用性的基礎上能夠用最少的系統資源（CPU,IO等）獲得最好的性能（吞吐量，讀寫延遲）就是’用的好’。優化方向爲:（1）HDFS相關配置優化，（2）HBase服務器端優化
2019-04-04 13:08:23
原创 HBase客戶端Rpc的重試機制以及客戶端參數優化。
hbase客戶端重試機制如何保證系統的容錯性和低延遲性HBase客戶端Rpc的重試機制以及客戶端參數優化。HBase客戶端基於退避算法的重試機制1、業務用戶一方面比較關注HBase本身服務的讀寫性能：吞吐量以及讀寫延遲，2、另一方面也會比較
2019-04-04 13:08:23
1