原创 RocketMQ 初識

  目錄 RocketMQ優點 RocketMQ缺點 RocketMQ 集羣搭建  RocketMQ角色 集羣模式 雙主雙從集羣搭建 RocketMQ消息發送樣例 基本樣例 順序消息 延時消息  批量消息 過濾消息 事務消息 消息存儲 存

原创 21.Elasticsearch生產集羣部署之重要的操作系統設置

1、系統的重要配置 理想情況下,es應該單獨在一個服務器上運行,能夠使用服務器上的所有資源。爲了達到上述目標,我們需要配置操作系統,來允許用戶運行es並且獲取比默認情況下更多的資源。 在生產環境中下面的一些設置必須配置一下: (1)禁止s

原创 18.Elasticsearch生產集羣部署之針對集羣重啓時的shard恢復耗時過長問題定製的重要參數

shard recovery配置以及集羣重啓時的無意義shard重分配問題 在集羣重啓的時候,有一些配置會影響shard恢復的過程。首先,我們需要理解默認配置下,shard恢復過程會發生什麼事情。如果我們有10個node,每個node都有

原创 Elasticsearch性能調優之基本優化

1、搜索結果不要返回過大的結果集 es是一個搜索引擎,所以如果用這個搜索引擎對大量的數據進行搜索,並且返回搜索結果中排在最前面的少數結果,是非常合適的。然而,如果要做成類似數據庫的東西,每次都進行大批量的查詢,是很不合適的。如果真的要做大

原创 JAVA基礎之進制轉換

關於進制 所有數字在計算機底層都以二進制形式存在 對於整數,有四種表示方式:          二進制:0-1 滿2進1 。以0b或0B開頭          十進制:0-9 滿10進1。          八進制:0-7 滿8進1.以數

原创 JAVA 四種引用類型

Strong Reference 我們日常絕大多數引用均是強引用 如果對象擁有強引用,就表示它是可達的,那麼垃圾收集器就不會將其回收 如果將某個強引用顯式置爲null,就表示該引用不再指向對象,若該對象沒有其他引用指向他,那麼會在適當時機

原创 16.Elasticsearch生產集羣部署之必須根據自己的集羣設置的一些重要參數

1、es的默認參數 es的默認參數是非常好的,適合絕大多數的情況,尤其是一些性能相關的配置。因此剛開始部署一個生產環境下的es集羣時,幾乎所有的配置參數都可以用默認的設置。 比如mysql或者oracle這種關係型數據庫,也許是需要非常重

原创 19.Elasticsearch生產集羣部署之絕對不能隨意調節jvm和thread pool的原因

es中有很多的配置都讓大家忍不住去調優,因爲也許大家都太過於迷戀性能優化了,都認爲優化一些配置可以大幅度提升性能,就感覺性能調優像個魔法一樣,是個萬能的東西。但是其實99.99%的情況下,對於es來說,大部分的參數都保留爲默認的就可以了。

原创 22.Elasticsearch生產集羣中的索引管理(一)

1、創建索引 (1)創建索引的語法 用settings給這個索引在創建時可以添加一些設置,還有可以初始化一些type的mapping curl -H "Content-Type:application/json" -XPUT 'http

原创 JVM 內存區域的劃分以及作用詳解

什麼叫運行時數據區呢,看下圖就知道了,今天的重點就圍繞這張圖講。       1、程序計數器(寄存器)             當前線程所執行的字節碼行號指示器  字節碼解釋器工作依賴計數器控制完成    通過執行線程行號記錄,讓線程輪流

原创 Elasticsearch性能調優之搜索性能優化

magic,如果真的要優化搜索性能的話,就是以下幾種辦法 1/5,配合起來,就是搜索性能優化的殺手鐗 3/4,配合起來,解決各種複雜的搜索需求的性能 1、給filesysgtem cache更多的內存 es的搜索引擎嚴重依賴於底層的fil

原创 27.Elasticsearch的底層模塊深入解析之shard allocation

1、shard allocation的介紹 兩種node:master node,data node master node的一個很重要的功能,比如說,你現在創建了一個索引,然後這個索引是不是有很多的shard,可能你自己指定了幾個pri

原创 JVM G1收集器日誌分析

package com.jvm.g1; /** * -verbose:gc * -Xms10M * -Xmx10M * -XX:+UseG1GC * -XX:+PrintGCDetails * -XX:+PrintGCDa

原创 Elasticsearch性能調優之索引寫入性能優化

1和2,適合的是,你的es java client程序,可以採取批量寫的場景 3,比較通用的,比較合適的是,你對於寫入數據到可以讀到能夠接受比較大的延遲 4,一次性批量導入數據的場景 5/6/7/8/9,通用型,儘量都去做到 1/2/3/

原创 Elasticsearch性能調優之磁盤讀寫性能優化

優化磁盤空間的佔用,減少磁盤空間的佔用,更多的數據可以進入filesystem cache 比如說你原來,磁盤空間佔用一共是1T,內存只有512G,現在優化了磁盤空間佔用之後,減少了數據量,可能數據量就只有512G了,那麼就可以全部進入內