原创 Please check the elasticsearch SSL settings under xpack.security.http.ssl.

es 集羣安全認證 添加用戶密碼的時候,執行 ./bin/elasticsearch-setup-passwords interactive 報錯如下   # # 原因是需要註釋掉:yml 裏邊的配置    添加完密碼以後再打開

原创 如何選elasticsearch 的版本

# # 建議看下這篇文章 https://blog.csdn.net/u013613428/article/details/103317806

原创 es 7.5.1版本 集羣配置安全證書和開啓ssl加密通信

前提是:已經搭建起來集羣了,並且集羣可以正常運行。所有的節點都是健康的狀態。 另外我所有的操作都是直接使用啓動es集羣的用戶做的,如果不是這個用戶的話,對生成的證書還需要賦予可執行權限。 # # 生成證書,給集羣添加證書認證   生成

原创 ShardLockObtainFailedException[[device_search3][2]: obtaining shard lock timed out after 5000ms

elasticsearch集羣發生了故障,重新恢復,但是最後有一個分片一直沒有恢復,導致集羣一個主分片丟失,健康狀態呈現紅色。 錯誤如下: failed shard on node [bPftT3as9siI4nSGLA]: faile

原创 Trying to create too many scroll contexts. Must be less than or equal to: [500]

   在做數據導出的時候,因爲用到了滾動。因爲每次調用都創建了 scroll,而且我沒有手動刪除,而es 默認的 scroll 是500個。到達500個沒有清除的手,就會報這個錯誤。錯誤如下 {"error":{"root_caus

原创 學習 elasticsearch 的幾個非常好的博主

  俗話說授人以魚不如授人以漁。近期一直在學習elasticsearch 的東西,網上的文章非常雜,很多人就是用翻譯直接翻譯官網,然後斷章取義。   官網不錯,但是可能沒有耐心看完。    推薦我在學習過程中看到的非常好的幾個博主。聞道

原创 大量數據場景下,elasticsearch 跨集羣數據遷移

方案:採用 Snapshot  1.1、適合場景 1) 遷移速度快,適用數據量大的場景; 2) 需佔用源集羣磁盤空間,或者藉助於對象存儲,實現友商ES到騰訊雲ES,或自建ES到騰訊雲ES的數據遷移。 1.2、快照注意事項 1)快照是從正在

原创 Elasticsearch:使用Snapshot 進行數據備份遷移 - 實戰

  最近在做 Elasticsearch 集羣的內容,除了集羣的規劃問題,優化問題。在elasticsearch 升級的時候,做數據遷移也是一件頭疼的事。自己做遇到了很多的坑,慢慢的填。比方說集羣在配置安全認證以後,如何跨集羣同步數據。

原创 elasticsearch 集羣配置證書安全認證,如何跨集羣同步數據

  問題列表 不同集羣之間是有安全認證的,證書問題需要解決。比方說 A集羣進行了安全認證,配置了安全證書,而B集羣想要reindex A 集羣的數據。直接來做會報錯。 這個問題我看官網整了半天,才把兩個集羣打通了。  可以看看官網:ht

原创 elasticsearch 跨集羣數據遷移

1、問題引出 ES中文社區中,有如下問題: 問題1:存儲數據,data目錄從一個機器直接移到一臺新的機器是否可以直接使用? 問題2:es升級時,data目錄如果在外部路徑,從低版本升級到高版本時,data目錄是否直接可以使用?

原创 elasticsearch 生產級別深度優化

  這是一篇轉自別人的文章,真的講的很詳細。已經讀了很多遍,分享給大家。   貼上原文地址(原文將了很多內容,這是優化方面摘取出來的):https://www.cnblogs.com/kevingrace/p/10682264.html

原创 設計模式在美團外賣營銷業務中的實踐

  業務策略多變導致需求多變,是業界很多技術團隊面臨的最具挑戰的問題之一。那麼如何設計一套易於擴展和維護的營銷系統呢?   今天的文章來自美團外賣營銷技術團隊,他們分享了從領域模型到代碼工程之間的轉化,從DDD引出了設計模式,並詳細介紹

原创 在java 的基礎上增量學習 shell 編程

 shell 腳本其實還是我們比較常用的,在開發中經常會有需求,要寫腳本實現某某功能。  比如,別人讓寫一個告警腳本,將消息推送到釘釘上。  這篇文章作爲shell 的入門吧。   java程序只能操作JVM虛擬機,虛擬機是在 操作系統

原创 Flume和Logstash 都可以做日誌收集,那有什麼區別呢

   這個問題誕生於我和朋友的聊天,我問它最近在做什麼,他說Flume,咱不懂呀,偷偷的百度了一下。短暫的看到也是做日誌收集的,這讓我瞬間想到了logstash,就是 ELK 組合中的一員。也是做日誌收集的。那麼問題就來了,這兩個有什麼

原创 Caused by: org.springframework.beans.factory.support.BeanDefinitionOverrideException: Invalid bean

這個問題整到 凌晨1:36,網上搜了很多個文章,解決方案都不對。有的都在亂說。 這類問題很多都是英文文章,沒見說明白的,中文解決方案几乎沒有。 另外也看到了類似的問題,其實這個問題就是重複掃描了。 # # 問題描述: Caused