Elastic Stack安裝和升級指南

概述

Elastic Stack 中的產品設計爲可以一起使用,並且版本可以同步,以簡化安裝和升級過程。完整的堆棧包括:

本指南提供有關在使用多個Elastic Stack產品時進行安裝和升級的信息。它指定了建議的安裝順序以及準備進行堆棧升級所需採取的步驟。

有關7.5.2中重大更改的詳細信息以及特定組件的安裝和升級說明,請參閱各個產品參考指南。

安裝Elastic Stack

安裝Elastic Stack時,必須在整個Stack中使用相同的版本。例如,如果您使用的是Elasticsearch 7.5.2,則安裝Beats 7.5.2,APM Server 7.5.2,Elasticsearch Hadoop 7.5.2,Kibana 7.5.2和Logstash 7.5.2。

如果要升級現有安裝,請參閱升級彈性堆棧以獲取有關如何確保與7.5.2兼容的信息。

安裝訂單

按照以下順序安裝要使用的Elastic Stack產品:

  1. Elasticsearch (install instructions)
  2. Kibana (install)
  3. Logstash (install)
  4. Beats (install instructions)
  5. APM Server (install instructions)
  6. Elasticsearch Hadoop (install instructions)

按此順序安裝可確保每個產品所依賴的組件均已安裝到位。

在Elastic Cloud中安裝

在Elastic Cloud上安裝很容易:單擊即可創建一個配置爲所需大小的Elasticsearch集羣,無論是否具有高可用性。X-Pack始終安裝,因此您可以自動保護和監視羣集。只需單擊一下,即可在集羣上啓用Kibana,並且許多流行的插件都可以使用。

某些Elastic Cloud功能只能與特定的 訂閱級別一起使用。例如,安裝自定義插件,詞典和腳本需要Gold或Platinum訂閱。

您可以免費試用Elasticsearch Service。有關更多信息,請參閱《 Elastic Cloud入門》

升級Elastic Stack

升級到新版本的Elasticsearch時,您需要升級Elastic Stack中的每個產品。Beats和Logstash 6.7與Elasticsearch 7.5.2兼容,從而使您可以靈活地安排升級時間。

Elasticsearch支持從Elasticsearch 5.6到6.8以及從6.8到7.5.2的次要版本之間的滾動升級。

  • 5.x索引與7.5.2不兼容。您必須刪除它們或爲它們重新編制索引,才能升級到7.5.2。默認的Beats和Logstash映射模板也需要更新才能與7.5.2一起使用。

準備升級

在將Elastic Stack升級到7.5.2之前:

  1. 檢查Elasticsearch 棄用日誌 以查看您是否正在使用任何不贊成使用的功能,並相應地更新代碼。默認情況下,當日志級別設置爲時,將記錄棄用警告WARN
  2. 查看重大更改並升級您的代碼以使用7.5.2。
  3. 升級到6.8,然後使用Kibana升級助手重新索引 與7.5.2不兼容的所有索引。

  4. 使用升級助手來確定您需要對集羣配置進行的任何更改。


升級過程

進行必要的更改並準備從6.8升級到7.5.2後,請執行以下操作:

  1. 升級生產集羣之前,請 在開發環境中測試升級。
  2. 備份您的數據。你不能回退,除非你有你的數據的快照到一個較早的版本。有關創建快照的信息,請參閱 快照和還原
  3. 在開始升級過程之前,請考慮關閉機器學習作業。雖然機器學習作業可以在滾動升級過程中繼續運行,但會在升級過程中增加羣集的開銷。有關更多信息,請參閱 滾動升級
  4. 按以下順序升級Elastic Stack的組件:

    1. Elasticsearch Hadoop:安裝說明
    2. Elasticsearch:升級說明
    3. Kibana:升級說明
    4. Logstash:升級說明
    5. 節拍:升級說明
    6. APM服務器:升級說明
 

Logstash 6.8和Beats 6.8與Elasticsearch的所有7.x版本兼容。這爲您安排Logstash實例和Beats代理的升級提供了靈活性,但是我們建議儘快升級以利用性能改進和其他增強功能。

從6.6或更早版本升級

要從6.0-6.6版本直接升級到Elasticsearch 7.5.2,您必須 手動重新索引需要結轉的所有5.x索引,並執行完全集羣重啓。這包括在5.x中創建的所有內部索引,例如.kibana和 .security*索引。

在升級到7.5.2之前,請確保已刪除所有5.x索引。如果存在任何5.x索引,Elasticsearch 7.5.2將無法啓動。

如果您運行的是6.0之前的版本,請 升級到6.8 併爲舊索引重新建立索引,或者調出新的7.5.2羣集並 從remote重新建立索引

建議的路徑是先升級到6.8,再升級到7.5.2。這使得識別升級所需的更改變得更加容易,並使您無需停機即可執行滾動升級。

在升級彈性雲

只需單擊彈性雲控制檯即可將集羣升級到較新版本,增加更多處理能力,更改插件,以及同時啓用或禁用高可用性。在升級過程中,Elasticsearch,Kibana,X-Pack和正式包含的插件會同時升級。

儘管升級Elastic Cloud集羣很容易,但是您仍然需要解決影響應用程序的重大更改。可以進行次要版本升級,從6.8升級到7.5.2以及所有其他羣集配置更改,而無需停機。

爲了避免在需要重新啓動完整集羣時的停機時間:

  1. 使用新的Elasticsearch版本配置其他集羣,重新索引數據,並將索引請求臨時發送到這兩個集羣。
  2. 驗證新羣集是否按預期運行,解決所有問題,然後永久交換新羣集。
  3. 刪除舊羣集以停止產生額外費用。僅針對新羣集與舊羣集並行運行的時間計費。使用情況按小時計費。

要了解有關Elastic Cloud上升級過程的更多信息,請參閱 升級版本

Elastic Cloud僅支持升級到發行版本。不支持預覽版本和主快照。


APM亮點

此列表總結了APM中最重要的增強功能。有關完整列表,請轉到 APM版本亮點

要使用7.5中引入的所有新功能,必須確保使用的是APM Server的7.5+版本和Kibana的7.5+版本。

Kibana中的APM應用

  • 彙總服務細分圖表爲GA。可視化您的應用程序和服務大部分時間都花在哪裏,並迅速找到性能問題的根本原因。.NET代理尚不可用。

  • APM代理的遠程配置是GA。直接在Kibana中查看和編輯某些配置,而無需重新啓動代理。在7.5中,我們引入了兩個附加配置:

    • CAPTURE_BODY -(可選)捕獲HTTP事務的請求正文。
    • TRANSACTION_MAX_SPANS -限制每筆交易記錄的跨度數。

此外,代理遠程配置現在支持所有服務和環境。這意味着您可以在一種設置中配置多個服務和環境。

JVM實例級別的可見性:對單個JVM實例進行故障排除比以往更容易。選擇一個JVM可以查看單個CPU使用率,內存使用率,堆或非堆內存,線程數,垃圾回收率以及每分鐘花費的垃圾回收時間。

節拍亮點

有關完整列表,請轉到Beats發行要點

對於Azure雲監控的新模塊編輯

通過添加用於Azure監視的Metricbeat 和Filebeat模塊,Azure用戶現在可以直接從Azure Event Hub和Azure Monitor監視日誌和指標,並使用預建的Kibana儀表板來加快分析速度。

基於提示的自動發現心跳增強編輯

在7.5中,作爲Uptime解決方案的一部分,我們增強了心跳,使其包括 基於提示的自動發現,這特別適合監視Kubernetes服務的運行狀況。

Elasticsearch亮點

此列表總結了Elasticsearch 7.5.2中最重要的增強功能。有關完整列表,請轉到Elasticsearch發行要點

充實處理器

添加了新的豐富攝取處理器,該處理器可以使用來自另一個索引的數據豐富文檔。

在SQL形狀的支持

適用於geo_shape的SQL功能現在將適用shape於7.3中引入的字段類型。

快照生命週期管理保留

有一個新的快照生命週期管理保留,它使您可以通過自定義策略的時間表自動刪除較舊的快照。

暫停跨羣集複製

添加了用於跨羣集複製的新的暫停和 恢復 API端點 ,使您可以臨時暫停自動跟隨模式。

機器學習分類分析

分類分析是一種有監督的機器學習過程,用於預測數據集中給定數據點的類別或類別。例如,它可以確定電子郵件是否爲垃圾郵件。與迴歸分析不同,分類用於預測離散的分類值,而回歸分析可以預測連續的數值。7.5.0引入了二進制分類,可以將數據點標記爲兩個可能的類別。


Kibana集錦

此列表總結了Kibana 7.5.2中最重要的增強功能。

有關重點內容的完整列表,請參見Kibana 7.5版本博客

Lens一種新的方式來創建可視化(測試版)

Lens是一種簡單,直觀的可視化數據方式。Lens提供拖放體驗,只需單擊幾下,即可幫助您從數據獲取見解。如果您的數據有更好的可視化效果,Lens會爲您提供智能的可視化建議,使您可以在可視化類型之間快速切換。是否要使用其他數據集?使用Lens,您可以直接從UI中選擇其他索引模式。查看我們的文檔以獲取全部詳細信息。

 

 

智能查詢取消

從7.5開始,如果您導航到另一個頁面或在獲取結果之前更新查詢,則Kibana將應用智能取消策略,從而取消Elasticsearch查詢。取消不必要的查詢可通過減少不再需要的查詢引起的噪音來提高羣集性能。

帆布workpads Kibana之外

Canvas引入了可共享內容,這是一種從Kibana外部共享信息的新方法。Shareables使我們的社區可以使用代碼段共享靜態Canvas工作臺。將工作板添加到您的網站後,您可以自定義工作板的行爲以自動播放頁面。

 

新聞複製,以便您隨時

通過我們在Kibana的新聞源,瞭解Elastic的最新動態。您將瞭解新功能,博客內容,最新的網絡研討會等。

 

更多地圖增強

GeoJSON上傳已在7.3中作爲Beta發佈,現在已在7.5中投入生產。GeoJSON上傳使向地圖添加自定義矢量形狀更加容易。查看Indexing GeoJSON數據教程

在7.5中,地圖還引入了以下新功能:

  • 按日期和時間字段樣式,這對於跟蹤時間序列數據並突出顯示較舊記錄上的新數據很有用。
  • 文檔排序,以確保您最重要的數據在地圖上。
  • 一種新的工具提示設計,支持拖放字段排序和圖像嵌入。
 

用於管理API密鑰的新UI

我們新的API密鑰UI允許集羣管理員查看和禁用所有API密鑰,而用戶則可以查看和使自己的密鑰無效。當使用自動腳本或與其他軟件進行工作流集成時,API密鑰特別有用。例如,您可以使用API​​密鑰自動從遠程源中提取新數據,而無需實時用戶交互。有關更多詳細信息,請參見文檔

 

自動刪除快照

現在,通過我們的“ 快照和還原”用戶界面創建快照生命週期策略時 ,您可以選擇配置保留期。此功能使您能夠自動刪除快照,從而減少了手動清理的需要,同時僅保留了最相關和最新的快照。例如,您可以定義一個策略,該策略刪除30天以上的快照,始終保留最新的五個快照,如果存在的快照超過50個,則刪除最舊的快照。有關 完整文檔,請參閱快照生命週期管理保留

 

重大更改

升級之前,您必須查看所使用的每個產品的重大更改並進行必要的更改,以使您的代碼與7.5.2兼容。

  • 如果要從5.n升級,請確保檢查從5.n到6.n以及從6.n到7.n的重大更改!
  • 如果您使用的機器學習數據饋送中包含不連續的搜索或查詢域特定語言(DSL),則升級將失敗。在5.6.5及更高版本中,升級助手提供有關需要更新哪些數據饋送的信息。

APM重大更改

此列表總結了APM中最重要的重大更改。有關完整列表,請轉到APM Server 7.0重大更改

APM服務器

  • 引入了專用apm-server.ilm.setup.*標誌。這意味着您現在可以在APM服務器配置中自定義ILM行爲。副作用是,setup.template.*將忽略每種事件類型的ILM相關模板的設置。有關更多信息,請參見設置ILM
  • 默認情況下,將不再對ILM策略進行版本控制。所有事件類型都將切換到新的默認策略:30天后或達到大小50GB時進行過渡。有關更多信息,請參見默認策略

APM

  • 要使用7.5中引入的所有新功能,必須確保使用的是APM Server的7.5+版本和Kibana的7.5+版本。


Beats重大更改

有關完整列表,請轉到Beats Breaking changes

Elasticsearch重大更改

此列表總結了Elasticsearch 7.5.2中最重要的重大更改。有關完整列表,請轉到Elasticsearch Breaking changes

Elasticsearch Hadoop重大更改

有關完整列表,請轉到 Elasticsearch Hadoop重大更改


Kibana重大更改

此頁面列出了Kibana 7.5.2中的重大更改。

現在的默認設置courier:batchSearchesfalse

詳細信息: 更改默認設置courier:batchSearches,以false意味着搜索請求將使用_searchElasticsearch終點,而不是_msearch

影響: 儀表板面板將單獨加載,並且當用戶離開或更新查詢時搜索請求將終止。

實驗性代碼應用已被刪除

詳細信息: 以前默認情況下禁用的實驗性Code應用已被刪除。由於現有的代碼實現難以維持,因此我們決定暫時不繼續開發該代碼應用程序。

影響: Kibana啓動時,以前啓用了Code應用程序的所有安裝現在都將記錄警告。刪除以開頭的所有配置是安全的 xpack.code.。從8.0開始,這些警告將成爲阻止Kibana啓動的錯誤。


Logstash重大更改

此列表總結了Logstash 7.5.2中最重要的重大更改。有關完整列表,請轉到 Logstash重大更改

Logstash Core的更改

這些更改可能會影響使用受影響功能的Logstash的任何實例。Logstash Core的更改與插件無關。

默認情況下啓用Java執行引擎

默認情況下,新的Java執行引擎是啓用的。它具有更快的性能,減少的內存使用量以及更少的配置啓動和重新加載時間。

有關更多信息,請參閱有關Java執行引擎初始發行版的博客文章 。

我們竭盡全力使此更改變得無縫。不過,這是一個很大的變化。如果您發現可能相關的不同行爲,請 打開GitHub問題以告知我們。

節拍符合彈性通用架構(ECS)

從7.0開始,Beats字段符合Elastic Common Schema(ECS)

如果在升級Beats之前升級Logstash,則有效負載將繼續使用ECS之前的架構。如果在升級Logstash之前先升級Beats,則在進行Logstash升級之前,您將獲得帶有ECS架構的有效負載。

如果在升級後看到映射衝突,則表明Beats / ECS更改正在影響到達現有索引的數據。

有關Beats和ECS的更多信息, 請參見Beats Platform參考

字段參考解析器更加嚴格

字段引用解析器用於解釋對管道和插件中字段的引用,它變得更加嚴格,現在將拒絕模棱兩可或非法的輸入。由於6.4,Logstash已遇到輸入是模糊的,當發出警告,並允許早期選擇加入的嚴格模式通過提供命令行標誌解析任一 --field-reference-parser STRICT或通過添加config.field_reference.parser: STRICTlogstash.yml

這是一個例子。

之前

logstash-6.7.0 % echo "hello"| bin/logstash -e 'filter { mutate { replace => { "message" => "%{[[]]message]} you" } } }'
[2019-04-05T16:52:18,691][WARN ][org.logstash.FieldReference] Detected ambiguous Field Reference `[[]]message]`, which we expanded to the path `[message]`; in a future release of Logstash, ambiguous Field References will not be expanded.
{
       "message" => "hello you",
      "@version" => "1",
    "@timestamp" => 2019-04-05T15:52:18.546Z,
          "type" => "stdin",
          "host" => "overcraft.lan"
}

logstash-7.0.0 % echo "hello"| bin/logstash -e 'filter { mutate { replace => { "message" => "%{[[]]message]} you" } } }'
[2019-04-05T16:48:09,135][FATAL][logstash.runner          ] An unexpected error occurred! {:error=>java.lang.IllegalStateException: org.logstash.FieldReference$IllegalSyntaxException: Invalid FieldReference: `[[]]message]`
[2019-04-05T16:48:09,167][ERROR][org.logstash.Logstash    ] java.lang.IllegalStateException: Logstash stopped processing because of an error: (SystemExit) exit

Logstash插件中的更改

使用7.0.0,我們已經有機會將許多捆綁的插件升級到其最新的主要版本,將其重大更改吸收到Logstash發行版中。

儘管這些升級包括新功能和重要修補程序,但下面僅列出了重大更改。

 

插件的大部分更改是刪除了以前不推薦使用且現在已經過時的選項。在升級之前,請確保管道配置不使用這些已刪除的選項。

編解碼器插件

這是編解碼器插件的重大更改。

CEF編解碼器

  • 刪除了過時的sev選項
  • 刪除了過時的deprecated_v1_fields選項

Netflow編解碼器

  • 更改了application_id的解碼以實現RFC6759;格式從一對冒號分隔的ID(例如0:40567)更改爲可變數量的雙點分隔的ID(例如0..12356..40567)。

過濾插件

這是過濾器插件的重大更改。

克隆過濾器

  • 做出clones必要的選擇

Geoip過濾器

  • 刪除了過時的lru_cache_size選項

HTTP過濾器

  • 刪除了過時的ssl_certificate_verify選項

輸入插件

這是輸入插件的重大更改。

節拍輸入

  • 刪除了過時的congestion_threshold選項
  • 刪除了過時的target_field_for_codec選項
  • 將默認值更改add_hostname爲false

在Beats 7.0.0中,Beats導出 Logstash Beats Input 的字段符合Elastic Common Schema(ECS)。許多導出的字段已被重命名,因此在升級Beats之前,您可能需要修改管道配置以在新位置訪問它們。有關 已更改名稱的完整列表,請參見7.0中的Beats Breaking changes

HTTP輸入

  • 刪除了過時的ssl_certificate_verify選項

HTTP輪詢器輸入

  • 刪除了過時的interval選項
  • 刪除了過時的ssl_certificate_verify選項

Tcp輸入

  • 刪除了過時的data_timeout選項
  • 刪除了過時的ssl_cacert選項

輸出插件

這是輸出插件的重大更改。

Elasticsearch輸出

  • 如果您的Elasticsearch集羣支持,則默認情況下會自動檢測並啓用 Elasticsearch Index生命週期管理(ILM)
  • 刪除對父/子的支持(仍然支持聯接數據類型),因爲我們不再支持多種文檔類型
  • 刪除了過時的flush_size選項
  • 刪除了過時的idle_flush_time選項

HTTP輸出

  • 刪除了過時的ssl_certificate_verify選項

卡夫卡輸出

  • 刪除了過時的block_on_buffer_full選項
  • 刪除了過時的ssl選項
  • 刪除了過時的timeout_ms選項

Redis輸出

  • 刪除了過時的queue選項
  • 刪除了過時的name選項

平方輸出

  • 刪除了過時的batch選項
  • 刪除了過時的batch_timeout選項

Tcp輸出

  • 刪除了過時的message_format選項

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章