Index Pattern 設置
設置索引規則,用於區分數據源
mysql和ES中的元素對比
index pattern (索引匹配規則)是目前在Kibana中十分重要的一個元素,我們通過日誌收集服務filebeat將數據發送到elasticsearch中時會設置相應的index索引,每一個index對應其數據源,代碼某一塊的日誌信息。設置收集信息index的時候建議儘可能細的區分設置,以方便對不同類型的日誌做相應的彙總或者單獨拆分搜索。
當前的索引規則
索引部分信息是在filebeat的filebeat.yml中
規則%{[fields][indexprefix]}-filebeat-%{[agent.version]}-%{+yyyy.MM.dd}
- %{[fields][indexprefix]} 表示自定義的前綴,區分服務環境和服務類型
- filebeat 固定字符
- %{[agent.version]} filebeat版本
- %{+yyyy.MM.dd} 當前日誌, 這樣的話每天的數據都是一個新的index 方便對歷史的數據進行刪除,大量的日誌非常佔用空間,同時也影響es的性能
找到Management菜單
創建自定義index patterns
當系統不存在默認的index pattern 規則時,會提示去創建相關索引匹配規則,否則相關頁面不知道從何處獲取數據
根據需要來選擇設置自己的匹配規則,支持前後**來模糊匹配,同一個index允許被不同的 index pattern 匹配到
此處會默認提供一個時間過濾器,可以選擇不用,如果後面需要根據數據同步過來的時間做過濾的話可以加上去,日誌信息中原先的時間因爲讀取格式問題,只能當作字符來匹配,不支持單獨根據日誌中打印的信息來過濾.另外,如果使用Time Filter還可以自動在Discover頁面搜索結果頁顯示一個按照時間統計文件數目的圖表