【最佳實踐】ingest對異源數據結構化處理,並由Elastic Stack實現可觀測性分析

數據集

在我們的實際數據採集中,數據可能來自不同的來源,並且以不同的形式展展現:

image.png

這些數據可以是一種很結構化的數據被攝入,比如數據庫中的數據, 或者就是一組最原始的非結構化的數據,比如日誌。對於一些非結構化的數據,我們該如何把它們結構化,並使用 Elasticsearch 進行分析呢?

結構化數據

就如上面的數據展示的那樣。在很多的情況下,數據在攝入的時候是一種非結構化的形式來呈現的。這個數據通常有一個叫做 message 的字段。爲了能達到結構化的目的,我們們需要 parse 及 transform 這個 message 字段,並把這個 message 變爲我們所需要的字段,從而達到結構化的母的。讓我們看一個例子。假如我們有如下的信息:

{
    "message": "2019-09-29T00:39:02.9122 [Debug] 



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章