從歷史上看,數據豐富功能僅在 Logstash 中可用,但由於 Elasticsearch 7.5.0 中引入了 enrich 處理器,因此可以直接在 Elasticsearch 中進行豐富,而無需配置單獨的服務/系統。如果你想知道在 Logstash 中是如何實現,那麼請參閱我之前的文章 “Logstash:運用 jdbc_streaming 來豐富我們的數據”。
由於通常用於豐富的主數據通常是在 CSV 文件中創建的,因此在此博客中,我們將逐步說明如何使用 CSV 文件中的數據將在攝取節點上運行的 enrich 處理器用於豐富數據。
樣本 CSV 數據
我們可以使用阿里雲Elasticsearch中的 Kibana ,或通過 ECS 自建 ELK,導入以下 CSV 格式的示例主數據,然後在將文檔吸收到 Elasticsearch