Elasticsearch 索引的映射配置詳解

Profile

文章共1540字，閱讀本文大約需要5分鐘！

概述

Elasticsearch 與傳統的 SQL數據庫的一個明顯的不同點是，Elasticsearch 是一個 非結構化 的數據庫，或者說是一個 無模式 的數據庫。Elasticsearch 中數據最重要的三要素當屬：索引、類型、文檔，其中索引這個概念非常重要，我們可以粗略地將其類比到傳統SQL數據庫中的 數據表。本文就從 Elasticsearch 的索引映射如何配置開始講起。

注：本文原載於 My Personal Blog：， CodeSheep · 程序羊 ！

本文內容腦圖如下：

本文內容腦圖

索引模式映射

創建索引時，可以自定義索引的結構，比如創建一個保存用戶信息數據的 users 索引，其典型的結構如下：

id：唯一表示符
name：姓名
birthday：出生日期
hobby：愛好

爲此我們可以創建一個 json 格式的索引模式映射文件：users.json

{
    "mappings" : {
        "user" : {
            "properties" : {
                "id" : {
                    "type" : "long",
                    "store" : "yes"
                },
                "name" : {
                    "type" : "string",
                    "store" : "yes",
                    "index" : "analyzed"
                },
                "birthday" : {
                    "type" : "date",
                    "store" : "yes"
                },
                "hobby" : {
                    "type" : "string",
                    "store" : "no",
                    "index" : "analyzed"
                }
                
            }
        }
    }
}

上面的 json代碼意義如下：

創建一個名稱爲 users的 Index
裏面有一個名稱爲 user的 Type
而 user 有四個 field
且每個 field 都有自己的屬性定義

然後我們來執行如下命令來新建一個索引：

curl -X PUT http://47.98.43.236:9200/users -d @users.json

結果如下，索引 users、類型 user、以及四個字段都已經順利插入：

新建一個索引

關於字段的 可選類型，有如下幾種：

string：字符串
number：數字
date：日期
boolean：布爾型
binary：二進制
ip：IP地址
token_count類型

關於每種類型有哪些屬性，可參考官方文檔，由於內容太多，此處不再贅述。

分析器的使用

分析器是一種用於 分析數據 或者按照用戶想要的方式 處理數據 的工具，對於 字符串類型 的字段，Elasticsearch 允許用戶自定義分析器。

先來自定義一個分析器

{
  "settings" : {
    "index" : {
      "analysis" : {
        "analyzer" : {
          "myanalyzer" : {
            "tokenizer" : "standard",
            "filter" : [
              "asciifolding",
              "lowercase",
              "myFilter"
            ]
          }
        },
        "filter" : {
          "myFilter" : {
            "type" : "kstem"
          }
        }
      }

    }
  },
    "mappings" : {
        "user" : {
            "properties" : {
                "id" : {
                    "type" : "long",
                    "store" : "yes"
                },
                "name" : {
                    "type" : "string",
                    "store" : "yes",
                    "index" : "analyzed",
                    "analyzer" : "myanalyzer"
                },
                "birthday" : {
                    "type" : "date",
                    "store" : "yes"
                },
                "hobby" : {
                    "type" : "string",
                    "store" : "no",
                    "index" : "analyzed"
                }

            }
        }
    }
}

上述 json代碼中，用戶定義了一個名爲 myanalyzer 的分析器，該分析器包含 一個分詞器 + 三個過濾器，分別如下：

分詞器：standard
過濾器：asciifolding
過濾器：lowercase
過濾器：myFilter（自定義過濾器，其本質是 kstem）

再來看如何測試和使用自定義的分析器

可以通過類似如下的 Restful接口來測試 analyze API 的工作情況：

curl -X GET 'http://47.98.43.236:9200/users/_analyze?field=user.name' -d 'Cars Trains'

可見我們輸入的時一行字符串普通"Cars Trains"，而輸出爲：car 和 train，這說明短語 "Cars Trains" 被分成了兩個詞條，然後全部轉爲小寫，最後做了詞幹提取的操作，由此證明我們上面自定義的分析器已然生效了！

相似度模型的配置

Elasticsearch 允許爲索引模式映射文件中的不同字段指定不同的 相似度得分 計算模型，其用法例析如下：

    "mappings" : {
        "user" : {
            "properties" : {
                "id" : {
                    "type" : "long",
                    "store" : "yes"
                },
                "name" : {
                    "type" : "string",
                    "store" : "yes",
                    "index" : "analyzed",
                    "analyzer" : "myanalyzer",
                    "similarity" : "BM25"
                },
                "birthday" : {
                    "type" : "date",
                    "store" : "yes"
                },
                "hobby" : {
                    "type" : "string",
                    "store" : "no",
                    "index" : "analyzed"
                }

            }
        }
    }

上述 json文件中，我們爲 name 字段使用了 BM25 這種相似度模型，添加的方法是使用 similarity 屬性的鍵值對，這樣一來 Elasticsearch 將會爲 name 字段使用 BM25 相似度計算模型來計算相似得分。

信息格式的配置

Elasticsearch 支持爲每個字段指定信息格式，以滿足通過改變字段被索引的方式來提高性能的條件。Elasticsearch 中的信息格式有如下幾個：

default：默認信息格式，其提供了實時的對存儲字段和詞向量的壓縮
pulsing：將重複值較少字段的信息列表編碼爲詞條矩陣，可加快該字段的查詢速度
direct：該格式在讀過程中將詞條加載到未經壓縮而存在內存的矩陣中，該格式可以提升常用字段的性能，但損耗內存
memory：該格式將所有的數據寫到磁盤，然後需要FST來讀取詞條和信息列表到內存中
bloom_default：默認信息格式的擴展，增加了把 bloom filter 寫入磁盤的功能。讀取時 bloom filter 被讀取並存入內存，以便快速檢查給定的值是否存在
bloom_pulsing：pulsing 格式的擴展，也加入 bloom filter 的支持

信息格式字段（postings_format）可以在 任何一個字段上 進行設置，配置信息格式的示例如下：

    "mappings" : {
        "user" : {
            "properties" : {
                "id" : {
                    "type" : "long",
                    "store" : "yes",
                    "postings_format" : "pulsing"
                },
                "name" : {
                    "type" : "string",
                    "store" : "yes",
                    "index" : "analyzed",
                    "analyzer" : "myanalyzer"
                },
                "birthday" : {
                    "type" : "date",
                    "store" : "yes"
                },
                "hobby" : {
                    "type" : "string",
                    "store" : "no",
                    "index" : "analyzed"
                }

            }
        }
    }

在該例子之中，我們手動配置改變了 id 字段的信息格式爲 pulsing，因此可加快該字段的查詢速度。

文檔值及其格式的配置

文檔值這個字段屬性作用在於：其允許將給定字段的值被寫入一個更高內存效率的結構，以便進行更加高效的排序和搜索。我們通常可以將該屬性加在 需要進行排序 的字段上，這樣可以提效。

其配置方式是通過屬性 doc_values_format 進行，有三種常用的 doc_values_format 屬性值，其含義從名字中也能猜個大概：

default：默認格式，其使用少量的內存但性能也不錯
disk：將數據存入磁盤，幾乎無需內存
memory：將數據存入內存

舉個栗子吧：

    "mappings" : {
        "user" : {
            "properties" : {
                "id" : {
                    "type" : "long",
                    "store" : "yes"
                },
                "name" : {
                    "type" : "string",
                    "store" : "yes",
                    "index" : "analyzed",
          "analyzer" : "myanalyzer"
                },
                "birthday" : {
                    "type" : "date",
                    "store" : "yes"
                },
                "hobby" : {
                    "type" : "string",
                    "store" : "no",
                    "index" : "analyzed"
                },
                "age" : {
                    "type" : "integer",
                    "doc_values_format" : "memory"
                 }
            }
        }
    }

上述 json配置中，我們給類型 user 添加了一個 age 字段，假如我們想對年齡字段進行排序，那麼給該字段設置文檔值格式的屬性是可以提升效率的。

後記

由於能力有限，若有錯誤或者不當之處，還請大家批評指正，一起學習交流！

Elasticsearch 索引的映射配置詳解

概述

索引模式映射

分析器的使用

相似度模型的配置

信息格式的配置

文檔值及其格式的配置

後記

Android啓動過程-萬字長文(Android14)

這種嵌套字典類型的數據，我想把它讀取到df裏，如何操作？

微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺

iNeuOS工業互聯網操作系統，增加電力IEC104協議

微服務實踐k8s&dapr開發部署實驗（3）訂閱發佈

kbgressdb之數據結構V0.2

一位拖延症患者程序員的自我救贖！寫在前面四碗雞湯沒有靈魂的ToDo List！如何做計劃（ToDo List）如何執行任務總結

程序員寫簡歷時的技術詞彙拼寫規範備忘錄寫在前面後端開發相關前端開發相關客戶端開發相關大數據/雲計算相關工具或軟件相關集思廣益

國產Linux系統再添一員猛將，顏值完全不輸蘋果

一位程序員社畜的2021閒讀書單！寫在前面讀書規劃和進度書單後記

讀了7年通信最後還是轉了碼，這值得嗎？ 0x00 0x01 0x02 0x03 0x04

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

Elasticsearch 索引的映射配置詳解

概述

索引模式映射

分析器的使用

相似度模型的配置

信息格式的配置

文檔值及其格式的配置

後 記

後記