增刪改查 elasticsearch中的文檔API 的使用

文檔爲何物?一個對象 就相當於mysql的一個record記錄


【文檔】

什麼是文檔?


程序中大多的實體或對象能夠被序列化爲包含鍵值對的JSON對象,鍵(key)是字段(field)或屬性(property)的名字,值(value)可以是字符串、數字、布爾類型、另一個對象、值數組或者其他特殊類型,比如表示日期的字符串或者表示地理位置的對象。

{
    "name":         "John Smith",
    "age":          42,
    "confirmed":    true,
    "join_date":    "2014-06-01",
    "home": {
        "lat":      51.5,
        "lon":      0.1
    },
    "accounts": [
        {
            "type": "facebook",
            "id":   "johnsmith"
        },
        {
            "type": "twitter",
            "id":   "johnsmith"
        }
    ]
}

通常,我們可以認爲對象(object)和文檔(document)是等價相通的。不過,他們還是有所差別:對象(Object)是一個JSON結構體——類似於哈希、hashmap、字典或者關聯數組;對象(Object)中還可能包含其他對象(Object)。 在Elasticsearch中,文檔(document)這個術語有着特殊含義。它特指最頂層結構或者根對象(root object)序列化成的JSON數據(以唯一ID標識並存儲於Elasticsearch中)。

文檔元數據


一個文檔不只有數據。它還包含了元數據(metadata)——關於文檔的信息。三個必須的元數據節點是:

節點說明

_index文檔存儲的地方

_type文檔代表的對象的類

_id文檔的唯一標識

_index


索引(index)類似於關係型數據庫裏的“數據庫”——它是我們存儲和索引關聯數據的地方。

提示:


事實上,我們的數據被存儲和索引在分片(shards)中,索引只是一個把一個或多個分片分組在一起的邏輯空間。然而,這只是一些內部細節——我們的程序完全不用關心分片。對於我們的程序而言,文檔存儲在索引(index)中。剩下的細節由Elasticsearch關心既可。

我們將會在《索引管理》章節中探討如何創建並管理索引,但現在,我們將讓Elasticsearch爲我們創建索引。我們唯一需要做的僅僅是選擇一個索引名。這個名字必須是全部小寫,不能以下劃線開頭,不能包含逗號。讓我們使用website做爲索引名。

_type


在應用中,我們使用對象表示一些“事物”,例如一個用戶、一篇博客、一個評論,或者一封郵件。每個對象都屬於一個類(class),這個類定義了屬性或與對象關聯的數據。user類的對象可能包含姓名、性別、年齡和Email地址。

在關係型數據庫中,我們經常將相同類的對象存儲在一個表裏,因爲它們有着相同的結構。同理,在Elasticsearch中,我們使用相同類型(type)的文檔表示相同的“事物”,因爲他們的數據結構也是相同的。+


每個類型(type)都有自己的映射(mapping)或者結構定義,就像傳統數據庫表中的列一樣。所有類型下的文檔被存儲在同一個索引下,但是類型的映射(mapping)會告訴Elasticsearch不同的文檔如何被索引。 我們將會在《映射》章節探討如何定義和管理映射,但是現在我們將依賴Elasticsearch去自動處理數據結構。

_type的名字可以是大寫或小寫,不能包含下劃線或逗號。我們將使用blog做爲類型名。

_id


id僅僅是一個字符串,它與_index和_type組合時,就可以在Elasticsearch中唯一標識一個文檔。當創建一個文檔,你可以自定義_id,也可以讓Elasticsearch幫你自動生成。

其它元數據


還有一些其它的元數據,我們將在《映射》章節探討。使用上面提到的元素,我們已經可以在Elasticsearch中存儲文檔並通過ID檢索——換言說,把Elasticsearch做爲文檔存儲器使用了。

[索引]

基於HTTP協議,以JSON爲數據交互格式的RESTful API

其他所有程序語言都可以使用RESTful API,通過9200端口的與Elasticsearch進行通信,你可以使用你喜歡的WEB客戶端,事實上,如你所見,你甚至可以通過curl命令與Elasticsearch通信。

NOTE

Elasticsearch官方提供了多種程序語言的客戶端——Groovy,Javascript, .NET,PHP,Perl,Python,以及 Ruby——還有很多由社區提供的客戶端和插件,所有這些可以在文檔中找到。

向Elasticsearch發出的請求的組成部分與其它普通的HTTP請求是一樣的:

curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

  • VERB HTTP方法:GETPOSTPUTHEADDELETE

  • PROTOCOL http或者https協議(只有在Elasticsearch前面有https代理的時候可用)

  • HOST Elasticsearch集羣中的任何一個節點的主機名,如果是在本地的節點,那麼就叫localhost

  • PORT Elasticsearch HTTP服務所在的端口,默認爲9200

  • PATH API路徑(例如_count將返回集羣中文檔的數量),PATH可以包含多個組件,例如_cluster/stats或者_nodes/stats/jvm

  • QUERY_STRING 一些可選的查詢請求參數,例如?pretty參數將使請求返回更加美觀易讀的JSON數據

  • BODY 一個JSON格式的請求主體(如果請求需要的話)

舉例說明,爲了計算集羣中的文檔數量,我們可以這樣做:

curl -XGET 'http://localhost:9200/_count?pretty' -d '
{
    "query": {
        "match_all": {}
    }
}
'


如:返回所有節點jvm信息

curl -i 127.0.0.1:9200/_nodes/stats/jvm?pretty


API-RESTful API


參考:

http://www.learnes.net/data/README.html


curl 192.168.100.10:9200?preety
curl 192.168.100.10:9200/_count?pretty


shell 中的curl的用法

-X 指定請求方法默認是  -XGET

-i 返回數據的時候,也一併返回請求結果

-d 發送的數據



查看elk的狀態:

curl 192.168.100.10:9200/_cluster/health?pretty



這個返回值意味着我們的索引請求已經被成功創建,其中還包含了_index, _type以及_id的元數據,以及一個新的元素_version

_index 名詞就是相當於數據庫中庫

_type 相當於數據庫中的表

_id 就是id(可以自己指定也以自增)


_index 和 _type 和 _id 三者組成elasticsearch存儲中的數據的唯一


創建一條

curl -XPUT 192.168.100.10:9200/website/blog/123 -d '{
"title": "My first blog entry",
  "text":  "Just trying this out...",
  "date":  "2016/01/01"
 }'



 可以看到搜索到了當時創建的文檔

[root@master ~]# curl 192.168.100.10:9200/website/blog/123?pretty 
{
  "_index" : "website",
  "_type" : "blog",
  "_id" : "123",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "My first blog entry",
    "text" : "Just trying this out...",
    "date" : "2014/01/01"
  }
}

每找到的情況:

[root@master ~]# curl 192.168.100.10:9200/website/blog/1235?pretty
{
  "_index" : "website",
  "_type" : "blog",
  "_id" : "1235",
  "found" : false
}


_source 是文檔的內容。可以指定值返回文檔指定的字段

[root@master ~]# curl -i -XGET "192.168.100.10:9200/logstash-2016.05.12/syslog/AVSlIBy3bzztddJUaGzh?_source=file,meesage&pretty"
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 185
{
  "_index" : "logstash-2016.05.12",
  "_type" : "syslog",
  "_id" : "AVSlIBy3bzztddJUaGzh",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "file" : "/var/log/messages"
  }
}



一次獲取多個文檔_mget

[root@master ~]# curl -i -XGET 192.168.100.10:9200/logstash-2016.05.12/syslog/_mget?pretty -d '{"ids": [ "2",  "1"]}'  
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 230
{
  "docs" : [ {
    "_index" : "logstash-2016.05.12",
    "_type" : "syslog",
    "_id" : "2",
    "found" : false
  }, {
    "_index" : "logstash-2016.05.12",
    "_type" : "syslog",
    "_id" : "1",
    "found" : false
  } ]
}



索引多了會積累需要定時刪除比如刪除一個月之前的,(不能使用rm -rf 刪除data下面的索引目錄,因爲elk是分佈式的你輸出了,其他節點的複製分片又會同步過來)

# 刪除indices

curl -XDELETE "http://localhost:9200/access-log-2016.12.02/"


# 刪除多個indices

curl -XDELETE "http://localhost:9200/access-log-2015.12.*/"


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章