elasticSearch實現mysql中的distinct功能

爲了實現類似等價的sql：

SELECT COUNT(DISTINCT deviceID) FROM t_order_report;

爲什麼我要說類似等價呢？ 因爲從精確性、性能等角度還是存在很大的差別！

前置條件，場景爲：

        用戶可以通過時間、套餐類型、訂單狀態等等查詢條件，過濾出滿足條件的設備數信息

        因此使用deviceID+各種限制條件 作爲Key存儲達到去重效果的方式不可行。

如果你對去重結果的精準度沒有特殊要求，使用cardinality聚合函數

        AggregationBuilders.cardinality("deviceCount").field("deviceID").precisionThreshold(自定義一個精度範圍100-40000)

            優點：性能快，億級別的記錄在1秒內完成

            缺點：存在只能保證最大40000條記錄內的精確，超過的存在5%的誤差，不適合需要精確去重場景

如果你對去重結果要求精確，使用termsagg聚合（類似group by）

            AggregationBuilders.terms("deviceCount").field("deviceID").size(Integer.MAX_VALUE);

            說明：默認只聚合10個桶，size(Integer.MAX_VALUE)可以指定桶個數

            優點：結果精確

            缺點：只適合聚合少量桶場景（100以內），否則性能極差（十萬級的桶需要分鐘級完成）

針對海量數據去重（多桶）場景，方法嘗試：

            scroll查詢全量數據後手動去重

            缺點：性能不達標

            pass...

 

實現方式

使用聚合方式實現

按 floor distinct，並取出 num 最大的一條記錄

{
  "size": 0,
  "aggregations": {
    "field1": {
      "terms": {
        "field": "floor",
        "size": 20
      },
      "aggs": {
        "num_top": {
          "top_hits": {
            "_source": true,
            "size":1,
            "sort": {"num":"asc"}
          }
        }
      }
    }
  }
}

注：不可以分頁

使用 collapse 摺疊功能

例如，下面的查詢檢索 message 中有 elasticsearch 值的 twitter，按喜好數量對它們進行排序並按用戶 distinct（取排序後每個用戶的第一條數據）。

GET /twitter/_search
{
    "query": {
        "match": {
            "message": "elasticsearch"
        }
    },
    "collapse" : {
        "field" : "user" 
    },
    "sort": ["likes"], 
    "from": 10 
}

inner_hits

curl -X GET "localhost:9200/twitter/_search" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match": {
            "message": "elasticsearch"
        }
    },
    "collapse" : {
        "field" : "user", 
        "inner_hits": {
            "name": "last_tweets", 
            "size": 5, 
            "sort": [{ "date": "asc" }] 
        },
        "max_concurrent_group_searches": 4 
    },
    "sort": ["likes"]
}
'

注：僅僅適用於 keyword 和數字類型

統計總數

按 floor distinct 後總數，使用到了數值度量聚合

{
  "aggs": {
    "distinct": { //該參數 key 隨意
      "cardinality": {
        "field": "floor"
      }
    }
  }
}
// 相應
...
  "aggregations" : {
    "distinct" : {
      "value" : 20
    }
  }

總結：目前elasticsearch 對海量數據去重，支持的並不友好，暫無好的解決方案