原创 elasticsearch deleted shard reason [no longer used]日誌的原因

這個日誌是debug級別的日誌。而且報這個日誌並不是意味着es有什麼問題。該日誌是es的分片遷移過程中產生的。 es把分片遷移到其他節點操作是,首先會保留源分片,同時在目標節點上生成新的分片。當目標節點上的分片生成完畢,並且處於活

原创 scala-面向對象編程之類

1、 定義一個簡單的類 // 定義類,包含field以及方法 class HelloWorld { private var name="wei" def sayHello() { print("Hello," + name)} d

原创 kudu支持ranger

千呼萬喚始出來,kudu終於支持集成ranger做權限控制了。在kudu 1.12版本中,增加了kudu-ranger的插件。 具體請看 jira中的issue

原创 parquet學習

Parquet的那些事(一)基本原理 Parquet的那些事(二)Spark中的Schema兼容問題 Parquet的那些事(三)嵌套數據模型

原创 ES update接口版本衝突問題的論述

基本概念介紹 衆所周知,es數據的版本控制是通過樂觀鎖來實現的。es的每個document中都維護了一個_version字段,這個字段表示了這個文檔的版本號,文檔剛創建之時,_version=1,後續對該文檔的任何增刪改操作都會使