原创 網上乾貨 ElasticSearch詳解與優化設計

原文 http://www.finalshares.com/read-6448 1、簡介 ElasticSearch(簡稱ES)是一個分佈式、Restful的搜索及分析服務器,設計用於分佈式計算;能夠達到實時搜索,穩定,可靠,快速。和A

原创 ES增加shield權限控制

一、安裝shield 1、安裝好ElasticSearch集羣,比如10個節點; 2、安裝es的license插件,shield是商業軟件,需要用它,不然沒法啓用: bin/plugin install license

原创 FastJson 1.2.48的 bug

FastJson 新版1.2.48版的 bugfastjson bug 老有莫名的 bug 出現,如下代碼:     @Test public void testJsonParser() throws IOException {

原创 Alibaba Otter實現擴展導入nosql DB和其它DB

簡介:        Alibaba Otter和Canal是抽取mysqlbinlog的工具,可以在不修改任何業務程序的情況下,以極小的網絡IO代價抽取業務數據庫的數據到離線分析數據庫,在網絡狀況良好的情況下,可以實現延時小於1s的近實

原创 alibaba Otter binlog數據管理臺manager權限配置修改

Otter是alibaba數據抽取的好工具,異地數據遷移方便且效率高,但是這幾天安全部門盯上來了,因爲Otter Manager管理了各個數據庫的帳號,連接方式,密碼,並且匿名用戶都直接可以登錄查看,安全部一個掃描就發現了,於是需要修改配

原创 ES集羣讀寫分離

根據Elasticsearch中文社區《ES冷熱分離(讀寫分離) hot, stale 場景》一篇整理並測試修改後實現 本項目按照該原理實現讀寫分離 寫的數據如果需要實時被讀取,實際上不可能實現完全的讀寫分離的。 分區讀寫分離方法

原创 Apache kylin開發環境搭建

官方文檔太囉嗦,而且不跟我的習慣不和。 下面記錄以下自己使用eclipse搭建kylin開發調試環境的過程。 1、eclipse環境: 包含maven的m2e插件,sysdeo tomcat插件,使用tomcat運行kylin,不使用官

原创 在Window下SolrColud 5.0二次開發環境部署。

        SolrCloud和Elasticsearch是當前使用最廣泛的基於Lucene的全文索引解決方案。當你的系統數據單表達到1億級別以上時,爲了更強大的模糊查詢和實時分析功能,強烈建立使用以上2中全文索引,來解決性能瓶頸問題

原创 es 主要內存使用大戶

一、Segment Memory 詞典的前綴索引(Term Index),具體概念參考相關文檔。 別小看只是前綴的索引,如果索引庫多,數據量大,每個節點達到10G不稀奇,node沒節點heap內存才設置了32G啊。 :joy: