HBase篇:CDH使用Solr實現HBase二級索引

前言:


        詳細步驟請參看“閱讀原文”,下面通過圖文幫大家理解一下。


1.簡單說明


使用Solr構建Hbase二級索引的原理很簡單,不過是以空間換取時間,對指定列在Solr中構建索引,最終還是通過rowkey訪問Hbase,如下圖:



2.四大組件


Hbase+Zookeeper+Solr+Key Value Store(Lily Hbase Indexer)


可見,Hbase與Solr是獨立部署的,而讓兩者發生關係的最核心組件就是Key Value Store.



當然,我們可以不使用現成的K-V Store自己代碼實現,大概邏輯也就是:從Hbase中拉取數據然後發起POST請求存到Solr中,Hbase中一行或多行數據對應Solr中一個或多個doc,如圖:



3.三個重要的配置文件


schema.xml:對應組件Solr,構建Solr schema,定義了Hbase要構建索引的列,如圖:


morphline-hbase-mapper.xml:讓Hbase與Lily發生關係,如圖:


morphlines.conf:Hbase與Solr映射關係在此文件中體現,如圖:


三個文件的關係圖如下,通過這三個文件Hbase,Solr 及 Lyli 也就一一映射起來了,如圖:


4.理解Solr


見邏輯視圖:


索引對照圖:

物理視圖與邏輯視圖與索引視圖:


創建索引過程:Solr提供restful接口


5.瞭解Hbase結構圖


6.瞭解Lily如何做橋樑


基於Hbase複製功能:



具體執行流程:主類SepConsumer,多線程併發處理


其實就是這麼個過程:


詳細介紹請閱讀原文!







將最好的祝福送給正在閱讀的你,感恩!

本文分享自微信公衆號 - HBase工作筆記(HBase-Notes)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章