資料下載 | 58同城HBase平臺及生態建設實踐

前言:2020年3月7日晚7點,大佬張祥在微信羣向大家詳細介紹了58同城HBase平臺及其生態的建設實踐與相關經驗,確實講得很好。今天花了點時間幫大家整理了一下,希望更多的沒有參與直播的朋友能夠看到它,也歡迎大家積極轉發一下,視頻與PPT相關資料附於文末

亮點在哪

該分享的亮點在哪兒裏呢?這裏我就自己的理解闡述一下自己的想法,不喜勿噴哈~

1. 數據接入層

第一個亮點是:58同城在HBase之上做了進一步封裝(SCF),融入了微服務,充分利用了微服務的優勢和特點,比如熔斷、監控、權限、動態擴縮容等等都可以在這一層做,雖然也多了一層運維成本,但微服務技術應該也算有比較成熟的體系了。

之前也聽過諸多言論,比如HBase之上封裝一層HTTP或是RPC服務會導致性能降低之類的說法,其實我倒是覺得影響還是比較小的,當然肯定會有些影響。對性能影響比較大的只可能是過度封裝或是對HTTP/RPC框架不熟。

當然,性能與服務器成本是掛鉤的,性能的提升會帶來服務器成本的降低,諸多好處和不足還應權衡一下。58同城,也算是在這一方面開了一個不錯的先例(恕我孤陋寡聞~)。

2. 多租戶打通與數據隔離

聽完整個視頻,我覺得第二個亮點算是多租戶的全線打通了,這裏主要是一個解決方式:Hadoop ugi 的提出。可能是我孤陋寡聞吧,這個對我的啓發確實挺大的,因爲正好可以解決自己在工作中遇到的一個比較頭疼的問題:基於Kerberos太重,如何打通HBase的授權與鑑權,並充分利用HBase ACL?如果你也有這個困惑,可以瞭解一下。

3. 集羣遷移方案

第三個亮點,是一套新的集羣遷移方案的提出。以往的貼大都是Snapshot+Replication的方式做這個遷移工作,58首先提出了一個集羣雙寫的方案(恕我孤陋寡聞~),感覺挺好。大家可以詳細看看視頻,張祥講解的也很清楚。

答疑解惑

答疑環節呢比較少,這裏把微信羣裏屈指可數的幾個問題貼一下:

1. 集羣遷移爲什麼不直接snapshot+export_snapshot?

張祥: “ 你這個方式慢,snapshot-export這個工具慢 你試試 而且,如果之前的老表 分區不合理,比如過大或者過小,你這樣就不好重新創建新分區了”

2. clone-snapshot以後,major_compact主要是什麼考慮?合併小文件嗎?還是?

張祥: “ 把一個表複製一下,做個深度拷貝,而不是副本引用。”

3. 數據接入層,多租戶RPC長鏈接創建後是如何實現用戶動態切換的?我目前的理解HBase是在建立連接前指定用戶。

張祥: “ugi”

資料分享

在線視頻播放地址: 微信視頻:https://mp.weixin.qq.com/s/pUhsvUaznySryItwjWTjQg 鬥魚直播:https://www.douyu.com/5022062 騰訊視頻:https://v.qq.com/x/page/g3078klzfwj.html

PPT下載地址:

百度雲: 鏈接:https://pan.baidu.com/s/1fAnxS4bSj9HShMOkiFMWfA 提取碼:um8a

掃描二維碼關注博主公衆號

轉載請註明出處!歡迎關注本人微信公衆號【HBase工作筆記】

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章