原创 宜信開源的Wormhole流處理平臺,讓大數據流式開發更輕量、更便捷、更可靠

速點鏈接加入高手戰隊:http://www.dajiangtai.com/course/112.do Wormhole是什麼 Wormhole 面向大數據流式處理項目的開發管理運維人員,致力於提供統一抽象的概念體系,直觀可視化的操作界面

原创 8個你最想知道的數據中臺問題,我們這次聊個透

問題一:是什麼催生了數據中臺? 問題二:數據中臺、 數據倉庫 、數據平臺、數據湖有何區別? 問題三:數據中臺只是一種技術嗎? 問題四:究竟什麼樣的企業更適合做數據中臺? 問題五:數據不多的企業能不能做數據中臺? 問題六:現在建設數據中臺是

原创 大數據運維 | 集羣_監控_CDH_Docker_K8S_兩項目_雲服務器

說明:大數據時代,傳統運維向大數據運維升級換代很常見,也是個不錯的機會。如果想系統學習大數據運維,個人比較推薦通信巨頭運維大咖的分享課程,主要是實戰強、含金量高、專注度高,有6個專題+2個大型項目+騰訊雲服務器,真槍實彈傳授上千大數據集羣

原创 【筆記】hbase有幾個region始終無法上線

現象 日誌報錯: #4, table=null, attempt=1/0 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: or

原创 DolphinScheduler工作流調度引擎 致力於解決數據處理流程中錯綜複雜的依賴關係

速點鏈接加入高手戰隊:http://www.dajiangtai.com/course/112.do DS是什麼 Apache DolphinScheduler是一個分佈式去中心化,易擴展的可視化DAG工作流任務調度系統。致力於解決數據

原创 【經典】一個大數據學習的解決方案

從0基礎小白到架構師,對於一個沒入行的小白來說,想都不敢想,它不僅需要時間的磨鍊,開發經驗的積累,更需要有合適的機遇與平臺。對於大數據技術應用方面,無論是傳統行業還是互聯網行業,經過這幾年的發展已經相當成熟。很多有IT基礎的小夥伴衝着大數

原创 數據中臺的產生背景、核心理念、發展階段

2019年是數據中臺元年,中國整個IT行業在這一年掀起一股新的浪潮,數據中臺這股潮流正席捲IT界的各個角落,並通過各種自媒體發酵滲透到各行各業。數據中臺在大數據時代的背景下格外引人注目,一些有前瞻性的企業都在探討和摸索數字化轉型之路,熱

原创 300頁乾貨,細說我在聯想、聯通 做大數據平臺建設及運維的那些經驗(一)

一、運維的苦惱你要知道 二、機房與集羣分佈可不止一個地 三、巡檢頻次和巡檢項目有哪些 四、一堆的問題該怎麼解決(3個圖) 五、舉例權限變更的處理流程 六、看看真實的工單  

原创 數據中臺是什麼?爲什麼阿里、騰訊、京東都這麼看重數據中臺?

隨着阿里、騰訊、百度等巨頭的大規模組織架構調整,中臺的熱度陡增。一時間,各大互聯網公司紛紛開始跟隨建設中臺。 19年5月2日,有消息傳出稱阿里正在拆分“大中臺”模式。隨後,阿里迴應稱此消息爲假消息——這一回應也進一步催生了”中臺“架構思想

原创 提前突擊了這近200道大數據面試題,果然頭條、京東都給了Offer

面試題包括Java、大數據開發、大數據運維、大數據分析、大數據架構等等 Q1:老師線上 6000+規模集羣,拋開一些其它組件集羣,僅討論 HDFS 數據存儲集羣,保守理應也在有 3000 節點左右,想知道這些存儲節點只是單集羣NameN

原创 拉你和國內大廠實力派數據人一起切磋學藝,內推就業也不愁

“不管國內或全球“新冠”疫情有多嚴重、還得持續多久,我只想先保住我的工作,如果降薪,我也能在短時間找到待遇更好的下一個東家”。                                                        

原创 工作3年,月薪20k+的大數據開發人員,突然說我不想只做Hadoop、Spark、Flink層面的技術開發

“不管國內或全球“新冠”疫情有多嚴重、還得持續多久,我只想先保住我的工作,如果降薪,我也能在短時間找到待遇更好的下一個東家”。                                                        

原创 Kudu專注於大規模數據快速讀寫,同時進行快速分析的利器

速點鏈接加入高手戰隊:http://www.dajiangtai.com/course/112.do Kudu是什麼 Kudu是一個分佈式列式存儲引擎/系統,由Cloudera開源後捐獻給Apache基金會很快成爲頂級項目。用於對大規模

原创 生產環境實踐:Cana實現MySQL到ES實時同步

速點鏈接加入高手戰隊:http://www.dajiangtai.com/course/112.do 注:Canal必備基礎及安裝部署,詳看完整文檔,以下直接摘取乾貨分享。 實現MySQL-->Canal-Server(Instance

原创 Atlas(元數據管理)從掃盲到和Hive、HBase、Kafka、Flink等集成開發

速點鏈接加入高手戰隊:http://www.dajiangtai.com/course/112.do 先對數據分個類 企業數據管理的內容及範疇通常包括交易數據、主數據以及元數據。 (1)交易數據:用於紀錄業務事件,如客戶的訂單,投訴記錄