原创 大數據權限管理工具Ranger 2.0.0的安裝部署到使用測試(踩坑詳情)

ranger的安裝與部署及使用一、Ranger的介紹二、Ranger的架構三、Ranger的安裝與部署1、安裝git(務必安裝)2、下載Ranger安裝包3、下載maven4、開始編譯5、安裝Ranger控制檯:Ranger-ad

原创 大數據Spark YarnCluster模式源碼分析——提交任務2+切分任務(手把手看源碼)

寫在前面的話:本篇博客爲原創,認真閱讀需要比對spark 2.1.1的源碼,預計閱讀耗時30分鐘,如果大家發現有問題或者是不懂的,歡迎討論 歡迎關注公衆號:後來X spark 2.1.1的源碼包(有需要自取):關注公衆號【後來

原创 大數據Spark YarnCluster模式源碼分析——提交任務(圖文並茂)

寫在前面的話:本篇博客爲原創,認真閱讀需要比對spark 2.1.1的源碼,預計閱讀耗時30分鐘,如果大家發現有問題或者是不懂的,歡迎討論 歡迎關注公衆號:後來X spark 2.1.1的源碼包(有需要自取):關注公衆號【後來

原创 Spark的兩種核心Shuffle(HashShuffle與SortShuffle)的工作流程與源碼分析(手把手看源碼)

寫在前面的話:本篇博客爲原創,認真閱讀需要比對spark 2.1.1的源碼,預計閱讀耗時30分鐘,如果大家發現有問題或者是不懂的,歡迎討論 歡迎關注公衆號:後來X spark 2.1.1的源碼包(有需要自取):關注公衆號【後來

原创 一篇文章讀懂HBase,從安裝/架構/API全部剖析(圖文並茂)--未完待續

又是一週,這次給自己複習一下Hbase,算是寫的比較詳細的,當然比較晚了,還沒寫完,這兩天一定抽時間把它補完。 接下來進入正題: 1、Hbase的介紹 之前我們熟悉的數據庫,比如Mysql,屬於是關係型數據庫,但是它的單機單表的數