原创 Java併發編程面試基礎問題和答案

Java併發編程 1.Synchronized用過嗎,其原理是什麼? 這是一道Java面試中幾乎百分百會問到的問題,因爲沒有任何寫過併發程序的開發者會沒聽說或者沒接觸過Synchronized。Synchronized是由JVM實現的一種

原创 Hadoop YARN:ApplicationMaster向ResourceManager註冊AM源碼調試

#0. 先看一下測試demo的運行流程 a.創建一個YARN客戶端YarnClient, 並與ResourceManager建立連接 b.通過YARN客戶端創建一個應用並獲取到應用提交上下文對象、設置相關的屬性 特別是需要設置setAM

原创 Hadoop YARN:ApplicationMaster與ResourceManager交互源碼解析

ApplicationMaster<-->ResourceManager   “通用”YARN應用涉及的角色及交互: RM:ResourceManager AM:ApplicationMaster NM:NodeManager   交互中

原创 Apache Hadoop YARN:Client與ResourceManager交互源碼解析

本文主要解析Client<-->ResourceManager之間接口(方法)調用過程(不涉及RPC細節)。 “通用”YARN應用涉及的角色及交互: RM:ResourceManager AM:ApplicationMaster NM:N

原创 Apache Hadoop YARN:Client客戶端與ResourceManager源碼DEBUG

本文將通過DEBUG的方式進行源碼跟蹤, 探查YARN客戶端與ResourceManager之間簡單的交互過程, 以yarnClient.getAllQueues()獲取YARN集羣所有隊列信息爲例進行演示。 Hadoop版本3.2.1

原创 使用Docker快速搭建Zookeeper和kafka集羣

集羣搭建 鏡像選擇 Zookeeper和Kafka集羣分別運行在不同的容器中zookeeper官方鏡像,版本3.4kafka採用wurstmeister/kafka鏡像 集羣規劃 hostname Ip addr port lis

原创 我的友情鏈接

逆水行舟不進則退-敏少

原创 知識點-Spark小節

主頁博客地址:Spark小節https://blog.icocoro.me Spark處理字符串日期的max和min的方式Spark處理數據存儲到Hive的方式Spark處理新增列的方式map和udf、functionsSpark處理行轉

原创 Mac下WordPress4.1安裝使用筆記

WordPress簡介        WordPress是一種使用PHP語言開發的博客平臺,用戶可以在支持PHP和MySQL數據庫的服務器上架設屬於自己的網站。也可以把 WordPress當作一個內容管理系統(CMS)來使用。       

原创 使用sqoop將數據從mysql同步到hbase

- sqoop - 數據同步 - hbase 使用sqoop將數據從mysql同步到hbase知識點-HBase初體驗知識點-愉快地通過Thrift訪問HBase知識點-HBaseClient(Java) 目前機器使用的sqoop版本