原创 OSCache 應用與源碼分析
緩存配置oscache.properties cache.memory 是否使用內存緩存; true 或 false。默認爲true; 如設置爲false，那cache只能緩存到數據庫或硬盤中。 cache.capacity 緩
2020-06-25 22:28:09
原创 Hadoop源碼分析-JAVA RPC
JAVA RPC: http://jbm3072.iteye.com/blog/1088102 目標:讓客戶端調用遠程機器(不同JVM上)的方法. 技術:RPC(Remote Process Call遠程過程調用) 優點:使用RPC
2020-06-25 22:27:58
原创 SpringMVC源碼分析(1) HandlerMapping
源碼分析(1):HandlerMapping 當用戶在瀏覽器輸入一個URL地址,瀏覽器發起一個http請求,請求到達服務器後,首先會被SpringMVC註冊在web.xml中的前端轉發器DispatcherServlet接收,Dis
2020-02-20 15:37:37
原创 virtualbox ubuntu hadoop-1.0.4 完全分佈式
主機操作系統：Ubuntu-12.04 虛擬機操作系統：Ubuntu-10.04.iso 虛擬機軟件：Virtualbox-4.2.deb ps：從evernote複製到iteye，圖片都沒有，查看完整版本，移動evernote共享
2020-02-20 15:37:37
原创 Hadoop源碼分析-RPC.Client
內部類 作用 Call 用於封裝Invocation對象，作爲VO寫到服務端，同時也用於存儲從服務端返回的數據 Connection 用以處理遠程連接對象。繼承了Thread ConnectionId
2020-02-20 15:37:37
原创 Hadoop源碼分析-RPC
方法 說明 waitForProxy 保證namenode啓動正常且連接正常，主要由SecondayNode、Datanode、JobTracker使用 stopProxy 停止代理 getProxy 創
2020-02-20 15:37:36
原创 Hadoop DataNode小結
在分析DataNode時, 因爲DataNode上保存的是數據塊, 因此DataNode主要是對數據塊進行操作. **A. DataNode的主要工作流程:** 1. 客戶端和DataNode的通信: 客戶端向DataNode
2018-11-26 11:46:33
原创 Hadoop源碼分析-RPC.Server
內部類 作用 Call 存儲客戶端發來的請求 Listener 監聽類: 監聽客戶端發來的請求，內部靜態類Listener.Reader: 當監聽器監聽到用戶請求，便讓Reader讀取用戶請求 Res
2018-11-26 11:46:33
原创 MapReduce源碼註釋-MapTask.MapOutputBuffer.Buffer
public class Buffer extends OutputStream { private final byte[] scratch = new byte[1]; public synchron
2018-11-26 11:46:33
原创 Hadoop源碼註釋 - 塊讀取
DFSClient.RemoteBlockReader.newBlockReader() public static BlockReader newBlockReader( Socket sock, String file, l
2018-11-26 11:46:33
3
原创 Hadoop源碼分析- RPC DataNode
見附件內容 FileSystem Writable RPC概述 RPC.Client Server RPC Protocol HDFS基本概念 Hadoop Upgrade Datanode存
2018-11-26 11:46:23
原创 Pig UDF(LOAD)示例代碼分析
參考文檔: Hadoop:The Definitive Guide3E Chapter11.Pig 代碼具體地址: tomwhite-hadoop-book-32dae01\ch11\src\main\java\com\hadoopboo
2018-11-20 12:13:33
原创 Meet Hadoop on Windows
hadoop-0.20.2 單機模式和僞分佈式部署 1. install cygwin sshd 2. 下載hadoop-0.20.2,解壓到d:/hadoop-0.20.2 3. hadoop-evn.sh添加以下配置:
2018-11-20 12:13:33
原创 Pig Hive HBase Zookeeper安裝和配置
Pig Hive HBase Zookeeper安裝和配置 evernote共享鏈接: https://www.evernote.com/pub/xuyuantree/20_ hadoop@zqh:~$ cd /usr/local
2018-11-20 12:13:33