原创 Hadoop源碼之Map/Reduce應用過程
1、應用Map/Reduce的過程如下： 1）將要處理的數據組成一對對Key-Value的方式，並生成文件； 2）將這些Key-Value數據轉換映射成另外的Key-Value數據，這其中的轉化映射邏輯（算法）封裝成一個實現Mapper接
2020-06-19 13:09:42
1
原创 hadoop源碼之DataNode
DataNode存放hdfs中的數據，接受客戶端與其他DataNode的請求。 DataNode服務由如下線程構成，按DataNode啓動各線程的先後出場順序列出： 1、DataXceiveServer：數據接收監聽守護線程，當監聽有請求
2020-06-19 13:09:42
原创 Hadoop源碼之RPC機制
研讀Hadoop源碼，不得不說其中的RPC機制。 實現RPC的幾個基本步驟： 1）客戶端需要有一個負責與遠程服務端對象通信的對象，稱爲A； 2）服務端需要有一個負責與遠程客戶端對象通信的對象，稱爲B； 3）A負責將客戶端請求的Java類型
2020-06-19 13:09:42
原创 hbase系列（一）：單機應用（不基於hdfs）
1、下載hbase-0.20.6.tar.gz； 2、解壓； 3、修改conf/hbase-env.sh中的JAVA_HOME路徑； 4、bin/start-hbase.sh, 啓動hbase，過程中需要輸入兩次密碼； 啓動後，
2020-06-19 13:09:42
原创 Mysql的簡單QPS測試（單機）
MySQL官方網站下載： 1、MySQL-server-5.5.28-1.rhel4.i386.rpm 2、java驅動 mysql-connector-java-5.1.5-bin.jar 測試服務器爲Dell E5410 的D
2020-06-19 11:57:00
5
原创 hbase的Java簡單應用
hbase0.20.6 + hadoop0.20.2 需要的jar包爲： hadoop-0.20.2-core.jar hbase-0.20.6.jar zookeeper-3.2.2.jar log4j-1.2.15.jar commo
2020-06-19 11:57:00
原创 Hadoop源碼之TaskTracker
TaskTracker是Map/Reduce中執行任務的服務。 1、有如下線程爲其提供支撐： 1）提供一組RPC服務（TaskUmbilicalProtocol）的1個Listener線程與默認10個Handler線程； 2）提供另一組R
2020-02-25 17:19:57
原创 HBase的keyvalue內部結構
1、創建一個表table1： hbase> create 'table1','family1','column1' 查看hbase目錄，已生成table1目錄； 2、創建一個表table2： hbase> create 'table2',
2020-02-25 17:19:57
原创 hdfs的搭建
創建rsa無密碼登錄： ssh-keygen -t rsa cat .ssh/id_rsa.pub .ssh/authorized_keys 先配置hdfs： 1、下載hadoop-0.20.2.tar.gz，解壓; 2、修改con
2020-02-25 17:19:57
原创 HBase的簡單性能測試
測試服務器爲Dell E5410 的Debian linux 2.6，配置爲： 1、4核，2.33GHz 2、內存3G 3、SATA硬盤2T web服務器：tomcat5.5 打壓工具：Apache Bench Hadoop：0.2
2020-02-25 17:19:57
原创 MongoDB的簡單QPS測試（單機）
mongoDB官方網站下載： 1、mongodb-linux-i686-2.2.1.tgz 2、java驅動 mongo-2.2.jar 測試服務器爲Dell E5410 的Debian linux 2.6，配置爲： 1、4核
2020-02-25 17:19:47
原创 hbase的單機應用（不基於hdfs）
1、下載hbase-0.20.6.tar.gz； 2、解壓； 3、修改conf/hbase-env.sh中的JAVA_HOME路徑； 4、bin/start-hbase.sh, 啓動hbase，過程中需要輸入兩次密碼； 啓動後，
2020-02-25 17:19:47
原创 hadoop源碼之NameNode
Namenode是hdfs的名字節點，保存着文件系統的元數據，響應客戶端與DataNode的請求。 有如下線程爲Namenode進行服務： 1、HeartbeatMonitor：心跳守護線程，該線程一直在進行與DataNode之間的心跳
2020-02-25 17:19:47
原创 hbase系列（二）：集羣應用（基於hdfs）
創建rsa無密碼登錄： ssh-keygen -t rsa cat .ssh/id_rsa.pub .ssh/authorized_keys 先配置hdfs： 1、下載hadoop-0.20.2.tar.gz，解壓; 2、修改co
2020-02-25 17:19:47
原创 Hbase源碼之HMaster
HMaster是Hbase中管理數據庫元數據的服務器。 1、HMaster由下述的幾組線程爲其服務： 1）RootScanner：根節點HRegion的掃描線程； 2）MetaScanner：Meta節點HRegion的掃描線程； 3）L
2020-02-25 17:19:47