博客整體目錄：

一、版本信息及環境準備

二、編譯步驟

三、源碼閱讀，基本條件配備

四、遇到的一些問題記錄

博客相對涉及的插件，下載的github地址（本人github）

https://github.com/tianhuage1997/HBase-source

本人自己編譯好後，編譯的hbase1.3.2的源碼，能跑起來，不過xml文件配置，可以看我博文，哪裏要修改

https://github.com/tianhuage1997/hbase-1.3.2

前言：

最近一直在研究hbase源碼，一直心心念念要把hbase源碼在idea上面跑起來。方便自己調試查看，而且好好研究裏面的測試用例，因爲一直只是看hbasefsck這塊源碼，以及創建表等等。想再具體執行。
期間編譯源碼，遇到不少坑。時間關係，不能一一闡述。
總結性說幾句：

大數據的組件源碼，maven或者構建項目的骨架軟件版本非常重要。儘量選擇版本舊，穩定版的。別用最新。本人親測，從maven 3.0.5-3.6.4，一些版本出來的錯誤，簡直煩惱死人。
編譯如果需要linux環境，儘量選擇原生的linux環境，cgywin等等這些。還是不如原生linux好。相對坑比較少。
編譯執行的時候，要注意一些配置文件。適當修改項目，保證讀取到，能正常執行。

----------------------------一、版本信息及環境準備 --分割線開始---------------------------------------------------

編譯版本：apache-hbase-1.3.2。

編譯版本及軟件環境(apache-hbase-1.3.2)：

本身自己工作看得是1.3.1.奈何有一個問題。詳情查看如下鏈接

https://issues.apache.org/jira/browse/HBASE-19188

大意就是maven3.5.2以上會有問題。其實我試了3.0.5.也不能一次成功，也搞了2次。
hbase 1.3.2的下載地址

https://archive.apache.org/dist/hbase/1.3.2/

1、maven 3.3.9
2、centos 6.5 64位

3、IDEA 2018.2版本
4、jdk1.8版本
5、apache-hbase-1.3.2

環境準備步驟：

1、在linux部署好maven環境變量。

mvn -version

2、配置好maven鏡像。這裏首推maven的mvn網站

https://mvnrepository.com/
基本都有。最好掛vpn代理。我是掛載香港代理。
一些實在沒有的jar。找到了jar。可以手動添加進去倉庫。命令如下：
下面以手動添加oracle的jar爲例子，因爲版權問題，很多倉庫沒有

mvn install:install-file -Dfile=ojdbc8.jar -DgroupId=com.oracle -DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar

3、IDEA設置好構建的選項，

因爲很多官方源碼，在pom做了maven倉庫指定。就算配置maven，在編譯下載jar的時候，會沖掉你maven的配置。如下圖，注意紅色位置

4、maven的設置

maven我的倉庫設置，是阿里雲作爲主倉庫，第二倉庫選擇apache的官方倉庫。方便下載，下面把我maven的setting配置貼出來。

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">

    <!-- Maven配置profiles同時使用多個鏡像倉庫-鷂之神樂 https://www.kagura.me/dev/20181005145043.html -->

    <!--注意：mirrorOf千萬別爲*，建議爲profile的id-->
    <mirrors>
        <mirror>
            <id>aliyun-nexus</id>
            <name>aliyun-nexus</name>
            <mirrorOf>aliyun</mirrorOf>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>
        <mirror>
            <id>cloudera-repo</id>
            <name>cloudera-repo</name>
            <mirrorOf>cloudera</mirrorOf>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </mirror>
        <mirror>
            <id>repo1-maven2</id>
            <name>repo1-maven2</name>
            <mirrorOf>repo1</mirrorOf>
            <url>https://repo1.maven.org/maven2/</url>
        </mirror>
    </mirrors>

    <profiles>

        <profile>
            <id>aliyun</id>
            <repositories>
                <repository>
                    <id>aliyun-nexus</id>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>aliyun-nexus</id>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>cloudera</id>
            <repositories>
                <repository>
                    <id>cloudera-repo</id>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>cloudera-repo</id>
                    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>repo1</id>
            <repositories>
                <repository>
                    <id>repo1-maven2</id>
                    <url>https://repo1.maven.org/maven2/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </repository>
            </repositories>
            <pluginRepositories>
                <pluginRepository>
                    <id>repo1-maven2</id>
                    <url>https://repo1.maven.org/maven2/</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>true</enabled>
                    </snapshots>
                </pluginRepository>
            </pluginRepositories>
        </profile>

        <profile>
            <id>jdk1.8</id>
            <activation>
                <activeByDefault>true</activeByDefault>
                <jdk>1.8</jdk>
            </activation>
            <properties>
                <maven.compiler.source>1.8</maven.compiler.source>
                <maven.compiler.target>1.8</maven.compiler.target>
                <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
            </properties>
        </profile>
    </profiles>

    <!--設置默認配置文件-->
    <activeProfiles>
        <activeProfile>aliyun</activeProfile>
    </activeProfiles>

</settings>

-----------------------------一、版本信息及環境準備–分割線結束---------------------------------------------------

二、編譯步驟：

1、在linux下，解壓源碼，解壓和編譯命令如下，編譯命令是遵照官方文檔的指示來做

tar -zxvf hbase-1.3.2-src.tar.gz
mvn clean compile  package -DskipTests

最好掛載代理，阿里雲很多jar沒有。警告可以忽略，只要不是error級別。如果失敗，注意一下maven倉庫，是不是一些jar下載出錯。

2、從linux拷貝編譯後的源碼，導入進去IDEA

其中有個jar問題。如下圖

出錯，這個不影響後期hbase的源碼執行。它是測試類。後期我文章完成這個測試類問題，再更新。
就可以執行，但是沒有日誌問題。
根據截圖，去hbase 1.3.2的conf目錄拷貝log4j配置文件，拷貝到habse-server的resources。
需要注意把 hbase-server 這個模塊增加一個resources 的文件夾再增加一個log4j.properties 並把 resources 文件夾設置爲資源

3、修改hbase-default.xml文件。在hbase-common項目的resources裏面

修改如下參數，設置爲自己windows下面的路徑，比如D：//resouce/hbase-1.3.2/data,具體命名，自己隨意。

  <property >
    <name>hbase.rootdir</name>
    <value>${hbase.tmp.dir}/hbase（自己電腦文件夾）</value>
  </property>
   <property >
    <name>hbase.tmp.dir</name>
    <value>${java.io.tmpdir}/hbase-${user.name}（自己電腦文件夾）</value>
  </property>
   <property >
    <name>hbase.zookeeper.quorum</name>
    <value>localhost或者127.0.0.1</value>
    </property>
     <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>D:\resource\hbase\zookeeper（自己電腦文件夾）</value>
  </property>
  <property >
    <name>hbase.cluster.distributed</name>
    <value>false</value>
  </property>

當然，還有一些參數。不過這幾個比較關鍵。其他你們自行摸索。

4、最後，執行Hmaster方法。 hbase源碼執行成功。

窗口輸入
localhost:16010就可以。

最後，這個只是跑起來。可是源碼裏面還有一些測試類，無法完全跑起來。請看第四點，如何構造完整的源碼閱讀環境

三、源碼閱讀，基本條件的配備

此次是源碼閱讀的進階

爲什麼源碼跑起來還需要配置hadoop環境。這裏涉及到hbase源碼，有一個非常有意思的類
HBaseTestingUtility
這裏重要事情說三次。注意注意注意
因爲，測試hbase的功能,不一定非要啓動hbase集羣,可以用HBaseTestingUtility在本地進行hbase的部分功能調試。裏面封裝了小型的zk集羣，還有hadoop的組件調用。

爲了表達一下爲什麼測試類在源碼裏面如此重要。下面我舉一下例子：
1、hbase的不同場景問題，故障模擬以及重現
以下是hbase-server項目下的test類
裏面就模擬了hbase的meta表，如果被刪除，出現了zk，hbase的meta，hdfs不匹配的一致性問題，如何去修復。裏面就是會用到HBaseTestingUtility測試類。

基於hbase依賴的hadoop，編譯對應的windows 32/64位插件

其中，這裏引用一個博主的hadoop編譯教程，這個博主條理清晰，可以基於這裏去做編譯

Windows 源碼編譯Hadoop 2.7.4生成X64
https://blog.csdn.net/weixin_39158271/article/details/78722648

官方下載此次對應的hadoop2.5.1版本hadoop包。

由於我發現hadoop2.7.1也可以適用hbase1.3.2的源碼執行，所以，我下面採用hadoop 2. 7.1的windows 64。具體文件在github上
https://github.com/tianhuage1997/HBase-source
1、解壓對應的hadoop安裝包在電腦對應目錄

2、將得到的winutils.exe文件，放在對應的bin目錄下
3、對windows的環境變量進行設置
分別新建HADOOP_HOME目錄，以及新增PATH裏面的信息，詳情看截圖

然後重啓電腦，環境變量生效。（有些電腦不需要）
配置完成後，cmd窗口，輸入如下命令檢查環境

hadoop version

最後，可以隨便找個基於hbase的功能性測試，集羣測試的類看看是否生效
我這裏找對應的類例子

D:\resource\hbase-1.3.2\hbase-server\src\test\
java\org\apache\hadoop\hbase\util\hbck\TestOfflineMetaRebuildBase.java

執行完成

四、遇到的一些問題記錄

1、在IDEA，如下類異常。因爲IDEA默認不支持單個文件2.5M的java文件

讀者反映在hbase-1.3.2\hbase-client\src\test\java\org\apache\hadoop\hbase\client\TestSnapshotFromAdmin.java裏面，代碼雖然能執行，但是IDEA顯示紅色問題
這個問題是因爲IDEA不支持2.5MB以上的單個java。因爲IDEA會默認認爲超過單文件容量2.5MB的文件不是java文件，會不檢查
解決辦法如下：
打開idea的help->edit custom properties
創建一個idea.properties,追加：idea.max.intellisense.filesize=9999

然後重啓idea即可，如下，問題解決。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (generate) on project hbase-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\idea_workspace\hbase-1.3.6\hbase-common"): CreateProcess error=2, 系統找不到指定的文件。 -> [Help 1]
[ERROR]

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (run-createArchetypes-script) on project hbase-archetype-builder: Command execution failed. Process exited with an error: 1 (Exit value: 1) -> [Help 1]

下次更新hbase-shell窗口的執行。文章還是很多沒涉及，時間問題。有空再寫。但是hmaster已經可以。先用api執行對應功能，跑用例。源碼閱讀環境已經具備。等完整的全部解決，我博客再更新。後期會寫一些hbase的源碼文章

最後，附上之前踩坑遇到一些問題代碼。基本都是兼容性問題，環境問題太多了。所以文章的很多篇幅在說環境等等。

hbase 1.3.2 源碼 IDEA編譯執行

博客整體目錄：

一、版本信息及環境準備

二、編譯步驟

三、源碼閱讀，基本條件配備

四、遇到的一些問題記錄

博客相對涉及的插件，下載的github地址（本人github）

本人自己編譯好後，編譯的hbase1.3.2的源碼，能跑起來，不過xml文件配置，可以看我博文，哪裏要修改

前言：

編譯版本：apache-hbase-1.3.2。

編譯版本及軟件環境(apache-hbase-1.3.2)：

環境準備步驟：

1、在linux部署好maven環境變量。

2、配置好maven鏡像。這裏首推maven的mvn網站

3、IDEA設置好構建的選項，

4、maven的設置

二、編譯步驟：

1、在linux下，解壓源碼，解壓和編譯命令如下，編譯命令是遵照官方文檔的指示來做

2、從linux拷貝編譯後的源碼，導入進去IDEA

3、修改hbase-default.xml文件。在hbase-common項目的resources裏面

4、最後，執行Hmaster方法。 hbase源碼執行成功。

三、源碼閱讀，基本條件的配備

此次是源碼閱讀的進階

基於hbase依賴的hadoop，編譯對應的windows 32/64位插件

官方下載此次對應的hadoop2.5.1版本hadoop包。

四、遇到的一些問題記錄

1、在IDEA，如下類異常。因爲IDEA默認不支持單個文件2.5M的java文件

開源高性能結構化日誌模塊NanoLog

【簡寫Mybatis-02】註冊機的實現以及SqlSession處理

手繪二維碼

.NET藉助虛擬網卡實現一個簡單異地組網工具

hdfs的FSImage和Edits文件

hbase 1.3.2 源碼 IDEA編譯執行

CDH6.0、6.1篇：2、MySQl配置文件my.cnf

IDEA-2018版本的hadoop 2.7.1 插件安裝教程(自制插件)

整合boot和cloud時候針對和區別的疑惑

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

hbase 1.3.2 源碼 IDEA編譯執行

博客整體目錄：

一、版本信息及環境準備

二、編譯步驟

三、源碼閱讀，基本條件配備

四、遇到的一些問題記錄

博客相對涉及的插件，下載的github地址（本人github）

本人自己編譯好後，編譯的hbase1.3.2的源碼，能跑起來，不過xml文件配置，可以看我博文，哪裏要修改

前言：

編譯版本：apache-hbase-1.3.2。

編譯版本及軟件環境(apache-hbase-1.3.2)：

環境準備步驟：

1、在linux部署好maven環境變量。

2、配置好maven鏡像。這裏首推maven的mvn網站

3、IDEA設置好構建的選項，

4、maven的設置

二、編譯步驟：

1、在linux下，解壓源碼，解壓和 編譯命令如下，編譯命令是遵照官方文檔的指示來做

2、從linux拷貝編譯後的源碼，導入進去IDEA

3、修改hbase-default.xml文件。在hbase-common項目的resources裏面

4、 最後，執行Hmaster方法。 hbase源碼執行成功。

三、源碼閱讀，基本條件的配備

此次是源碼閱讀的進階

基於hbase依賴的hadoop，編譯對應的windows 32/64位插件

官方下載此次對應的hadoop2.5.1版本hadoop包。

四、遇到的一些問題記錄

1、在IDEA，如下類異常。因爲IDEA默認不支持單個文件2.5M的java文件

1、在linux下，解壓源碼，解壓和編譯命令如下，編譯命令是遵照官方文檔的指示來做

4、最後，執行Hmaster方法。 hbase源碼執行成功。