搭建好HDFS HA集羣后,我們來配置客戶端,用來操作HDFS HA集羣
搭建HDFS HA集羣參看 大數據之四 hadoop HDFS HA 高可用的完全分佈式
客戶端+eclipse(java API)配置
- 首先我們選擇一臺客戶機,任意選擇,只要能與集羣通信即可,這裏就使用真機
- 將集羣中配置好的 hadoop 安裝包拷貝到真機上
- 配置 hadoop 的環境變量
HADOOP_HOME:hadoop安裝包的位置
PATH:%HADOOP_HOME%\bin
HADOOP_USER_NAME:登錄集羣的用戶名稱,只要是可以登錄集羣的用戶名就可以,這裏配置爲root
- 將hadoop的插件放到eclipse的dropins\plugins\ 目錄下,如果沒有 plugins目錄則手動創建。插件可到github下載對應版本。
如果是按照大數據之四 hadoop HDFS HA 高可用的完全分佈式搭建的集羣環境,則插件使用 2.6.0 版本
Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin - 啓動eclipse,點擊菜單欄的window–>Preferences 進入Preferences選項窗口,此時會有一個Hadoop Map/Reduce,點擊如下圖,選擇hadoop安裝包的位置,點擊Apply–>OK
- 點擊菜單欄的window–>Show View–>other進入Show View 窗口如下。在搜索欄輸入Map/Reduce,選中黃色小象Map/Reduce Location,點擊OK
- 此時下方控制檯窗口便會出現Map/Reduce Location的窗口,在空白處右擊,選擇 New Hadoop location
- 按下圖進行配置,點擊finish
- 配置完成,project窗口中顯示如下,連接成功
- 如果要在項目中操作HDFS集羣,則需要導入依賴jar包和配置文件。
將hadoop安裝包中share\hadoop目錄下 common,hdfs,tools三個文件夾中的jar包及其下lib文件夾中的jar包整合並導入項目。
- 將加入的jar包加入classpath,通過build path。
- 創建Source Folder文件,將hadoop安裝包中的hdfs-site.xml和core-site.xml拷入其中,然後就可以在項目中操作HDFS集羣了