大數據之五 hadoop HDFS HA集羣客戶端+eclipse(java API)配置

搭建好HDFS HA集羣后,我們來配置客戶端,用來操作HDFS HA集羣
搭建HDFS HA集羣參看 大數據之四 hadoop HDFS HA 高可用的完全分佈式

客戶端+eclipse(java API)配置

  1. 首先我們選擇一臺客戶機,任意選擇,只要能與集羣通信即可,這裏就使用真機
  2. 將集羣中配置好的 hadoop 安裝包拷貝到真機上
  3. 配置 hadoop 的環境變量
    HADOOP_HOME:hadoop安裝包的位置
    PATH:%HADOOP_HOME%\bin
    HADOOP_USER_NAME:登錄集羣的用戶名稱,只要是可以登錄集羣的用戶名就可以,這裏配置爲root
    HADOOP_HOME
    HADOOP_USER_NAME
  4. 將hadoop的插件放到eclipse的dropins\plugins\ 目錄下,如果沒有 plugins目錄則手動創建。插件可到github下載對應版本。
    如果是按照大數據之四 hadoop HDFS HA 高可用的完全分佈式搭建的集羣環境,則插件使用 2.6.0 版本在這裏插入圖片描述
    Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin
  5. 啓動eclipse,點擊菜單欄的window–>Preferences 進入Preferences選項窗口,此時會有一個Hadoop Map/Reduce,點擊如下圖,選擇hadoop安裝包的位置,點擊Apply–>OK
    hadoop插件配置
  6. 點擊菜單欄的window–>Show View–>other進入Show View 窗口如下。在搜索欄輸入Map/Reduce,選中黃色小象Map/Reduce Location,點擊OK
    show view
  7. 此時下方控制檯窗口便會出現Map/Reduce Location的窗口,在空白處右擊,選擇 New Hadoop location
    Map/Reduce Location
  8. 按下圖進行配置,點擊finish
    config
  9. 配置完成,project窗口中顯示如下,連接成功
    DFS
  10. 如果要在項目中操作HDFS集羣,則需要導入依賴jar包和配置文件。
    將hadoop安裝包中share\hadoop目錄下 common,hdfs,tools三個文件夾中的jar包及其下lib文件夾中的jar包整合並導入項目。
    在這裏插入圖片描述
    在這裏插入圖片描述
  11. 將加入的jar包加入classpath,通過build path。
    在這裏插入圖片描述
  12. 創建Source Folder文件,將hadoop安裝包中的hdfs-site.xml和core-site.xml拷入其中,然後就可以在項目中操作HDFS集羣了
    source folder
    source
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章