windows下IDEA操作遠程HDFS(雲主機 | 虛擬機)

雲主機

  1. 開放端口9000、50010
  2. 配置雲主機hosts文件
  3. 配置windows hosts文件
    注:兩個hosts文件的主機名要一樣,雲主機用的是私網IP,windows用的是雲主機的公網IP
  4. 添加配置參數
System.setProperty("HADOOP_USER_NAME", "hadoop");  #設置用戶名
conf.set("dfs.replication", "1");       # 根據自己的副本系數修改
conf.set("dfs.client.use.datanode.hostname", "true");  # 使用主機名訪問DataNode
fileSystem = FileSystem.get(new URI(HDFS_PATH), conf, "hadoop");  # 用戶名也可以在這裏設置

虛擬機

  1. 關閉虛擬機的防火牆
  2. 配置虛擬機hosts文件
  3. 配置windsows的hosts文件(可選)
hdfs://192.168.73.111:9000     # 不配windows的hosts
hdfs://bigdata:9000      # 配windows的hosts
  1. 設置用戶名,兩種方式
# 法一
System.setProperty("HADOOP_USER_NAME", "hadoop"); 
# 法二
fileSystem = FileSystem.get(new URI(HDFS_PATH), conf, "hadoop");
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章