雲主機
- 開放端口9000、50010
- 配置雲主機hosts文件
- 配置windows hosts文件
注:兩個hosts文件的主機名要一樣,雲主機用的是私網IP,windows用的是雲主機的公網IP
- 添加配置參數
System.setProperty("HADOOP_USER_NAME", "hadoop"); #設置用戶名
conf.set("dfs.replication", "1"); # 根據自己的副本系數修改
conf.set("dfs.client.use.datanode.hostname", "true"); # 使用主機名訪問DataNode
fileSystem = FileSystem.get(new URI(HDFS_PATH), conf, "hadoop"); # 用戶名也可以在這裏設置
虛擬機
- 關閉虛擬機的防火牆
- 配置虛擬機hosts文件
- 配置windsows的hosts文件(可選)
hdfs://192.168.73.111:9000 # 不配windows的hosts
hdfs://bigdata:9000 # 配windows的hosts
- 設置用戶名,兩種方式
# 法一
System.setProperty("HADOOP_USER_NAME", "hadoop");
# 法二
fileSystem = FileSystem.get(new URI(HDFS_PATH), conf, "hadoop");