linux环境下在eclipse创建maven项目访问hadoop文件系统的文件

1.在linux系统中打开eclipse

2.新建一个maven项目



一路next,填写group id和artifact id 点击finish结束。

3:在左边的项目栏中找到pom.xml文件,在这里要添加配置来为项目开始hadoop相关的jar包




在pom.xml文件中的dependencies块中添加红色方框中的配置信息。按ctrl +s保存文件退出

4.在项目文件夹中创建/src/main/resources文件夹



5.创建/src/main/resources文件夹后,指定这个文件夹的输出路径





一路ok,完成输出路径的指定。

6.将hadoop包中的core-site.xml文件复制到src/main/resources中(也就是我们刚才创建的文件):

打开linux 终端,定位到hadoop文件夹下/etc/hadoop/ 找到core-site.xml文件,将该文件复制到src/main/resources下,这个文件夹一般在home目录中user/workspace/HDFS_TEST中,这里HDFS_TEST是项目名称。

示例代码:

cd /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop

cp core-site.xml ~/workspace/HDFS_TEST/src/main/resources/


7.回到eclipse工作界面中运行脚本,即可访问hadoop文件系统中的文件


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章