通过Webdav共享HDFS---Server端

Webdav的war包下载路径:http://down.51cto.com/data/845202


1.Webdav协议介绍:

WebDAVWeb-based Distributed Authoring andVersioning)是基于 HTTP 1.1 的一个通信协议。它为 HTTP 1.1 添加了一些扩展(就是在 GETPOSTHEAD 等几个 HTTP 标准方法以外添加了一些新的方法),使得应用程序可以直接将文件写到 Web Server 上,并且在写文件时候可以对文件加锁,写完后对文件解锁,还可以支持对文件所做的版本控制。



2.项目介绍

本项目是一个hadoop namenode serverwebdav协议访问代理,实现 client => hdfs-webdav proxy =>hadoop namenode server的中间层. 项目修改自tomcatWebdavServlet,实现了WebDAV level 2协议.



3.war部署

修改配置

修改hdfs-webdav.war里面的WEB-INF/classes/hadoop-site.xml

修改fs.default.name属性,以确定hdfs-webdav要连接的hadoop NameNode Server(红色表示进行修改的部分):

<property>

  <name>fs.default.name</name>

  <value>hdfs://192.168.2.9:9000/</value>

  <description>namenode</description>

</property>

替换hadoop.jar版本

由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容,所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.war自带的是hadoop-0.18.1-core.jar的版本,这里用到的hadoop的版本是1.3.0,而且从1.0开始这个jar文件的命名方式出现了变化,不再是以往的hadoop-x.x.x-core.jar而变成了hadoop-core-x.x.x.jar这样的明明方式。

查看hadoop版本可以用命令,hadoop –version命令查询。

PS.这里部署出现了些问题,现象就是明明hadoop的版本是1.3.0,但是使用命令查看hadoop的版本显示却是1.4.0。解决方法,将hadoop-core-1.3.0.jar文件重命名为hadoop-core-1.4.0.jar后解决。

部署至tomcat

以上修改完,war包部署至tomcat或是jboss,部署在其它服务器中时需要tomcatcatalina.jartomcat-coyote.jar,拷贝至WEB-INF/lib目录,因为现在项目是从tomcatWebdavServlet中修改而来的

测试是否部署成功

访问elinks http://localhost:8080/hdfs-webdav --dump

如果显示界面如下,就表示配置成功了:

DirectoryListing For /

 --------------------------------------------------------------------------

   Filename                                  Size             Last Modified

      [1]tmp/                                             Sat, 27 Apr 2013              

 --------------------------------------------------------------------------

 Apache Tomcat/6.0.20

References

  Visible links

  1. http://localhost:8080/hdfs-webdav/



4.webdav客户端访问

实现webdavhdfs可以映射为windows或是linux本地文件夹.

window网上邻居访问

打开网上邻居,添加网上邻居,在请键入网上邻居的位置中输入 Web 文件夹的 URL.

http://localhost:8080/hdfs-webdav

然后按照向导的提示继续下一步就可以了.

Linux mount WebDav为本地文件系统

linux下相要mount WebDAV server为本地文件系统,必须要使用davfs2,项目网址:http://dav.sourceforge.net/

安装davfs2请使用编译安装

davfs2编译时依赖于neon,neon是一个WebDAV client library. neon网址http://www.webdav.org/neon/

dsvfs2mount时会使用fuse或是coda这两个文件系统,其中一个文件系统linux一般都有自带,davfs2mount时会首先尝试使用fuse,失败时再使用coda

但在CentOs中使用coda时发生如下错误,所以后面安装fuse, fuse网址http://fuse.sourceforge.net/

/sbin/mount.davfs: nofree coda device to mount

/sbin/mount.davfs:trying fuse kernel file system

/sbin/mount.davfs:can't open fuse device

neon,davfs2,fuse编译安装: 项目的linux_mount_lib目录已经自带了这三个包

1.运行./configure

2.运行make

3.运行make install

运行davfs2mount命令

mount之前,davfs2需要创建davfs2用户及用户组

[root@datacenter5usr]# mkdir /data/hdfs

[root@datacenter5usr]# groupadd davfs2

[root@datacenter5usr]# useradd -g davfs2 davfs2

[root@datacenter5usr]# mount.davfs http://192.168.55.104:8080/hdfs-webdav /data/hdfs





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章