Nutch的安裝及配置

1.下載地址:http://nutch.apache.org/downloads.html 安裝版本爲2.4

2.設置nutch環境

3.修改 $NUTCH_HOME/conf/nutch-site.xml 在 configuration節點中增加如下內容:

<property>

<name>storage.data.store.class</name>

<value>org.apache.gora.hbase.store.HBaseStore</value>

<description>Default class for storing data</description>

</property>

4.修改 $NUTCH_HOME/ivy/ivy.xml 去掉如下注釋,啓用 gora-Hbase:

<!-- Uncomment this to use HBase as Gora backend. -->

<dependency org="org.apache.gora" name="gora-hbase" rev="0.6.1" conf="*->default" />

5.修改$NUTCH_HOME/conf/gora.properties ,添加如下內容:

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

6.配置倉庫地址 這邊解釋一下:如果不配置國內的鏡像,使用官網的鏡像,會出現不明的異常。保險起見

修改ivy中配置的maven倉庫地址,具體方法:$NUTCH_HOME/ivy/ivysettings.xml 找到如下代碼:

  <property name="repo.maven.org"
    value="http://maven.oschina.net/content/groups/public/"
    override="false"/>
7.接下來回到$NUTCH_HOME 目錄 執行:

ant runtime

需要等待比較久的時間,因爲要去遠程下載依賴jar包

出現以下SUCCESSFUL表示編譯成功…

8.配置環境變量 編輯

vim ~/.bashrc

加入以下代碼:

export NUTCH_HOME=/usr/local/nutch/apache-nutch-2.4/runtime/local

export PATH=$NUTCH_HOME/bin:$PATH

 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章