一. 數據導入(DataImportHandler-DIH)
DIH 是solr 提供的一種針對數據庫、xml/HTTP、富文本對象導入到solr 索引庫的工具包。這裏只針對數據庫做介紹。
A、準備以下jar包
apache-solr-dataimporthandler-4.0.0.jar
apache-solr-dataimporthandler-extras-4.0.0.jar
apache-solr-dataimportscheduler-1.1.jar(增量導入使用)
數據庫對應的jdbc驅動包這裏使用的是Oracle oracle10g.ja放入Tomcat6.0.36/webapps/sol/WEB-INF/lib 中
B、配置solrconfig.xml
在solrconfig.xml中加入如下配置：
<requestHandlername=”/dataimport” class=”org.apache.solr.handler.dataimport.DataImportHandler”>
<lst name=”defaults”>
<str name=”config”>xx-data-config.xml</str>
</lst>
</requestHandler>
C、配置數據源
在與solrconfig.xml文件同級的目錄中建立上述配置中的xx-data-config.xml文件，配置如下
query屬性爲全導入的時候使用。其他爲增量導入使用。
<?xml version=”1.0″ encoding=”UTF-8″ ?>
<dataConfig>
<dataSource type=”JdbcDataSource”
driver=”oracle.jdbc.driver.OracleDriver”
url=”jdbc:oracle:thin:@192.168.0.129:1521:orcl”
user=”username”
password=”password”/>
<document>
<entity name=”business_info” pk=”ID”
query=”select t.ID id,business_name,bussiness_type from business t”
deltaImportQuery=”select t.ID id,business_name,bussiness_type from business t where id=’${dataimporter.delta.ID}’”
deltaQuery=”select t.ID id,business_name,bussiness_type from business t where to_char(updatetime,’yyyy-mm-dd hh24:mi:ss’)> ’${dataimporter.last_index_time}’”>
<field column=”ID” name=”id”/>
</entity>
</document>
</dataConfig>
至此所有DIH的配置完成，在瀏覽器中輸入命令：
全導入：
http://localhost:8085/solr/core0/dataimport?command=full-import&commit=ture
增量導入：
http://localhost:8085/solr/core0/dataimport?command=delta-import&clean=false&commit=ture
查看導入狀態
http://localhost:8085/solr/core0/dataimport?command=status
D、處理CLOB字段
<entity name=”meta” query=”select id,filename,content,bytes from documents” transformer=”ClobTransformer”>
<field column=”ID” name=”id” />
<field column=”CONTENT” name=”CONTENT” clob=”true” />
</entity>
ClOB 字段的 column 必須大寫！！
E、DIH內存溢出錯誤
在使用DIH時，容易報內存溢出錯誤。可以通過設置jvm大小來解決。設置方法如下：
在tomcat\bin\startup.bat 加入SET JAVA_OPTS=-Xms128m -Xmx1024m 配置 這裏設置的是1024M，根據情況可以適量增大
F、自動全導入和自動增量導入
此功能可以自己寫程序實現，也可利用apache-solr-dataimportscheduler-1.0.jar包完成此功能。配置如下：
修改solr.war中WEB-INF/web.xml, 在servlet節點前面增加:
<listener>
<listener-class>
org.apache.solr.handler.dataimport.scheduler.ApplicationListener
</listener-class>
</listener>
將apache-solr-dataimportscheduler-.jar 中 dataimport.properties 取出並根據實際情況修改,然後放到 solr.home/conf (不是solr.home/core/conf) 目錄下面
具體配置可參考：http://code.google.com/p/solr-dataimport-scheduler/
轉自：http://www.solr.cc/blog/?p=260