Solr7使用Oracle數據源導入+中文分詞

安裝目錄假設爲#solr_home,本文的#solr_home爲apps/svr/solr

一、Oracle數據導入

1. 在#solr_home/server/solr下新建文件夾，假設爲mjd;

2. 將#solr_home/server/solr/configsets/_default下的conf文件夾拷貝到#solr_home/server/solr/mjd;

3.打開mjd/conf下的solrconfig.xml添加節點;

<lib dir="${solr.install.dir:../../../..}/contrib/dataimporthandler/" regex=".*\.jar">
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar">

4. 同樣上面那個文件，增加節點;

<requestHandler name="/dataimport" class="org.apche.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</list>
</requestHandler>

5. 下載ojdbc6.jar到#solr_home/contrib/dataimporthandler/中，我是在http://vdisk.weibo.com/s/z8ZZMoqsgpNFH中下載的;

6. 在#solr_home/server/solr/mjd/conf下新建文件data-config.xml，打開，將下列配置複製;

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@192.168.2.218:1521:product " user="數據庫用戶名" password="數據庫密碼" />
    <document name=”product” pk=”主鍵”>
        <entity name="bless" query="select * from bless"<--這裏配查詢語句-->
deltaImportQuery="SELECT * FROM userinfo where spuid='${dih.delta.spuid}'" 
                deltaQuery="select bless_id from bless where bless_time > '${dataimporter.last_index_time}'"><--這裏配增量查詢語句，${dataimporter.last_index_time}表示上次更新時間-->
        </entity>
    </document>
</dataConfig>

7. 進入web管理頁面 localhost:8983/solr/#，點擊Core Admin菜單，點擊AddCore，將name和instanceDir設置爲剛纔我們第一步新建的文件夾名稱;

8. 在菜Thread Dump下方有一個下拉框，選擇剛新建的Core，點擊Schema 裏的Add field菜單，name輸入剛纔配置的查詢語句中的某個字段(假設該字段爲字符串類型)，點擊field type，選擇text_gerneral，點擊下面的添加按鈕;

9. 回到左側菜單，選擇Dataimport，點擊Execute菜單;

10. 回到左側菜單,選擇Query，點擊Execute Query，如果右側查詢出數據，恭喜你，你已經配置好了;

可根據第八步繼續添加自己想要的字段，重複9 10步驟；

二、中文分詞

Solr7之前好像大部分使用的是IK中文分詞器，但是我試了好幾個方法，都沒有成功，而且跟網上經驗描述的目錄結構也很多不一樣，比如大部分說要修改Schema.xml文件，可是後來發現Solr7其實已經不使用Schema了，而是使用的Managed-Schema文件，

而且這裏有個問題就是，當重啓Solr服務器後，項目中的這個文件會被覆蓋掉，目前還沒有找到是從哪裏拷貝過來的模板。進入正題:

1. 進入#solr_home/contrib/analysis-extras/lucene-libs，找到lucene-analyzers-smartcn-7.0.1.jar,複製到#solr_home/server/solr-webapp/webapp/WEB-INF/lib下;

2. 打開#solr_home/server/solr/configsets/_default/conf下的managed-schema，在文件後面加上如下節點

<!-- ChineseAnalyzer -->
    <fieldType name="text_cn_splitting" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>
      </analyzer>
    </fieldType>

3.重啓solr服務;

4.在第一部分第8步的時候，Add Field的時候，看是否有text_cn_splitting類型可選，如果有的話，那在add field的時候將需要進行中文分詞的字段選擇該類型即可;

定時任務:

使用系統的定時任務執行 curl

http://your_ip/dataimport?command=full-import&clean=true&commit=true 全量導入

http://your_ip/dataimport?command=delta-import&clean=false&commit=true 差異導入

這裏clean參數如果是true，會把之前的數據清空掉，然後導入差異的數據，在差異性導入時注意這個參數，不然會把solr裏的數據清空，然後導入差異性的數據(這個差異是清空前的差異)，導致數據缺失；

建議訪問低頻時重建全量索引，如每天凌晨4點做一次全量導入，每10分鐘做一次差異導入

FQA:

1.增量導入是以主鍵作爲增量差異，默認這個主鍵是id，需要在managed-schema裏修改uniqueKey節點成需要的主鍵，且在該文件裏定義的主鍵必須是string類型的，如下圖