Nutch全文搜索學習筆記

原創 FredaQ 2020-02-24 02:44
Nutch 1.3 學習筆記1
--------------------

1. Nutch是什麼?

Nutch是一個開源的網頁抓取工具，主要用於收集網頁數據，然後對其進行分析，建立索引，以提供相應的接口來對其網頁數據進行查詢的一套工具。其底層使用了Hadoop來做分佈式計算與存儲，索引使用了Solr分佈式索引框架來做，Solr是一個開源的全文索引框架，從Nutch 1.3開始，其集成了這個索引架構


2. 在哪裏要可以下載到最新的Nutch?

在下面地址中可以下載到最新的Nutch 1.3二進制包和源代碼
http://mirror.bjtu.edu.cn/apache//nutch/


3. 如何配置Nutch?

   3.1 對下載後的壓縮包進行解壓，然後cd $HOME/nutch-1.3/runtime/local

   3.2 配置bin/nutch這個文件的權限，使用chmod +x bin/nutch 

   3.3 配置JAVA_HOME，使用export JAVA_HOME=$PATH

4. 抓取前要做什麼準備工作?

4.1 配置http.agent.name這個屬性，如下
[html] view plaincopyprint?
  1. <PRE class=html name="code"><property>  
  2.     <name>http.agent.name</name>  
  3.     <value>My Nutch Spider</value>  
  4. </property></PRE><BR>  
  5. <BR>  
  6. <PRE></PRE>  
  7. <PRE></PRE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
[html] view plaincopyprint?
  1. <property>  
  2.     <name>http.agent.name</name>  
  3.     <value>My Nutch Spider</value>  
  4. </property>  
















4.2 建立一個地址目錄,mkdir -p urls

   在這個目錄中建立一個url文件，寫上一些url，如






[html] 
view plaincopyprint?




  1. http://nutch.apache.org/  


http://nutch.apache.org/




4.3 然後運行如下命令









[html] 
view plaincopyprint?




  1. bin/nutch crawl urls -dir crawl -depth 3 -topN 5  


bin/nutch crawl urls -dir crawl -depth 3 -topN 5


注意，這裏是不帶索引的，如果要對抓取的數據建立索引，運行如下命令








[html] 
view plaincopyprint?




  1. bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5  


bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5


5. Nutch的抓取流程是什麼樣子的？


5.1 初始化crawlDb，注入初始url










[html] 
view plaincopyprint?




  1. <PRE class=html name="code">bin/nutch inject   
  2. Usage: Injector <crawldb> <url_dir></PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  


[html] view plaincopyprint?
  1. bin/nutch inject   
  2. Usage: Injector <crawldb> <url_dir>  















在我本地運行這個命令後的輸出結果如下：






[html] 
view plaincopyprint?




  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch inject db/crawldb urls/  
  2.         Injector: starting at 2011-08-22 10:50:01  
  3.         Injector: crawlDb: db/crawldb  
  4.         Injector: urlDir: urls  
  5.         Injector: Converting injected urls to crawl db entries.  
  6.         Injector: Merging injected urls into crawl db.  
  7.         Injector: finished at 2011-08-22 10:50:05, elapsed: 00:00:03  


lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch inject db/crawldb urls/
		Injector: starting at 2011-08-22 10:50:01
		Injector: crawlDb: db/crawldb
		Injector: urlDir: urls
		Injector: Converting injected urls to crawl db entries.
		Injector: Merging injected urls into crawl db.
		Injector: finished at 2011-08-22 10:50:05, elapsed: 00:00:03


5.2 產生新的抓取urls







[html] 
view plaincopyprint?




  1. bin/nutch generate  
  2. Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]  


bin/nutch generate
Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]


本機輸出結果如下：






[html] 
view plaincopyprint?




  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch generate db/crawldb/ db/segments  
  2.         Generator: starting at 2011-08-22 10:52:41  
  3.         Generator: Selecting best-scoring urls due for fetch.  
  4.         Generator: filtering: true  
  5.         Generator: normalizing: true  
  6.         Generator: jobtracker is 'local', generating exactly one partition.  
  7.         Generator: Partitioning selected urls for politeness.  
  8.         Generator: segment: db/segments/20110822105243   // 這裏會產生一個新的segment  
  9.         Generator: finished at 2011-08-22 10:52:44, elapsed: 00:00:03  


lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch generate db/crawldb/ db/segments
		Generator: starting at 2011-08-22 10:52:41
		Generator: Selecting best-scoring urls due for fetch.
		Generator: filtering: true
		Generator: normalizing: true
		Generator: jobtracker is 'local', generating exactly one partition.
		Generator: Partitioning selected urls for politeness.
		Generator: segment: db/segments/20110822105243   // 這裏會產生一個新的segment
		Generator: finished at 2011-08-22 10:52:44, elapsed: 00:00:03


5.3 對上面產生的url進行抓取







[html] 
view plaincopyprint?




  1. bin/nutch fetch  
  2. Usage: Fetcher <segment> [-threads n] [-noParsing]  


		bin/nutch fetch
		Usage: Fetcher <segment> [-threads n] [-noParsing]



這裏是本地的輸出結果：






[html] 
view plaincopyprint?




  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch fetch db/segments/20110822105243/  
  2.         Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.  
  3.         Fetcher: starting at 2011-08-22 10:56:07  
  4.         Fetcher: segment: db/segments/20110822105243  
  5.         Fetcher: threads: 10  
  6.         QueueFeeder finished: total 1 records + hit by time limit :0  
  7.         fetching http://www.baidu.com/  
  8.         -finishing thread FetcherThread, activeThreads=1  
  9.         -finishing thread FetcherThread, activeThreads=  
  10.         -finishing thread FetcherThread, activeThreads=1  
  11.         -finishing thread FetcherThread, activeThreads=1  
  12.         -finishing thread FetcherThread, activeThreads=0  
  13.         -activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0  
  14.         -activeThreads=0  
  15.         Fetcher: finished at 2011-08-22 10:56:09, elapsed: 00:00:02  


lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch fetch db/segments/20110822105243/
		Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.
		Fetcher: starting at 2011-08-22 10:56:07
		Fetcher: segment: db/segments/20110822105243
		Fetcher: threads: 10
		QueueFeeder finished: total 1 records + hit by time limit :0
		fetching http://www.baidu.com/
		-finishing thread FetcherThread, activeThreads=1
		-finishing thread FetcherThread, activeThreads=
		-finishing thread FetcherThread, activeThreads=1
		-finishing thread FetcherThread, activeThreads=1
		-finishing thread FetcherThread, activeThreads=0
		-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
		-activeThreads=0
		Fetcher: finished at 2011-08-22 10:56:09, elapsed: 00:00:02


我們來看一下這裏的segment目錄結構






[html] 
view plaincopyprint?




  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  


	lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/
	content  crawl_fetch  crawl_generate


5.4 對上面的結果進行解析












[html] 
view plaincopyprint?




  1. <PRE class=html name="code">bin/nutch parse  
  2. Usage: ParseSegment segment</PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  


[html] view plaincopyprint?
  1. bin/nutch parse  
  2. Usage: ParseSegment segment  
















本機輸出結果：











[html] 
view plaincopyprint?




  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch parse db/segments/20110822105243/  
  2. ParseSegment: starting at 2011-08-22 10:58:19  
  3. ParseSegment: segment: db/segments/20110822105243  
  4. ParseSegment: finished at 2011-08-22 10:58:22, elapsed: 00:00:02</PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  
  7. <PRE></PRE>  
  8. <PRE></PRE>  


[html] view plaincopyprint?
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch parse db/segments/20110822105243/  
  2. ParseSegment: starting at 2011-08-22 10:58:19  
  3. ParseSegment: segment: db/segments/20110822105243  
  4. ParseSegment: finished at 2011-08-22 10:58:22, elapsed: 00:00:02  
















我們再來看一下解析後的目錄結構











[html] 
view plaincopyprint?




  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  crawl_parse  parse_data  parse_text</PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  


[html] view plaincopyprint?
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  crawl_parse  parse_data  parse_text  
















這裏多了三個解析後的目錄。



5.5 更新外鏈接數據庫







[html] 
view plaincopyprint?




  1. bin/nutch updatedb  
  2. Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]  


	bin/nutch updatedb
	Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]

本機輸出結果：











[html] 
view plaincopyprint?




  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch updatedb db/crawldb/ -dir db/segments/  
  2. CrawlDb update: starting at 2011-08-22 11:00:09  
  3. CrawlDb update: db: db/crawldb  
  4. CrawlDb update: segments: [file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243]  
  5. CrawlDb update: additions allowed: true  
  6. CrawlDb update: URL normalizing: false  
  7. CrawlDb update: URL filtering: false  
  8. CrawlDb update: Merging segment data into db.  
  9. CrawlDb update: finished at 2011-08-22 11:00:10, elapsed: 00:00:01</PRE>  
  10. <PRE></PRE>  
  11. <PRE></PRE>  
  12. <PRE></PRE>  
  13. <PRE></PRE>  


[html] view plaincopyprint?
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch updatedb db/crawldb/ -dir db/segments/  
  2. CrawlDb update: starting at 2011-08-22 11:00:09  
  3. CrawlDb update: db: db/crawldb  
  4. CrawlDb update: segments: [file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243]  
  5. CrawlDb update: additions allowed: true  
  6. CrawlDb update: URL normalizing: false  
  7. CrawlDb update: URL filtering: false  
  8. CrawlDb update: Merging segment data into db.  
  9. CrawlDb update: finished at 2011-08-22 11:00:10, elapsed: 00:00:01  
















這時它會更新crawldb鏈接庫，這裏是放在文件系統中的，像taobao抓取程序的鏈接庫是用redis來做的，一種key-value形式的NoSql數據庫。

5.6 計算反向鏈接











[html] 
view plaincopyprint?




  1. <PRE class=html name="code">bin/nutch invertlinks  
  2. Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]</PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  


[html] view plaincopyprint?
  1. bin/nutch invertlinks  
  2. Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]  














本地輸出結果：











[html] 
view plaincopyprint?




  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch invertlinks db/linkdb -dir db/segments/  
  2. LinkDb: starting at 2011-08-22 11:02:49  
  3. LinkDb: linkdb: db/linkdb  
  4. LinkDb: URL normalize: true  
  5. LinkDb: URL filter: true  
  6. LinkDb: adding segment: file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243  
  7. LinkDb: finished at 2011-08-22 11:02:50, elapsed: 00:00:01</PRE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
  10. <PRE></PRE>  
  11. <PRE></PRE>  


[html] view plaincopyprint?
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch invertlinks db/linkdb -dir db/segments/  
  2. LinkDb: starting at 2011-08-22 11:02:49  
  3. LinkDb: linkdb: db/linkdb  
  4. LinkDb: URL normalize: true  
  5. LinkDb: URL filter: true  
  6. LinkDb: adding segment: file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243  
  7. LinkDb: finished at 2011-08-22 11:02:50, elapsed: 00:00:01  
















5.7 使用Solr爲抓取的內容建立索引






[html] 
view plaincopyprint?




  1. bin/nutch solrindex  
  2. Usage: SolrIndexer <solr url> <crawldb> <linkdb> (<segment> ... | -dir <segments>  


	bin/nutch solrindex
	Usage: SolrIndexer <solr url> <crawldb> <linkdb> (<segment> ... | -dir <segments>


Nutch端的輸出如下：










[html] 
view plaincopyprint?




  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch solrindex http://127.0.0.1:8983/solr/ db/crawldb/ db/linkdb/ db/segments/*  


lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch solrindex http://127.0.0.1:8983/solr/ db/crawldb/ db/linkdb/ db/segments/*








[html] 
view plaincopyprint?




  1. SolrIndexer: starting at 2011-08-22 11:05:33  


SolrIndexer: starting at 2011-08-22 11:05:33








[html] 
view plaincopyprint?




  1. SolrIndexer: finished at 2011-08-22 11:05:35, elapsed: 00:00:02  


SolrIndexer: finished at 2011-08-22 11:05:35, elapsed: 00:00:02




Solr端的部分輸出如下：






[html] 
view plaincopyprint?




  1. INFO: SolrDeletionPolicy.onInit: commits:num=1  
  2.        commit{dir=/home/lemo/Workspace/java/Apache/Solr/apache-solr-3.3.0/example/solr/data/index,segFN=segments_1,version=1314024228223,generation=1,filenames=[segments_1]  
  3. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrDeletionPolicy updateCommits  
  4. INFO: newest commit = 1314024228223  
  5. Aug 22, 2011 11:05:35 AM org.apache.solr.update.processor.LogUpdateProcessor finish  
  6. INFO: {add=[http://www.baidu.com/]} 0 183  
  7. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrCore execute  
  8. INFO: [] webapp=/solr path=/update params={wt=javabin&version=2} status=0 QTime=183  
  9. Aug 22, 2011 11:05:35 AM org.apache.solr.update.DirectUpdateHandler2 commit  
  10. INFO: start commit(optimize=false,waitFlush=true,waitSearcher=true,expungeDeletes=false)  


	INFO: SolrDeletionPolicy.onInit: commits:num=1
        commit{dir=/home/lemo/Workspace/java/Apache/Solr/apache-solr-3.3.0/example/solr/data/index,segFN=segments_1,version=1314024228223,generation=1,filenames=[segments_1]
	Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrDeletionPolicy updateCommits
	INFO: newest commit = 1314024228223
	Aug 22, 2011 11:05:35 AM org.apache.solr.update.processor.LogUpdateProcessor finish
	INFO: {add=[http://www.baidu.com/]} 0 183
	Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrCore execute
	INFO: [] webapp=/solr path=/update params={wt=javabin&version=2} status=0 QTime=183
	Aug 22, 2011 11:05:35 AM org.apache.solr.update.DirectUpdateHandler2 commit
	INFO: start commit(optimize=false,waitFlush=true,waitSearcher=true,expungeDeletes=false)

5.8 在Solr的客戶端查詢
在瀏覽器中輸入 








[html] 
view plaincopyprint?




  1. http://localhost:8983/solr/admin/  


http://localhost:8983/solr/admin/


查詢條件爲baidu


輸出的XML結構爲


如果你要以HTML結構顯示把Solr的配置文件solrconfig.xml中的content改爲如下就可以

<field name="content" type="text" stored="true" indexed="true"/>








[html] 
view plaincopyprint?




  1.   


[html] view plaincopyprint?
  1.     <PRE class=html name="code"><response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">0</int>  
  5. <lst name="params">  
  6. <str name="indent">on</str>  
  7. <str name="start">0</str>  
  8. <str name="q">baidu</str>  
  9. <str name="version">2.2</str>  
  10. <str name="rows">10</str>  
  11. </lst>  
  12. </lst>  
  13. <result name="response" numFound="1" start="0">  
  14. <doc>  
  15. <float name="boost">1.0660036</float>  
  16. <str name="digest">7be5cfd6da4a058001300b21d7d96b0f</str>  
  17. <str name="id">http://www.baidu.com/</str>  
  18. <str name="segment">20110822105243</str>  
  19. <str name="title">百度一下，你就知道</str>  
  20. <date name="tstamp">2011-08-22T14:56:09.194Z</date>  
  21. <str name="url">http://www.baidu.com/</str>  
  22. </doc>  
  23. </result>  
  24. </response>  
  25. </PRE><BR>  
  26. <PRE></PRE>  
  27. <PRE class=html name="code" sizcache="0" sizset="68"><PRE class=html name="code" sizcache="0" sizset="69"><BLOCKQUOTE style="BORDER-BOTTOM-STYLE: none; PADDING-BOTTOM: 0px; BORDER-RIGHT-STYLE: none; MARGIN: 0px 0px 0px 40px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; BORDER-TOP-STYLE: none; BORDER-LEFT-STYLE: none; PADDING-TOP: 0px" sizcache="0" sizset="69"><PRE class=html name="code"></PRE><BR>  
  28. <H3><A name=t14></A>6 參考</H3>  
  29. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  30. <PRE></PRE>  
  31. <SPAN style="FONT-FAMILY: Arial,Verdana,sans-serif"><SPAN style="WHITE-SPACE: normal"></SPAN></SPAN>  
  32. <PRE></PRE>  
  33. <BLOCKQUOTE></BLOCKQUOTE>  
  34. <PRE></PRE>  
  35. <PRE></PRE>  
  36. <PRE></PRE>  
  37. <BLOCKQUOTE></BLOCKQUOTE>  
  38. <PRE></PRE>  
  39. <PRE></PRE>  
  40. <PRE></PRE>  
  41.   
  42. </BLOCKQUOTE></PRE></PRE>  
[html] view plaincopyprint?
  1. <response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">0</int>  
  5. <lst name="params">  
  6. <str name="indent">on</str>  
  7. <str name="start">0</str>  
  8. <str name="q">baidu</str>  
  9. <str name="version">2.2</str>  
  10. <str name="rows">10</str>  
  11. </lst>  
  12. </lst>  
  13. <result name="response" numFound="1" start="0">  
  14. <doc>  
  15. <float name="boost">1.0660036</float>  
  16. <str name="digest">7be5cfd6da4a058001300b21d7d96b0f</str>  
  17. <str name="id">http://www.baidu.com/</str>  
  18. <str name="segment">20110822105243</str>  
  19. <str name="title">百度一下，你就知道</str>  
  20. <date name="tstamp">2011-08-22T14:56:09.194Z</date>  
  21. <str name="url">http://www.baidu.com/</str>  
  22. </doc>  
  23. </result>  
  24. </response>  
<response>
<lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">0</int>
<lst name="params">
<str name="indent">on</str>
<str name="start">0</str>
<str name="q">baidu</str>
<str name="version">2.2</str>
<str name="rows">10</str>
</lst>
</lst>
<result name="response" numFound="1" start="0">
<doc>
<float name="boost">1.0660036</float>
<str name="digest">7be5cfd6da4a058001300b21d7d96b0f</str>
<str name="id">http://www.baidu.com/</str>
<str name="segment">20110822105243</str>
<str name="title">百度一下，你就知道</str>
<date name="tstamp">2011-08-22T14:56:09.194Z</date>
<str name="url">http://www.baidu.com/</str>
</doc>
</result>
</response>








[html] 
view plaincopyprint?




  1. <PRE class=html name="code" sizcache="0" sizset="69"><BLOCKQUOTE style="BORDER-BOTTOM-STYLE: none; PADDING-BOTTOM: 0px; BORDER-RIGHT-STYLE: none; MARGIN: 0px 0px 0px 40px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; BORDER-TOP-STYLE: none; BORDER-LEFT-STYLE: none; PADDING-TOP: 0px" sizcache="0" sizset="69"><PRE class=html name="code"></PRE><BR>  
  2. <H3><A name=t14></A>6 參考</H3>  
  3. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  4. <PRE></PRE>  
  5. <SPAN style="FONT-FAMILY: Arial,Verdana,sans-serif"><SPAN style="WHITE-SPACE: normal"></SPAN></SPAN>  
  6. <PRE></PRE>  
  7. <BLOCKQUOTE></BLOCKQUOTE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
  10. <PRE></PRE>  
  11. <BLOCKQUOTE></BLOCKQUOTE>  
  12. <PRE></PRE>  
  13. <PRE></PRE>  
  14. <PRE></PRE>  
  15.   
  16. </BLOCKQUOTE></PRE>  


[html] view plaincopyprint?
  1. <BLOCKQUOTE style="BORDER-BOTTOM-STYLE: none; PADDING-BOTTOM: 0px; BORDER-RIGHT-STYLE: none; MARGIN: 0px 0px 0px 40px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; BORDER-TOP-STYLE: none; BORDER-LEFT-STYLE: none; PADDING-TOP: 0px" sizcache="0" sizset="69"><PRE class=html name="code"></PRE><BR>  
  2. <H3><A name=t14></A>6 參考</H3>  
  3. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  4. <PRE></PRE>  
  5. <SPAN style="FONT-FAMILY: Arial,Verdana,sans-serif"><SPAN style="WHITE-SPACE: normal"></SPAN></SPAN>  
  6. <PRE></PRE>  
  7. <BLOCKQUOTE></BLOCKQUOTE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
  10. <PRE></PRE>  
  11. <BLOCKQUOTE></BLOCKQUOTE>  
  12. <PRE></PRE>  
  13. <PRE></PRE>  
  14. <PRE></PRE>  
  15.   
  16. </BLOCKQUOTE>  
[html] view plaincopyprint?
  1.   

6 參考

http://wiki.apache.org/nutch/RunningNutchAndSolr













































發表評論














所有評論



還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.







相關文章








Ktor庫的高級用法：代理服務器與JSON處理






在現代網絡編程中，Ktor是一個高性能且易於使用的框架，它提供了對異步編程、WebSockets、HTTP客戶端和服務器等特性的原生支持。Ktor是使用Kotlin語言編寫的，充分利用了Kotlin的協程特性來簡化異步編程。本文將深入探討






 原創

2024-06-06 00:05:45









iLogtail 2.0 重大升級，端上支持 SPL






作者：太業
流式處理語言發展
早期流式處理概念：
20 世紀 70 年代，編程語言如 APL 提供了對數組的流式操作，這可以看作是流式處理語法的早期形式。
管道（Pipes）概念在 UNIX 系統中的引進使得可以通過命令行將一個命令的






 原創

2024-06-05 21:13:43









高效啓動DolphinScheduler工作流：Java URL調用詳解






轉載自牛肉胡辣湯
在大數據分析和處理的領域中，DolphinScheduler是一個開源的分佈式工作流調度系統，可以用於調度和管理複雜的工作流任務。本文將介紹如何使用Java中的URL類來調用DolphinScheduler的API，實現啓






 原創

2024-06-04 21:21:59









【數智化人物展】白鯨開源CEO郭煒：大模型時代下DataOps驅動企業數智化升級






本文由白鯨開源CEO郭煒投遞並參與由數據猿聯合上海大數據聯盟共同推出的《2024中國數智化轉型升級先鋒人物》榜單/獎項評選。
隨着大數據、人工智能技術的飛速發展，我們已邁入了一個全新的時代------大模型時代。在這個時代背景下，企業提高






 原創

2024-06-04 21:21:58









數據驅動製造：EMQX ECP 指標監測功能增強生產透明度






邁向未來的工業生產，需要的不僅是自動化，更是智能化。如果工業企業的管理者能夠實時監測每一生產環節的設備運行狀態，每一數據點位情況，洞察和優化每一步生產流程，他們將能夠做出更精準的決策，提高生產效率和產品質量。
通過集成先進的指標監測工具，






 原創

2024-06-03 22:11:10









LLVM技術在GaussDB等數據庫中的應用






本文分享自華爲雲社區《【GaussTech第3期】LLVM技術在GaussDB等數據庫中的應用》，作者：GaussDB 數據庫。
Hi，別急！
讓技術觸達每一個角落，賦能更多的人，GaussTech第3期《LLVM技術在GaussDB等數據






 原創

2024-06-03 10:59:24









Opal 機器學習平臺：愛奇藝數智一體化實踐






  01
綜述
Opal 是愛奇藝大數據團隊研發的機器學習平臺，包含特徵生產、樣本構建、模型訓練、模型部署在內的多環節 Bigdata + AI 開發服務，內置多種訓練鏡像、






 愛奇藝技術產品團隊

2024-06-01 02:21:16









響應式界面控件DevExtreme * 更強的數據分析和可視化功能






DevExtreme擁有高性能的HTML5 / JavaScript小部件集合*使您可以利用現代Web開發堆棧*包括React*Angular*ASP.NET Core*jQuery*Knockout等*構建交互式的Web應用程序。從Ang






 原創

2024-05-31 12:32:20









向量數據庫引領 AI 創新——Zilliz 亮相 2024 亞馬遜雲科技中國峯會






2024年5月29日，亞馬遜雲科技中國峯會在上海召開，此次峯會聚集了來自全球各地的科技領袖、行業專家和創新企業，探討雲計算、大數據、人工智能等前沿技術的發展趨勢和應用場景。作爲領先的向量數據庫技術公司，Zilliz 在本次峯會上展示了最新的






 原創

2024-05-30 21:25:17









金融反欺詐指南：車險欺詐爲何如此猖獗？






青島市人民檢察院在其官方微信公衆號上發佈的梁某保險詐騙案顯示，2020 年以來，某汽修廠負責人梁某、某汽車服務公司負責人孫某，與保險公司的趙某等人相互勾結，收購二手北汽等品牌新能源汽車，併爲這些車輛購買車損險。隨後，他們利用暴雨天氣，故意製






 原創

2024-05-30 00:16:51









還能報名！風靡硅谷開發者的 Unstructured Data Meetup 即將登陸中國！






“最硅谷”的 Unstructured Data Meetup 即將來襲！
衆所周知，AI 三要素包括：算力、算法和數據。數據的價值愈發凸顯，而其中非結構化數據更是備受關注。IDC 預測，到 2025 年，全球數據總量中將有超過 80% 的






 原創

2024-05-29 02:18:59









AI安全志：英國AI騙保事件增加300%！






最近，英國《衛報》報道稱，一些騙子正在利用人工智能照片編輯軟件篡改照片，以進行保險欺詐活動。這一發現令保險公司震驚，因爲這可能導致汽車保險費用飆升至歷史最高水平。
 
 
安聯保險公司表示，從2021年至2023年期間，利用應用程序篡






 原創

2024-05-28 00:15:50









京東雲5月產品動態






1.【智算服務】新品上線 智算平臺GCS是面向AI創業公司和AI從業者的AI算力生命週期管理和AI應用生命週期管理平臺。平臺提供高性價比算力資源，以及基於大模型的AI應用生態市場。提供全網低價算力、幫您快速上手AIGC應用。
2.【節能寶P






 原創

2024-05-27 23:56:00









好勁！Zabbix Meetup廣州站精彩回顧






Zabbix Meetup 廣州站
精彩回顧
4月27日，Zabbix城市行再次來到廣州，於未來社區成功舉辦。天氣不佳但熱情依舊，這場盛會集合了講師們的經驗心得、案例分享，5






 Zabbix中國

2024-05-24 22:34:06









飛天發佈時刻｜阿里雲可觀測全速演進






在數字化轉型的浪潮中，雲計算的深化應用不斷推動着技術邊界的擴展，而可觀測性作爲確保系統穩定運行與高效迭代的關鍵支撐，正逐漸成爲現代雲原生架構不可或缺的一部分。5 月 22 日 10:00，阿里雲飛天發佈時刻，阿里雲應用實時監控服務 ARMS






 原創

2024-05-24 21:13:46