開源crawler

 Heritrix   點擊次數：3822

Heritrix是一個開源，可擴展的web爬蟲項目。Heritrix設計成嚴格按照robots.txt文件的排除指示和META robots標籤。

 WebSPHINX   點擊次數：2205

WebSPHINX是一個Java類包和Web爬蟲的交互式開發環境。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。WebSPHINX由兩部分組成：爬蟲工作平臺和WebSPHINX類包。

 WebLech   點擊次數：1146

WebLech是一個功能強大的Web站點下載與鏡像工具。它支持按功能需求來下載web站點並能夠儘可能模仿標準Web瀏覽器的行爲。WebLech有一個功能控制檯並採用多線程操作。

 Arale   點擊次數：995

Arale主要爲個人使用而設計，而沒有像其它爬蟲一樣是關注於頁面索引。Arale能夠下載整個web站點或來自web站點的某些資源。Arale還能夠把動態頁面映射成靜態頁面。

 J-Spider   點擊次數：1432

J-Spider:是一個完全可配置和定製的Web Spider引擎.你可以利用它來檢查網站的錯誤(內在的服務器錯誤等),網站內外部鏈接檢查，分析網站的結構(可創建一個網站地圖),下載整個Web站點，你還可以寫一個JSpider插件來擴展你所需要的功能。

 spindle   點擊次數：1046

spindle 是一個構建在Lucene工具包之上的Web索引/搜索工具.它包括一個用於創建索引的HTTP spider和一個用於搜索這些索引的搜索類。spindle項目提供了一組JSP標籤庫使得那些基於JSP的站點不需要開發任何Java類就能夠增加搜 索功能。

 Arachnid   點擊次數：899

Arachnid: 是一個基於Java的web spider框架.它包含一個簡單的HTML剖析器能夠分析包含HTML內容的輸入流.通過實現Arachnid的子類就能夠開發一個簡單的Web spiders並能夠在Web站上的每個頁面被解析之後增加幾行代碼調用。 Arachnid的下載包中包含兩個spider應用程序例子用於演示如何使用該框架。

 LARM   點擊次數：1387

LARM能夠爲Jakarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。它包含能夠爲文件，數據庫表格建立索引的方法和爲Web站點建索引的爬蟲。

 JoBo   點擊次數：1091

JoBo 是一個用於下載整個Web站點的簡單工具。它本質是一個Web Spider。與其它下載工具相比較它的主要優勢是能夠自動填充form(如：自動登錄)和使用cookies來處理session。JoBo還有靈活的 下載規則(如：通過網頁的URL，大小，MIME類型等)來限制下載。

 snoics-reptile   點擊次數：454

snoics -reptile是用純Java開發的，用來進行網站鏡像抓取的工具，可以使用配製文件中提供的URL入口，把這個網站所有的能用瀏覽器通過GET的方式 獲取到的資源全部抓取到本地，包括網頁和各種類型的文件，如：圖片、flash、mp3、zip、rar、exe等文件。可以將整個網站完整地下傳至硬盤 內，並能保持原有的網站結構精確不變。只需要把抓取下來的網站放到web服務器(如：Apache)中，就可以實現完整的網站鏡像。
下載地址：
snoics-reptile2.0.part1.rar
snoics-reptile2.0.part2.rar
snoics-reptile2.0-doc.rar    

 Web-Harvest   點擊次數：128

Web-Harvest是一個Java開源Web數據抽取工具。它能夠收集指定的Web頁面並從這些頁面中提取有用的數據。Web-Harvest主要是運用了像XSLT,XQuery,正則表達式等這些技術來實現對text/xml的操作。