larbin

Larbin是一種多功能的網絡爬蟲,一個法國人最初爲 XYLEME project寫的,當時只是爲了獲取網絡上的XML文件.Larbin是非常靈活可訂製的.

最新版本的Larbin在一臺普通的PC上一天可爬到5,000,000個網頁,當然這很大程序上依賴於你的網速.Larbin工作於linux上,並且依賴於一些標準庫,比如adns.

下載一個larbin-2.6.3.tar.gz解壓,進入目錄,運行

./configure

make

進行編譯安裝.

一般會出很多問題,你需要提前完成以下工作:

1. 確認已經安裝了build-essential程序包,最新的GCC編譯器,已安裝了內核程序包.

這一步一般都沒問題,該裝的都裝了.

2.configure時會提示找不到makedepend命令,所以你需要安裝一下

sudo apt-get install xutils-dev

3.編譯的時候還會出一個問題,說從char*轉換到byte*出錯,這是由 /larbin-2.6.3/adns下internal.h中第568—571行代碼引起的,直接把它註釋掉即可.

當然也可以改一下

adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,

         vbuf *vb, parsedomain_flags flags,

          const byte *dgram, int dglen, int *cbyte_io, int max); 

修改爲：

adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,

         vbuf *vb, adns_queryflags flags,

          const byte *dgram, int dglen, int *cbyte_io, int max);

改過之後還是會有警告,不過謝天謝地,已經不是error了.

4.make的時候會說找不到<iostream.h>,你需要把每個程序文件裏的 <iostream.h>改爲 <iostream>,然後加上using namespace std這句話.也可以有一種簡單省力的方法:

到/usr/include/c++/下CP一份iostream文件到larbin的src目錄下。並將其的名改爲iostream.h.打開此文件添加一句using namespace std;

然後再./configure  make應該就沒問題了.

運行　　./larbin

中止　　Ctrl+C　　　　　　　　

重起　　./larbin -scratch

注意停止larbin的時候不要用Ctrl+z,那樣當你再次 ./larbin或者 ./larbin -scratch的時候,會端口已被佔用,無法重新啓動.

下面報一下我的兩個配置文件裏的內容

larbin.conf

httpPort 8099

inputPort 1976

pagesConnexions 100

dnsConnexions 5

waitDuration 60

startUrl http://www.baidu.com/

limitToDomain .com .cn .hk end

forbiddenExtensions.tar .gz .tgz .zip .Z .rpm .deb

.ps .dvi .pdf.png .jpg .jpeg .bmp .smi .tiff .gif

.mov .avi .mpeg .mpg .mp3 .qt .wav .ram .rm

.jar .java .class .diff

.doc .xls .ppt .mdb .rtf .exe .pps .so .psd

end

options.h

#ifndef LARBIN_CONFIG

#define LARBIN_CONFIG
#include "config.h"

#define SIMPLE_SAVE 

#define FOLLOW_LINKS

#define EXIT_AT_END

#define CGILEVEL 1

#define DEPTHBYSITE

#define RELOAD

#define CRASH

#endif

在/larbin-2.6.3/和 /larbin-2.6.3/src下都options.h文件,保持它們的內容是一致的.