轉自：
http://yblog.org/archive/print.php?5862
爬蟲一覽表：
沒辦法啊，不加入搜索引擎麼不好，加入麼狂搜啊，google也是這樣。昨天晚上它掃了我一晚~鬱悶，流量啦，IIS連接數什麼的。還好我的空間不限制IIS。
66.249.65.195 Mediapartners-Google/2.1 google點擊廣告爬蟲
72.30.111.88 Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Yahoo搜索引擎爬蟲
66.154.102.222 Gigabot Gigabot搜索引擎爬蟲
66.154.103.167 Gigabot/2.0; http://www.gigablast.com/spider.html 被google吞併的gigabot搜索引擎
202.96.51.171 lanshanbot/1.0 有人說是中搜爬蟲
202.108.1.* Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) 中搜的，不知道是幹什麼的
66.249.65.198 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 著名的google.com搜索引擎
/rss.asp Mozilla/6.0 (MSIE 6.0; Windows NT 5.1;Foxmail/MILOWU) 這不是爬蟲，不過還是要解釋下，這是用foxmail6.0訂閱了你的rss
202.160.179.35 Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html) yahoo音樂搜索
220.181.19.65 sogou spider 搜狗搜索引擎掃描器
220.181.8.80 OutfoxBot/0.5 (for internet experiments; http://; [email protected]) 疑是搜索Email地址的，又像sohu家的
220.181.19.94 未知掃描器，不過可以放心，它不是攻擊器。不過結合上面的IP可猜測，這個IP應該屬於sohu家族的
InetURL:/1.0 也許是漏洞掃描器，也許是小偷程序。也有好多是廣告機，灌水機。
218.90.13.32 Mozilla/3.0 (compatible; Indy Library) 廣告發布機，還好Hosin blog有驗證碼
72.14.199.2 /rss.asp Feedfetcher-Google; (+http://www.google.com/feedfetcher.html) google的rss搜索掃描器
210.72.225.189 /rss.asp feedsky_spider http://www.feedsky.com 一款rss掃描器，有興趣者進入此網站添加您的rss
207.46.98.139 msnbot/1.0 (+http://search.msn.com/msnbot.htm) MSN蜘蛛
61.135.146.199 Baiduspider+(+http://www.baidu.com/search/spider.htm) 百度蜘蛛
Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.2.1) Gecko/20030225 這信息是某人在Linux系統上使用firefox 2.0瀏覽器訪問。
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322) Sleipnir/2.45 使用Sleipnir瀏覽器，kuhanzhu也使用這款日本人開發的多頁面瀏覽器，不過我一直用1.65版的
209.237.238.177 ia_archiver Alexa排名爬蟲
