採集和防止採集是一個經久不息的話題，一方面都想搞別人的東西，另一方面不想自己的東西被別人搞走。
本文介紹如何利用nginx屏蔽ip來實現防止採集，當然也可以通過iptable來實現。
1.查找要屏蔽的ip
awk '{print $1}' nginx.access.log |sort |uniq -c|sort -n
nginx.access.log 爲日誌文件，
會到如下結果，前面是ip的訪問次數，後面是ip，很明顯我們需要把訪問次數多的ip並且不是蜘蛛的ip屏蔽掉，本例當中我們屏蔽掉165.91.122.67
... 13610 202.112.113.192 95772 180.169.22.135 337418 219.220.141.2 558378 165.91.122.67