Django中自定義限制訪問頻率的反爬蟲中間件

一、安裝用到的Python庫

pip install geoip2 redis django-redis

二、下載IP地理位置數據庫，保存到項目根目錄下

 鏈接: https://pan.baidu.com/s/1TaSQcgw4OimBrDH0ERLKKw 提取碼: ixa7

 

三、自定義中間件，保存到項目根目錄下的backends.py中

from random import choice
from django.conf import settings
from django.core.cache import caches
from django.contrib.gis.geoip2 import GeoIP2
from django.http import HttpResponseForbidden
from django.utils.deprecation import MiddlewareMixin

cache = caches['default']  # from django.core.cache import cache沒有incr功能
geoip = GeoIP2(country='GeoLite2-Country.mmdb')  # 加載IP地理位置數據庫
forbidden = '<div style="font-size:30px;">403 forbidden</div><div>%s</div>'


class ForbiddenMiddleware(MiddlewareMixin):
    def process_request(self, request):
        if not settings.OPEN_FORBIDDEN:  # 配置文件裏的功能開關
            return
        ip = request.META.get('HTTP_REMOTE_ADDR', request.META['REMOTE_ADDR'])  # 獲取訪問者IP地址
        try:
            country = geoip.country(ip)['country_code']  # 解析訪問者國別編碼
            if country != 'CN':  # 屏蔽國外IP的訪問
                return HttpResponseForbidden(forbidden % 'Access is denied.')
        except:
            pass

    def process_response(self, request, response):
        if not settings.OPEN_FORBIDDEN:  # 配置文件裏的功能開關
            return response
        ip_address = request.META.get('HTTP_REMOTE_ADDR', request.META['REMOTE_ADDR'])  # 獲取訪問者IP地址
        try:
            user_tag = request.COOKIES.get(settings.CSRF_COOKIE_NAME)  # 從請求中獲取cookie
            if not user_tag:
                user_tag = response.cookies[settings.CSRF_COOKIE_NAME].value  # 登陸時從響應中獲取cookie
        except KeyError:
            user_tag = ip_address  # 沒有cookie，即用戶沒有登陸，使用IP地址作爲用戶標記

        forbidden_ip_key = 'forbidden:ip:%s' % ip_address
        forbidden_user_key = 'forbidden:user:%s' % user_tag
        for cache_key in [forbidden_ip_key, forbidden_user_key]:  # 同時檢查IP地址屏蔽和用戶標記屏蔽
            forbidden_time = cache.get(cache_key)
            if forbidden_time:  # 如果被屏蔽了還繼續請求
                cache.set(cache_key, forbidden_time, forbidden_time)  # 重置過期時間爲初始值，延長屏蔽時間
                return HttpResponseForbidden(forbidden % '訪問過於頻繁，請稍候再試！')

        ip_count_key = 'count:ip:%s' % ip_address  # 同一IP地址的用戶被屏蔽的次數
        user_count_key = 'count:user:%s:%s' % (user_tag, request.path)  # 同一用戶在指定時間步長內的訪問次數
        forbidden_user_count = settings.FORBIDDEN_USER_COUNT
        if 'HTTP_FILE_UPLOAD_NAME' in request.META:  # 文件傳輸的交互頻率較高，頻率限制調高5倍
            forbidden_user_count *= 5

        if cache.get(user_count_key, 0) > forbidden_user_count:  # 同一用戶在指定時間步長內訪問太多次
            forbidden_time = choice(range(settings.MIN_FORBIDDEN_TIME, settings.MAX_FORBIDDEN_TIME))  # 生成隨機的屏蔽時間長度
            cache.set(forbidden_user_key, forbidden_time, forbidden_time)  # 設置屏蔽該用戶
            try:
                cache.incr(ip_count_key)  # 該用戶使用的IP被屏蔽的次數增加一次
            except ValueError:
                cache.set(ip_count_key, 1, settings.FORBIDDEN_IP_SECONDS)  # 還沒有這個key的話設置爲1
            return HttpResponseForbidden(forbidden % '訪問過於頻繁，請稍候再試！')
        elif cache.get(ip_count_key, 0) > settings.FORBIDDEN_IP_COUNT:  # 同一IP地址的用戶被屏蔽三次後屏蔽該IP地址的訪問
            forbidden_time = choice(range(settings.MIN_FORBIDDEN_TIME, settings.MAX_FORBIDDEN_TIME))  # 生成隨機的屏蔽時間長度
            cache.set(forbidden_ip_key, forbidden_time, forbidden_time)  # 設置屏蔽該IP地址
            return HttpResponseForbidden(forbidden % '訪問過於頻繁，請稍候再試！')
        else:
            try:
                cache.incr(user_count_key)  # 該用戶的訪問次數增加一次
            except ValueError:
                cache.set(user_count_key, 1, settings.FORBIDDEN_USER_SECONDS)  # 還沒有這個key的話設置爲1
            return response

四、在項目的settings.py中啓用中間件

MIDDLEWARE = [
    'myproject.backends.ForbiddenMiddleware',  # 中間件放在第一個位置
    ...
]

五、 在項目的settings.py中配置中間件用到的參數

OPEN_FORBIDDEN = True  # 是否啓用屏蔽功能
MIN_FORBIDDEN_TIME = 60  # 最小屏蔽時長
MAX_FORBIDDEN_TIME = 600  # 最大屏蔽時長
FORBIDDEN_IP_SECONDS = 60  # 記錄同一IP下用戶被屏蔽次數的KEY的過期時間
FORBIDDEN_USER_SECONDS = 1  # 記錄同一用戶指定時間步長內訪問次數的KEY的過期時間
FORBIDDEN_IP_COUNT = 3  # 同一IP的用戶被屏蔽次數超過該值將屏蔽該IP
FORBIDDEN_USER_COUNT = 8  # 同一用戶指定時間步長內訪問次數超過該值將屏蔽該用戶