业务场景
- 黑名单
资讯类信息类网站追求高访问量，但是由于其信息的价值，往往容易被不法分子利用，通过爬虫技术，快速获取信息，个别特种行业网站信息通过爬虫获取分析后，可以转换成商业机密进行出售，例如第三方火车票、机票、酒店刷屏代购软件、电商刷评论、刷好评。
同时爬虫带来的伪流量也会给经营者带来错觉，产生错误的决策，有效避免网站被爬虫反复爬去成为每个网站都要考虑的基本问题。在基于技术层面区分出爬虫用户后，需要将此类用户进行有效屏蔽，这就是黑名单的典型应用。
Ps：不是说爬虫一定做摧毁性的工作，有些小型网站需要爬虫为其带来一些流量。
- 白名单
对于安全性更高的应用访问，仅仅靠黑名单不能解决安全问题的，此时需要设定可访问的用户群体，依赖白名单做更为苛刻的访问验证。
解决方案
- 基于经营战略设定问题用户发现、鉴别规则
- 周期性更新满足规则的用户黑名单，加入set集合
- 用户行为信息达到后与黑名单进行比对，确认行为去向
- 黑名单过滤ip地址，应用于开放游客访问权限的信息源
- 黑名单过滤用户：应用于基于访问权限的信息源