業務場景
- 黑名單
資訊類信息類網站追求高訪問量，但是由於其信息的價值，往往容易被不法分子利用，通過爬蟲技術，快速獲取信息，個別特種行業網站信息通過爬蟲獲取分析後，可以轉換成商業機密進行出售，例如第三方火車票、機票、酒店刷屏代購軟件、電商刷評論、刷好評。
同時爬蟲帶來的僞流量也會給經營者帶來錯覺，產生錯誤的決策，有效避免網站被爬蟲反覆爬去成爲每個網站都要考慮的基本問題。在基於技術層面區分出爬蟲用戶後，需要將此類用戶進行有效屏蔽，這就是黑名單的典型應用。
Ps：不是說爬蟲一定做摧毀性的工作，有些小型網站需要爬蟲爲其帶來一些流量。
- 白名單
對於安全性更高的應用訪問，僅僅靠黑名單不能解決安全問題的，此時需要設定可訪問的用戶羣體，依賴白名單做更爲苛刻的訪問驗證。
解決方案
- 基於經營戰略設定問題用戶發現、鑑別規則
- 週期性更新滿足規則的用戶黑名單，加入set集合
- 用戶行爲信息達到後與黑名單進行比對，確認行爲去向
- 黑名單過濾ip地址，應用於開放遊客訪問權限的信息源
- 黑名單過濾用戶：應用於基於訪問權限的信息源