爬蟲風險管理產品是阿里云云盾推出的新安全產品，1月底正式宣佈商業化上線，提供可以覆蓋Web/H5/API/APP多種業務形態的爬蟲風險解決方案，對爬蟲風險進行有序管理。
惡意爬蟲引發高風險
隨着傳統行業互聯網化及大類業務的數據化，使爬蟲風險逐漸成爲一個風險爆發點。有網絡數據報告統計，目前互聯網中超過60%的流量都是批量自動化的爬蟲流量。
廣義的爬蟲並不是僅僅定義爲“爬數據”，惡意的***利用一些自動化程序“爬蟲”來進行業務***和欺詐，例如撞庫、佔座、搶票、刷排名、接口濫用、刷紅包等，趨利特徵非常明顯。常見爬蟲主要會集中在類似航空、電商、諮訊、數據、金融、旅行等一些存在高價值數據、原創內容、高獲利點的行業中。
惡意爬蟲流量往往會引發企業一系列安全問題，並對業務造成一定利益損失，甚至請求量級過大也會同步造成服務器的不可用。
防爬任務困難重重
爬蟲中也並不是完全都是惡意爬蟲流量，有一部分友好的爬蟲，例如搜索引擎爬蟲、第三方合作伙伴程序、Robots 協議程序等。安全運維不但要區分出正常人請求和機器爬蟲請求，還需要放行友好的爬蟲，這會對爬蟲識別檢測精細度要求較高，並對不同類型的爬蟲要有分類和標記。
難點其二在於業務渠道的多樣性。行業的互聯網化快速發展，尤其是移動端的興起，一般客戶業務中除基礎的Web端外，移動端的H5/APP/小程序等也佔據較大的業務流量。而爬蟲往往***的是所有渠道中防護最薄弱及***成本最低的業務渠道，會持續在各渠道中切換嘗試發現防護短板。如果防護方案比較單一，容易在對抗過程中產品顧此失彼的狀態，最終防護失效，仍然造成業務影響。
持續對抗的過程中，爬蟲也是會學習進化的，從最初簡單自動化腳本會逐步演變成模擬正常用戶的訪問請求，模擬小區寬帶IP，模擬頁面瀏覽停頓操作，模擬正常業務流程路徑等等，我們變得越來越難識別惡意爬蟲。
難但並不是沒有辦法。和爬蟲的對抗就像一場博弈，我們利用雲上生態的優勢降低防護成本，提高識別檢測的實時性和精準度，逼得爬蟲用來僞裝的成本高於爬蟲的獲利時自然會放棄。我們建立獨立的檢測系統和防護體系，圍而不全殺；用AI智能模型識別爬蟲，讓爬蟲難以察覺識別邏輯而減緩變異進度；用人機的驗證手段，做第二層的引擎判斷，更靈活的對識別結果做處置，進一步減少對正常用戶的誤報。
爬蟲風險如何有序管理
爬蟲風險管理產品是一款雲盾推出的新安全產品。
產品爲SAAS模式，反向代理接入非常輕量和靈活，對七層流量做一次轉發，通過雲上綜合的爬蟲防護引擎識別並過濾爬蟲流量，幫助客戶降低惡意的自動化程序帶來的業務影響。乾淨的業務流量會被繼續轉發到源站，保證業務正常運行。
產品建設了一整套有層次的爬蟲檢測模塊，主要分爲基礎防護層、雲端情報層、機器學習層，進行信息傳遞和鑑別，從提供流量上自定義爬蟲特徵規則工具，到共享雲端優勢的行業爬蟲***情報，再到定製貼合客戶業務的機器學習算法，逐步遞進，快速幫助客戶打造一套量身定做的反爬蟲策略體系。
產品除了能快速甄別爬蟲的行爲特徵，還可以實現對不同風險等級的爬蟲識別結果做不同的處置，合法爬蟲做放行，惡意爬蟲做阻斷，遇到可疑的爬蟲去做一個挑戰或者校驗，多驗一次身來做最終判斷。
同時，產品內提供了數據可視化模塊，從不同維度展示給用戶，包括數據和數據之間的關聯，讓用戶參與爬蟲特徵數據和防護數據之間關係的探索，不斷溝通和迭代，不僅清晰地向用戶展示爬蟲***的每一步，也提高了用戶反爬蟲的策略決策能力。數據模塊還集成了阿里雲的SLS日誌服務，可以查詢和定位詳細的日誌內容，幫助用戶瞭解防護情況和流量細節。
當前產品防護場景主要集中在：
產品優勢突出
1、雲端部署
雲端有技術專家負責產品的規則更新，迅速解決實時風險。
雲上資源是可以隨時彈性擴容的，針對高峯業務能夠自由收縮，幫助客戶解決因大促等問題需要擴充機器而帶來的成本。
雲上的威脅情報資源非常豐富，能夠發現針對行業的集中式***，並可以將情報應用在行業客戶的防禦系統中。
2、生態體系
跨多行業的爬蟲行爲分析，利用關係網絡進行惡意爬蟲的擴充發現。
爬蟲業務目的非常明確，識別行業的集中式***，達成行業內共享風險防控。
沉澱網絡上黑灰產的百萬級已知針對性爬蟲風險的IP/UA黑灰產數據。
共享億級阿里系的設備端的風險情報。
據瞭解，目前國內外有不少做惡意爬蟲流量管理的廠商，側重點也不盡相同，但阿里雲爬蟲風險管理產品則是側重於多層的防護，除了人機識別等檢測方式，還會通過行爲分析、威脅情報、機器學習算法等方式輔助檢測，可以覆蓋包括APP在內的各種環境，雲上反向代理的方式接入也非常輕量和靈活。