制作一道美食、了解一个城市、发现一条教程，越来越多的年轻人通过文字、图片、视频笔记的方式来分享和发现世界的精彩。拥有多元生活视角、真实用户体验的口碑社区，不仅成为年轻人青睐的分享社交平台，也是引起消费共鸣的用户社区。据Stackla报告显示，用户生成的内容（UGC）对近80%受访者的购买决策有很大影响。
（图片翻译来自Stackla的UGC报告）
【业务需求】
正是因为原创的用户内容极具消费决策引导价值，长期以来受到来自黑灰产行业的业务侵扰，其中最主要的威胁就是爬虫，甚至在互联网上很容易就可以找到一些针对网站或手机端APP的爬虫教程和工具。
目前以内容业务为主的资讯、电商行业都深受爬虫之害，这些爬虫可能“受雇于”无道德竞争对手，通过爬取用户原创内容、客户评价和商品信息等，虚假套用误导用户，对用户、商家、平台造成信誉伤害。
保护用户信息和原创内容，维护平台社区的和谐，打击黑灰产，反爬“治安”一直在路上。
【反爬痛点】
目前行业中反爬虫的方法策略有很多，例如验证码、IP封禁、蜜罐资源，但反爬虫的前提是精准识别爬虫，如果无法准确区别用户、合法爬虫，那恶意爬虫仍将持续猖獗。
令企业头疼的是，恶意爬虫愈发狡猾，可通过伪造HTTP请求，绕过企业常规安全防护策略，爬虫行为还能符合业务逻辑，伪装在真实用户之间，利用自动化工具批量注册账号、瓜分代金券、抢购限量商品，甚至使相关接口服务能力下降，影响正常用户的访问体验。
所以如果仅根据IP请求行为、或者威胁情报数据来识别爬虫，难以保证识别的全面，且有一定概率会误伤正常用户。那有没有一种省心高效的方式，可以在不影响正常用户和业务的情况下，精准识别恶意爬虫？
作为创新的边缘云服务提供商，白山云持续深耕安全大数据分析、UEBA技术，其边缘云平台Baishan Canvas的AI安全大脑：深度威胁感知系统（ATD），为用户提供了专业的安全解决方案。
【深度威胁感知系统（ATD）如何精准识别？】
基于攻防对抗理念，深度威胁感知系统（ATD）贴合业务场景，可自定义威胁模型，无需人工配置，利用AI深度分析用户及实体行为，精准识别区分恶意爬虫；同时，基于大数据信息情报积累，主动发现资产中存在的安全漏洞和风险变化趋势，提供态势感知能力。
- 基于资源变化的安全基线
通过实时检测分析用户登录、评论等API接口的吞吐量、请求时间、状态码等指标，生成资源设备的安全基线。
- 基于用户行为的安全基线
通过对用户访问的流量以及请求留下的日志信息，分析文本规律和路径规律，进行行为建模，生成用户访问的安全基线。
无论是当请求数接近接口吞吐量上限、请求时间增加、状态码出现，还是访问网站、应用IP出现行为异常，平台会在第一时间发出预警信息，跟踪异常资源和IP，配合lanjie器进行精准打击。
【案例实践 · 四大优势】
白山云某社交电商类客户拥有过亿活跃用户数，并持续快速增长，因客户平台上海量UGC价值内容，长期以来受到来自黑灰产的爬虫侵扰，迫切需要采用创新的安全防护技术应对反爬痛点。
- 旁路部署模式，灵活快速
针对客户日活过亿的业务量级，ATD在2小时内完成数十台云主机的旁路部署，不影响业务进程。
- 海量用户日志实时对接
旁路部署模式支持日志实时推送和主动拉取，轻松对接海量的用户请求日志，日分析请求量级达120亿次。
- 三大智能引擎全面分析用户行为
通过实时引擎、深度引擎、学习引擎三大智能分析引擎，从IP、设备ID、用户名等多个维度分析用户行为 ，精准识别恶意请求。
- 自定义处理机制
对于识别出的威胁行为，支持自定义后续处理动作，包括告警通知、人机验证、lanjie等。针对业务场景，通过滑块验证的策略来进行二次识别，防止正常请求误lanjie。
在实战防护中，白山云深度威胁感知系统（ATD）阻断异常请求10亿次/天，威胁识别准确率达99.5%，帮助客户平台大幅提升安全运维效率，提高了业务稳定性，增加了对用户原创内容和商品信息的保护。
【Baishan Canvas，不仅是安全】
随着移动互联网不断发展，在电商、社交、游戏等平台，网络直播、短视频业务迎来井喷式增长，平台业务中的在线交互对网络环境的速度和稳定也提出了更高要求，全球用户到达核心机房或分布式数据中心的链路品质需要进一步优化。
针对企业网络和安全的多重需求，白山云基于覆盖全球的1000+可编程边缘节点，打造集“网络+安全+算力”于一体的Baishan Canvas边缘云平台——一张极速、安全且敏捷的画布，可以满足流量加速、网络服务、云原生安全、面向开发者的计算与业务集成等边缘场景需求。
面对网络服务安全性、稳定性要求的不断升级，企业数字化转型的迫切需求，白山云基于在能源、交通、金融、制造、医疗、地产、互联网、电商、游戏等众多行业的服务经验，为全球企业客户提供跨行业、跨场景的应用解决方案。白山云COO赵鹏表示：“未来白山云将持续迭代平台能力，探索在边缘场景下SASE和零信任的应用解决方案，为全球企业客户提供安全、快速、可靠的云服务。”
【关于白山云】
白山云作为创新的边缘云服务提供商，提供中立的基础设施、云原生安全、开发者引擎等产品及服务。结合企业数字化转型的云化需求，以及5G和IoT应用落地场景，白山云致力于为全球企业客户提供跨行业不同应用场景的解决方案。