這可能是大數據行業經歷的最寒冷的一個冬天。
年關將至，國人習慣於用各種圓滿的方式給即將過去的一年劃上句號，不過，這對於許多大數據行業從業者來說，似乎有些奢望。整頓、倒閉、離職…最近數月以來，股股冷峻的氣息一直籠罩在行業上空。
多次監管動作不斷提醒和鞭策着大數據公司，是時候告別野蠻生長的時代了，合規纔是正途。
鉅變啓幕
監管重錘落地，此前狂飆突進的大數據產業突然被按下“暫停鍵”。
自今年9月以來，多家大數據公司接連被查，鉅變啓幕，行業“一夜入冬”。
9月6日，大數據智能風控服務供應商魔蠍數據被警方調查，一位核心高管被帶走，官網至今無法正常訪問；另一家大數據公司新顏科技的CEO黃向前也在同一天被警方帶走調查；這天，聚信立發通知主動停止了爬蟲業務，然未能倖免於“難“，僅過了幾天後，聚信立被爆有警方進駐公司調查；9月11日，知名幣圈項目公信寶運營主體被杭州警方查封；次日，有媒體報道，集奧聚合深圳分公司十餘人被帶走，北京辦公室也有多人被深圳警方帶走；另有爆料稱，天翼徵信的總經理、副總經理及市場人員被警察帶走。
一週之內，5家公司被查，如此陣勢引發業內恐慌，但這可能只是剛剛開始。
緊接着，有傳言稱百融雲創數據查詢受影響、個人徵信數據業務被暫停，深圳分公司員工被帶走，後被官方否認。9月27日，同盾科技子公司信川科技高管被帶走協助調查；10月21日，51信用卡委託外包催收公司因涉嫌尋釁滋事等罪被調查；10月25日，新京報報道稱，央行發文緊急調研銀行與上述第三方數據公司合作情況，排查的合作內容主要涉及數據採集、信用欺詐、信用評分、風控建模…
有業內人士分析稱，上述公司被查與其開展的“爬蟲”業務有關，根源亦在於涉足現金貸、715高炮、套路貸、暴力催收、“超利貸”等業務。
據AI前線不完全統計，此次清查波及的大數據公司至少15 家左右。（以下根據公開資料整理，力有不逮，難免遺漏或錯誤，請見諒）
那個“2019年，捕獲獨角獸最多的機構：紅杉、阿里、騰訊和警方”的網紅段子在引人發笑的同時，也反映出了當下大數據公司的尷尬處境。
今年11月以來，公安部加大了APP違法違規採集個人信息集中整治力度，共下架整改100架APP，其中考拉海購、房天下、樊登讀書、天津銀行等知名APP也在列，這些APP多涉及無隱私協議、收集使用個人信息範圍描述不清、超範圍採集個人信息和非必要採集個人信息等情形。據悉，今年以來，公安部“淨網2019”專項行動，已查處違法違規採集個人信息的APP共683款。
監管風暴席捲而來。大數據行業內人心惶惶，經此一擊，許多大數據公司遭受重創，大量數據接口被切斷，數據產品停售，部分公司業務部門解散、裁員，還有一些公司瀕臨倒閉。據一本財經統計，或有上萬人因此離開大數據行業。
禍起爬蟲？
市場已是風聲鶴唳。
一時間，人人聞“爬蟲”色變。白騎士、葫蘆數據、天機數據、立木徵信、聚信立等大數據公司紛紛宣佈暫停爬蟲業務，還有的公司在幾天之內火速將爬蟲業務從經營業務範圍中“抹掉”，招聘“爬蟲工程師”的公告信息也被緊急撤下，一些爬蟲程序員因爲擔憂是否遊走在違法邊緣，頭髮又多掉了幾根…
業內有這樣一種說法，爬蟲貢獻了互聯網50% 的流量，它對於互聯網的繁榮功不可沒。但該技術同時也因“用途”而充滿爭議。爬蟲是一項見不得“陽光”的技術，它廣泛運用，卻少有人願意承認在使用它。因爲它常常被用作非法收集信息的工具，站上數據隱私、數據安全的對立面。
“爬蟲技術本身並無對錯，但要看怎麼用，用錯了肯定違法啊”，一位程序員向AI前線表示，“技術無罪，關鍵在於人”。
網絡爬蟲是非常普遍的一種數據挖掘技術，它是一種按照一定的規則，自動地抓取網絡信息的程序或者腳本。爬蟲技術最早主要運用在搜索引擎中，它滿足了人們的數據獲取、分析需求。早在1995年，爲了不越“邊界”，互聯網搜索引擎與網頁持有者之間達成了一項“君子協定”— robot協議，該協議規定了哪些信息該爬，哪些信息不該爬，20多年來，該協議一直沿用至今。
在遵循 robot協議的前提下使用爬蟲技術是沒有任何風險的。但往往有些“作惡者”試圖越過紅線，一些大數據公司打着“大數據分析”的名頭違規違法爬取任何網頁及訪問用戶的數據，致使“蟲災”氾濫。
現在的爬蟲似乎無所不能，只要有賬號密碼都可以爬，包括電商平臺、外賣平臺、地圖、旅行網站、共享單車、等平臺的個人信息，用戶的通訊錄、上網地址、收貨地址、聊天記錄、搜索記錄、支付記錄，甚至央行的徵信報告…總之，一切皆可爬，還可進行定製化爬取。
在互聯網金融領域，上述數據主要被濫用於借貸、風控環節，具體多用在導流獲客和暴力催收上。除了支付寶爬蟲、微信爬蟲，甚至還有同業爬蟲，同業爬蟲即爬取同行的信息。據瞭解，摩羯科技曾推出該款產品，其要求借貸者提供在其它平臺上的用戶名與密碼，並通過爬蟲爬來競品的貸款額度及還款記錄，這樣便相當於剽竊了同行的風控成果。
今年3月，號稱擁有中國最大的簡歷數據庫的巧達科技被警方一鍋端，該公司的簡歷數據庫全部是通過非法手段爬取而來，非法獲取的簡歷超過2億條，它將簡歷庫以13800元每年的價格出售
非法獲利，光是2017年，巧達科技憑此業務營收高達4.11億元。泄露、買賣、濫用，這些違規收集來的數據被肆無忌憚的曝光、出售，令用戶信息猶如在裸奔，嚴重侵犯了用戶個人隱私。
爬蟲也是一項“矛盾”的技術。爬與反爬的“鬥爭”每天都在上演，力量此消彼長。
據一位資深程序員介紹，現在比較常見的反爬蟲技術手段主要有，檢測Header信息；設置IP訪問頻率，分析同一IP或同一設備在短時間內多次訪問同一頁面或進行相同操作；識別 UA、通過動態頁面增加爬取難度等方式。
這幾年，隨着隨着AI的發展，一些機器學習、canvas指紋等智能反爬蟲技術也被運用起來。例如，騰訊雲網站管家 WAF就將 AI 檢測引擎能力，運用到了爬蟲 Bot 程序檢測的環節上，AI 引擎能夠對站點訪問流量的會話進行追蹤，通過流量畫像，匹配行爲模型及行爲標籤進行識別，進而識別出爬蟲 Bot 程序流量行爲。
今年5月，被稱爲“中國版GDPR”的《數據安全管理辦法》徵求意見稿發佈，第16條規定，網絡運營者採取自動化手段訪問收集網站數據，不得妨礙網站正常運行；如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。
一位業內人士認爲，技術只是工具，在獲取數據時需要考慮數據到底有沒有獲得授權，需要幾方授權，在拿到用戶授權的情況下，有沒有拿到網站等數據來源方的授權，這其中涉及到的權責邊界應該更明確。
隨着監管越來越嚴格，爬蟲技術的使用邊界也將更加明晰。互聯網從業者應當懷有敬畏之心，要時時注意不要觸碰邊界，畢竟，爬蟲只是技術，灰色的是“助惡者”。
繁榮下的危局
整頓風波揭開了大數據灰色產業鏈的冰山一角，也將大數據行業高光背後的暗影一併曝在了陽光下。
伴隨着互聯網+迅速成爲潮流，以及深度學習推動下的第三次人工智能熱潮，大數據技術備受追捧，”得數據者得天下“是一度被風口裹挾着的大數據產業的繁榮寫照。
金融大數據是大數據產業應用最廣的領域之一。2013年前後，互聯網金融開啓了發展元年，一大批P2P、第三方支付等互金平臺涌現。P2P平臺一騎絕塵，但缺乏數據能力、風控能力差是其發展掣肘之一，如此一來，就爲第三方數據公司提供了誕生的契機。
同盾科技便是彼時的入局者之一。2013年，時任阿里巴巴集團安全部技術總監的蔣韜還曾因離職創辦同盾科技在業內引起一番不小的轟動。成立當年，同盾科技便拿到了來自IDG資本和華創資本的A輪融資。AI前線查詢天眼查顯示，同盾科技自成立以來已獲6輪融資，除2018年外，幾乎每年都有融資，最近的一次是在今年4月完成的超1億美元D輪融資，估值近20億美元。
有數據統計，2013年到2015年，中國市場上P2P網貸平臺數量從800家增長至2595家，累計交易規模超過11.4萬億。另據億歐智庫《2018中國智能風控研究報告》顯示，截至去年年底，573家金融風控企業共獲得投資金額超過1000億元，其中三成企業獲得三次及以上的投資。這些企業中，有69.8%成立於2013年-2017年。
最近兩年，金融科技成爲P2P熱潮落幕後新的創投風口，再次助推大數據產業發展走向新的高潮，同盾科技、51信用卡等大數據公司也躍升爲明星獨角獸。
在草莽生長的早期階段，不少大數據公司趁機鑽了法律不完善的空子，其數據業務遊走在道德和法律邊緣。自2015年以來的多次監管動作也無不爲從業機構敲響警鐘 — 要合規化使用數據。
在很大程度上，這些P2P網貸平臺與第三方數據公司是“相互成就”的關係。而一榮俱榮，一損俱損，當監管“緊箍咒”收緊之後，大數據產業也迎來了洗牌階段。“那些能夠滿足政策及市場客戶需求的團隊，肯定會越做越好，而那些無法真正滿足需求的，將面臨淘汰”，一位大數據行業從業者向AI前線表示。
某頭部互聯網消費金融平臺的大數據負責人表示，這次的監管行動從產品— 爬蟲技術—相關的數據方— 網貸平臺，可以說是一條鏈式的查處。儘管有些嚴格，但如果不經過整治， 行業內存在的“缺乏明確規則”的問題就很難作出改變。一些大數據公司“單純”的認爲自己只是給甲方做數據服務，即便出了問題，也事不關己。但現在來看，這些權責是需要進一步明確的。
漸入寒冬深處，結局也格外淒冷。
一些重度依賴爬蟲業務的大數據公司輕則業務停滯，重則或將因此倒下，即便能勉強活下來的恐怕也要被迫轉型。另一方面，一些AI公司、金融科技公司也會受到不同程度的影響，沒有了大量數據持續“投喂”，模型該如何迭代優化？
“有時候市場表面上的虛假繁榮是難以持續的，泡沫總有一天要被戳破。這次監管風暴對小機構來說，以後可能更難做了，對一些大機構會有一定影響，但可能影響沒那麼大，優勝劣汰會加劇。大浪淘沙後留下來的是那些對用戶來說定價更低、體驗更好的產品，而淘汰掉的絕大部分是那些不合規的企業。因此，從長期來看，通過強監管之後，大數據行業會更合規，總體來說對用戶會更友好”，上述大數據負責人繼續說道。
一位第三方數據公司的高管對形勢感到樂觀，她認爲，這次監管風暴對行業的健康發展是有利的，監管介入、政策出臺，這都在引導行業往好的方向發展，數據採標清洗質檢等流程會逐漸趨向標準化、合規化、安全化，進而提高大數據行業的進入門檻，並倒逼從業者提升服務質量。
一半是海水，一半是火焰，值得一提的是，一些具有國企背景的大數據公司逆勢成爲行業裏的“香餑餑”。那些不合規的企業終將湮沒不斷滾滾向前的歷史洪流中，未來的大數據產業屬於合規的參與者。