就在2017年4月11日，Gartner的著名分析師Anton Chuvakin在其Gartner官方博客上稱“企業和組織如果打算自建安全數據湖或者定製自己的大數據安全分工具的話，那麼基本上肯定會失敗”！
Anton以自己在跟客戶溝通中瞭解到的信息作爲佐證，說包括一些財富50強在內的企業在幾年前自建的所謂安全分析項目耗費了大量資源，但收效甚微。有的客戶表示“我寧願希望我們從未聽說過Hadoop這個東東，我們浪費了數年時間在企圖基於Hadoop構建安全分析能力之上”（we wish we’d never discovered Hadoop – we wasted years of trying to make a security analytics capability out of it.）
Anton進一步探討了可能的失敗原因，包括：
1）大數據池中充斥者垃圾數據；【我注：安全數據湖變成了安全數據臭水塘】
2）收集數據其實是個坑；【我注：沒錯，要知道，SIEM/SOC廠商用了N年時間才差不多掌握收集數據的種種坑，自建大數據安全分析平臺，那麼這些坑還要重走一遍，flume, logslash並不像看上去那麼easy】
3）數據訪問有問題。好不容易將數據導入湖中了，但是如何調出這些數據去進行分析？基本做的很失敗，包括hadoop自身存在的問題。所以Facebook的人說“是時候停止用hadoop來做分析了”！hadoop做存儲和批處理是OK的，但是不適合用於做分析。這篇文章進行了詳細的論證。
4）大部分項目止步於收集完數據，填滿了大數據湖。後續的分析工作舉步維艱。
5）如果說還有什麼分析功能的話，其實基本就是關鍵字全文搜索【注：當初說好的高級安全分析呢？】
6）沒有檢測出什麼威脅。大部分平臺搭建好後，集成了各種分析工具，ML庫，但是安全分析場景呢？對不起，沒有。安全分析場景的構建遠比想象中的更難。
7）安全分析師匱乏【注：別指望什麼AI，自動分析，沒有安全分析師，平臺的價值難以體現】
結果呢，很多所謂成功的大數據安全分析項目其實就是裝個ELK，把日誌裝進去，做個全文檢索。這與當初的設想相去甚遠。
Anton對於在今年內自建大數據安全分析或者基於開源大數據安全分析平臺（metron,spot等）的嘗試都不看好。【我基本贊同這個觀點，metron是從Cisco的OpenSOC而來，還處於孵化階段，遠未成熟。而自建平臺需要通曉大數據技術和安全領域知識的跨界人才，要能將複雜的工程技術與深厚的***對抗能力結合起來，目前來看，這個要求太高】
-----------------以下是我的觀點--------------
Anton的這個論斷一出，立即引發了很多爭論。我覺得Anton這麼提也是爲了振聾發聵，引起業界的重視。但無論如何，我們看看上面那些失敗的可能因素分析，的確足夠引起我們深思。
放眼中國，我有些許“欣慰”，原來國內企業和組織的遭遇老外們甚至財富50強們也都正愁着呢。也許有些互聯網公司會說自己就有自建的大數據安全分析平臺，那麼，請對照上面的內容自我檢討一下，無則加勉。
那麼怎樣纔是建設大數據安全分析平臺的正確姿勢呢？Anton沒有明確提出來。不過，我個人認爲，在近幾年內，開放的混合架構可能是一個穩妥的選擇。混合，也就是指混合商業的軟件和開源的軟件，有的部分用開源的，有的部分用商業化產品/組件，各施所長。開放，也就是說這個平臺軟件架構必須是開放可擴展的架構，能夠將開源的組件和商業化的組件進行組合、擴展、替換。
此外，在底層技術支撐架構的設計方面，要慎用Hadoop，千萬不要覺得有個hadoop就多麼牛掰，“言大數據必稱hadoop”的思想很危險，spark也不是什麼善茬兒。hadoop到底需要不需要？It depends，放到安全分析的情境之下，其實還有很多細緻的考量。
還有，大數據安全分析平臺的工程化遠比畫一張設計圖紙要難得多。從驗證到投產更是對工程化的嚴峻考量。
別忘了，構建這個平臺本身不是目標，用起來，分析出安全問題才行。而這不是僅有平臺就Ok的，還需要配套的組織和流程，以及——人！大數據安全分析非但沒有降低對人的技能要求，反而大大提升了對人的能力要求。
最後，其實不僅是將大數據應用於安全分析遇到的阻礙，在大數據的各個應用領域，都不是一帆風順。之前Gartner已經警告過：大數據泡沫可能即將破裂。而在年初的Gartner數據與分析峯會上，同樣也表達了對大數據項目的悲觀預測，稱“2017年部署的Hadoop系統中有多達70%將無法實現預期的成本節省或創造營收的目標”。
Anyway，大數據安全分析平臺必須做，做下來才能發現問題，才能去解決問題，系統才能不斷進化，這是大勢所趨，困難都將被克服。但是具體落地需要謹慎，don't boil the whole ocean，不要盲目求新，要在繼承的基礎上去發展，以往其實有很多好的實踐經驗，不要扔掉。
各位對此有何想法，歡迎交流。
【參考】
Why Your Security Data Lake Project Will FAIL!
Gartner：夥計們，你們搞錯Hadoop和Spark了，它們可能會失敗！
It's Time to Stop Using Hadoop for Analytics