用大數據分析大數據市場
現今科技界紅到發紫的大數據革命的代表性技術就是Hadoop(注：一個分佈式系統基礎架構)。Hadoop是一個由一系列不同的技術組成的生態系統。做Hadoop相關產品的公司有很多，其中也有很多不一樣的選擇和變種，比如Cloudera，Hortonworks，亞馬遜EMR，Storm和Spark都是其中的一部分。而Hadoop作爲一個整體來說仍然是採用量最多，討論最火爆的大數據技術。
然而通過我們的數據分析發現在世界上前50萬個公司中，只有很少的一部分真正的使用了Hadoop技術。有人會說我們仍然處在這個技術被大衆所接受最初始的階段。我們假設用Hadoop的實用情況來代表整個大數據的發展現狀，通過數據分析我們發現了一些很有意思的市場現狀。
當剛看到這些原始數據的時候，我們會發現大數據市場還有非常大的潛在空間。但是現在真正的使用者非常少，而這方面的公司又多如牛毛，意味着大數據科技公司中會被併購。簡單地講，大數據市場會慢慢的變得更加成熟。
現況一覽
我們分析了幾十億條網上公佈的信息，包括新聞稿、論壇帖子、招聘啓事、微博和專利等等。我們用這些大量的文檔進行機器學習，從而得到一些關於大公司都技術採用情況的非常精確的信息。
我們想通過分析瞭解什麼樣的趨勢呢?舉個例子，通過統計公司員工的技能就可以瞭解他們所在的公司這正在使用什麼樣的技術;有哪些公司在找會Spark的人;哪些公司在招數據科學家，招多少個。如果把關注點放在Hadoop上我們可以找到一個公司或者組織的人有沒有在討論Hadoop相關問題，有沒有需要Hadoop的職位正在招聘，都有誰去了當地關於Hadoop的興趣小組，還有網上誰在問關於Hadoop的技術問題。我們甚至用了關於Hadoop的每一條微博，博客和展示稿。
總的來說，我們發現只有2680個公司在某種程度上使用Hadoop，在這些公司裏面，1636個的技術採用成熟度是非常低的，這些人只是剛剛開始嘗試新技術，參加興趣小組和技術會議來學習大數據或者嘗試做一些入門探索性的項目。另外552個在更高的一個級別，他們已經開始在內部比較小型的項目中用Hadoop(部門的項目或者公司本身就是一個初創公司)。只有492個是在進階的技術狀態，這些公司有一個比較大型的項目投入產品並且有員工對Hadoop有一定的經驗。
大公司更愛大數據
我們驚訝的發現，大型公司(5000人以上)開始使用大數據技術的速度要遠遠高於小型公司。一般人很可能會猜小型或者歷史比較短的公司會更願意採用新技術。但是對於大數據，現實情況正好相反。我們發現大型公司中有300個對於Hadoop非常重視已經進行了技術投資，而相對比之下只有300個5000人以下的公司是Hadoop用戶。考慮到中小公司的總數目是大公司的10倍，這也就是說Hadoop在大公司市場的佔有率是中小型公司市場的10倍。
大多數用Hadoop的公司自己就是高科技數據導向的公司。但是我們不知道爲什麼小公司遲遲沒有迎頭趕上。這是因爲他們買不起大數據軟件支持嗎?還是因爲他們請不起高薪的數據科學家和工程師?還是他們根本就沒有太多的數據?
石油和醫藥行業落後
金融行業領先
油氣公司和醫藥公司一般來說都有非常多的數據集，但是我們的分析表明他們並沒有很多在使用Hadoop。然而金融行業雖然傳統上並不是可以快速採用新技術的行業，卻很快地使用了大數據技術。
這也許是因爲金融行業受到了一些早期使用者(比如美國運通公司)的影響。或者是因爲他們直接從IBM大型計算機飛躍到Hadoop，中間直接跳過了好幾代的技術更迭。甚至現在已經出現了專門提供這種技術升級服務的創業公司(比如Paxata和Syncsort)。
實時分析也不能阻擋
Hadoop的腳步
令人不解的是，一些需要實時分析的行業更快的採用了Hadoop技術。這些行業包括零售行業、IT安全、電信和保險。這個非常讓人困惑，因爲Hadoop最開始的基礎MapReduce(映射-歸納)模型採用的是批量處理，這種方法在實時數據分析和處理中非常低效。爲了解決這個問題，市場中已經出現了一些實時處理Hadoop的公司(比如Datatorrent、VoltDB和Splice Machine)。
未來展望
即使是那些準備好了進入Hadoop的公司也要面臨人才的缺失的問題。在撰寫文章的這天光美國就有1萬6千個需要Hadoop經驗的崗位在招人。如果Hadoop市場走向成熟，那業界需要找到一個可以利用那些沒有Hadoop技術經驗人才的方法。那些瞭解SQL的人才數目要比懂Hadoop的多100倍。類似Splice Machne, Presto,IBM大數據，甲骨文大數據SQL之類(這些公司都提供用SQL來查詢大數據的方法)的解決方案將會因爲相關人才的數量而更加有吸引力。
即便人才問題可以得到解決，技術本身仍然存在着實用和維護成本非常昂貴的問題。雖然使用了免費開源的Hadoop系統，你仍然需要找到非常稀少開價很高的系統管理員。另外雖然在備份，恢復和高使用性方面的解決方案越來越多，但是管理Hadoop系統仍然比SQL數據庫要複雜的多得多。
當今的Hadoop市場可以說是比較小的，並容不下這麼多的創業公司在裏面競爭。我們的分析表明真正在爲大數據買單的公司集中在少量的大型公司中，所以最後勝出的應該會是那些在市場中已經站穩腳跟的技術。我們從最近Hortonworks在股市中的表現也可以看到這一點(注：目前股價$11，市值自上市以來已經蒸發了一半還多)。
這會直接導致一些Hadoop公司被收購或者合併。最後併購的公司如果不僅可以支持最基本的MapReduce，還可以採用公有云定價模式，事務，純內存處理，實時分析和SQL等等，那麼客戶可以不再爲了有很多不同的一次性系統而煩惱。最終就像是以前的關係型數據庫公司那樣被應用型公司所取代(比如甲骨文)，這些公司直接提供一些大數據驅動的解決方案，可以直接應用在物聯網、客戶關係管理、供應鏈甚至一些行業特定的應用上，比如物流管理甚至金融欺詐檢測。
前路漫漫
如你所見，大數據市場還有非常多增長和改變的空間。我們的分析表明下面的幾個方面可以幫助這些增長成爲現實。首先Hadoop可以進軍更多的垂直市場和中型公司，其次Hadoop方面人才的數量需要增長，然後通過改善分析系統可以讓更多已經瞭解SQL的人更好地使用Hadoop工具。最後是併購之後的公司如果可以轉型成爲應用爲主體產品的公司應該會是笑到最後的贏家。
在這裏我還是要推薦下我自己建的大數據學習交流qq裙：522189307 ， 裙 裏都是學大數據開發的，如果你正在學習大數據 ，小編歡迎你加入，大家都是軟件開發黨，不定期分享乾貨（只有大數據開發相關的），包括我自己整理的一份最新的大數據進階資料和高級開發教程，歡迎進階中和進想深入大數據的小夥伴。上述資料加羣可以領取