第2章：爲什麼大數據很重要
瞭解大數據是什麼並瞭解它的價值是兩回事。即使瞭解大數據分析，信息的價值仍然難以可視化。乍一看，結構化，非結構化和半結構化數據的井似乎幾乎是不可思議的，每個桶只是一個不相關的數據元素。
找出重要的事項及其重要性是從大數據井中汲取的第一步，也是避免信息淹沒的關鍵。但是，這個問題仍然存在：爲什麼大數據很重要？對於中小型企業來說似乎很難回答，特別是那些已經避開過商業智能解決方案的企業，並且已經開始依賴其他方法來開發市場並實現目標。
對於企業市場而言，大數據分析已經證明了其價值，並且有很多例子。 Facebook，亞馬遜和谷歌等公司已經開始依賴大數據分析作爲其主要營銷方案的一部分，以及更好地爲客戶提供服務的方式。
例如，亞馬遜很好地利用其大數據來創建客戶應該購買的產品的非常準確的表示。亞馬遜通過存儲每個客戶的搜索和購買以及幾乎任何其他可用信息來實現這一點，然後將算法應用於該信息以將一個客戶信息與所有其他客戶的信息進行比較。
結果是真實可測量的，它們爲客戶提供了實用的優勢。例如，顧客在白雪皚皚的地區購買夾克。爲什麼不建議購買手套以匹配，或靴子，以及雪鏟，冰融和輪胎鏈？對於店內人員來說，這些建議可能是自然而然的;對於亞馬遜，大數據分析能夠通過簡單地查看客戶正在購買的產品，購買產品的位置以及過去購買的產品來解讀趨勢並瞭解購買流程。 Thosedata與其他公共數據相結合，如人口普查，氣象，安德森社交網絡數據，創造了一種獨特的能力，爲客戶和亞馬遜提供服務。
對於Facebook而言，大致相同，大數據也可以用於關鍵功能，如朋友建議，有針對性的廣告和其他以會員爲中心的產品。 Facebook能夠通過使用利用模式識別，數據混搭和其他一些數據源的分析來積累信息，例如用戶的偏好，歷史和當前活動。 這些數據以及來自所有其他用戶的數據被挖掘出來，以創建有針對性的建議，這些建議被報告爲對大多數用戶而言非常準確。
大數據深陷
谷歌也利用大數據模型，它是使大數據成爲可能的軟件元素之一。然而，谷歌的方法和焦點與Facebook和亞馬遜等公司的方法和焦點略有不同。 Google旨在最大限度地利用大數據，判斷搜索結果，預測互聯網流量使用情況，並使用Google自己的應用程序爲客戶提供服務。 從廣告的角度來看，網絡搜索可以通過深入研究網絡搜索信息，用戶偏好，cookie，歷史等廣泛的內容，與符合搜索標準的產品相關聯。
當然，亞馬遜，谷歌和Facebook都是龐大的企業，並且可以訪問數PB的數據進行分析。 然而，它們並不僅僅是大數據如何影響業務流程的典型例子。例如，科學，醫學和工程社區都有大量數據，通過實驗，觀察和案例研究收集大量數據。 例如，CERN的LargeHadron Collider每秒可以生成1PB的數據，爲大數據的概念賦予了新的含義。 CERN依靠thosedata來確定使用複雜算法和分析的實驗結果，這些算法和分析可能需要大量的時間和處理能力才能完成。
許多製藥和醫學研究公司與歐洲核子研究中心以及研究地震，天氣和全球氣候的組織屬於同一類別。 所有這些都受益於大數據的概念。但是，這會讓中小型企業走向何方？ canthese實體如何從大數據分析中受益？ 這些企業通常不會生成數PB的數據或處理大量的分類數據，或者它們是什麼？
對於中小型企業（SMB），大數據分析可以爲多個業務部門提供價值。 這是大數據分析市場中相對較新的發展。 中小型企業可以訪問大量公開數據，包括大部分Web和社交網站。 一些託管服務也應運而生，它們可以爲分析提供計算能力，存儲和平臺，將大數據分析市場轉變爲“隨用隨付，消耗您所需”的實體。 這證明對於中小型企業市場來說非常便宜，並且允許這些企業放慢速度並嘗試大數據分析所能提供的功能。
由於數據量和成本的障礙有所消除，中小企業利用大數據仍然存在重大障礙。這些障礙包括數據的純度，分析知識，對統計數據的理解以及其他一些哲學和教育挑戰。 這一切都歸結爲分析數據，不僅僅是因爲它們存在，而是出於特定的商業目的。
對於希望獲得分析經驗的中小型企業而言，轉型的第一個地方就是網絡，即用於分析網站流量。在這裏，SMB可以使用像Blekko這樣的工具（http://www.blekko.com
）查看網站的流量分佈。這些信息對於依賴公司網站傳播營銷信息，銷售商品或與當前和潛在客戶溝通的人羣非常有價值。 Blekko適合大數據範例，因爲它查看多個大型數據集並創建具有有意義的可操作信息的視覺結果。使用Blekko，小型企業可以快速收集有關其網站的統計數據，並將其與競爭對手的網站進行比較。
儘管Blekko可能是大數據分析中最簡單的例子之一，但它確實說明了即使是最簡單的形式，BigData分析也可以使中小企業受益，就像它可以使大型企業受益一樣。當然，其他工具存在，新的是一直到市場。隨着這些工具的成熟和中小企業市場的可訪問性，中小企業將有更多機會利用大數據概念。
收集數據通常是分析遊戲中的一半.SMBs可以使用80Legs，Extractiv和Needlebase等工具搜索Web，所有這些工具都提供從Web收集數據的功能。 數據可以包括社交網絡信息，銷售清單，房地產清單，產品清單和產品評論，並且可以收集到結構化存儲中然後進行分析。 收集到的數據證明對於那些希望通過分析來提升其市場排名的企業來說，這是一種可用的資源。
大數據，無論是在內部還是在託管產品上完成，都可以提供任何規模的估值業務 - 從尋求在其市場中尋找其位置的最小企業到尋求識別下一個世界範圍趨勢的最大企業。這一切都歸結爲以智能方式發現和利用數據。
我們這個世界的數據量已經爆炸式增長，分析大型數據集已經成爲競爭的關鍵基礎，支撐着生產力增長，創新和消費者剩餘的新浪潮。每個部門的商業領袖都會直接或間接地考慮大數據的影響。
此外，隨着多媒體，社交媒體，即時消息，電子郵件和其他互聯網技術的興起，企業和政府機構獲得的信息數量和細節的增加將推動數據在可預見的未來呈指數級增長。其中一些增長可歸因於合規性要求的提高，但這是數據量增加的一個關鍵因素，即日益增長的傳感器和儀表化世界。示例包括RFID標籤，配備GPS傳感器的車輛，低成本的遠程感知設備，儀表化的業務流程以及儀表化的網站交互。
關於大數據是否過大的問題很快就會出現，導致確定價值可能更加困難的情況。這將成爲數據質量與數量相關的論據。然而，如果企業不準備處理數據管理，那麼處理不斷增長的數據源幾乎是不可能的。
數據繼續發展：
在2010年之前，管理數據是一項相對簡單的工作：在線交易處理系統支持企業的業務流程，運營數據存儲累積業務交易以支持運營報告，企業數據倉庫累積和轉換業務交易以支持運營和戰略決策。
典型的企業現在每年的數據增長率爲40％至60％，這反過來又增加了財務負擔和數據管理的複雜性。這種情況意味着數據本身變得不那麼有價值，更多的是對許多企業或低商品因素的負擔
沒有東西會離事實很遠。更多的數據意味着更多的價值，無數的公司已經證明了大數據分析的公理。爲了證明這一價值，人們只需看看垂直市場如何利用大數據分析，這將導致破壞性的變化。
例如，較小的零售商正在收集來自網站互動的點擊流數據和來自傳統零售業務的會員卡數據。這種銷售點信息傳統上被零售商用於購物籃分析和庫存補充，但許多零售商現在更進一步，挖掘數據以進行客戶購買分析。然後，這些零售商與供應商和軟件公司共享這些數據（在標準化和身份清理之後），以提高供應鏈的效率。
另一個發現價值的例子來自科學世界，大規模的實驗創造了大量的數據分析。大科學現在與大數據配對。大數據科學與大數據的合作有着深遠的影響;它有助於重新定義數據的存儲，挖掘和分析方式。大規模實驗產生的數據多於實驗室數據中心所能提供的數據（例如，歐洲核子研究中心的大型強子對撞機每年產生超過15個字節的數據），這反過來要求將數據立即轉移到其他實驗室進行處理 - 分佈式分析和處理的真實模型。
其他科學任務是大數據行動的主要例子，推動了實驗的執行和數據推理的顛覆性變革。由於採用大數據方法，大陸尺度的實驗在政治和技術上都具有可行性（例如，海洋觀測站倡議，國家生態觀測網絡和USArray，一個大陸尺度的地震觀測臺）。
大部分的破壞都來自於改進的儀器和傳感技術;例如，大型天氣測量望遠鏡有一個3.2千兆字節的像素攝像頭，每年產生超過6PB的圖像數據。正是大數據的平臺正在實現這樣的崇高目標。
大數據分析的驗證可以通過先進的科學來說明。生物醫藥公司Bioinformatics最近宣佈它已經減少了今天幾年來對基因組進行測序所需的時間，並且還降低了成本，因此以1,000美元的價格對個體基因組進行測序是可行的，爲改進診斷和個性化醫療鋪平了道路。
金融業已經看到大數據及其相關分析如何對業務產生破壞性影響。金融服務公司通過較小的交易規模，增加的市場波動性以及自動化和算法標識中的技術改進來觀察更大的數量。
數據和數據分析正在迅速發展
大數據範例的一個令人驚訝的結果是價值可以在數據中找到的位置的轉變。 在過去，有一個固有的假設認爲，大部分價值都可以在結構化數據中找到，這通常佔存儲數據總量的20％。其他80％的數據本質上是非結構化的，並且通常被認爲具有有限或很少的價值
一旦搜索引擎提供商和電子零售商的成功表現出來，這種看法就開始發生變化。 正是對結構化數據的分析導致了點擊流分析（針對電子零售商）和搜索引擎預測，這些預測啓動了大量數據運動。成功處理大量結構化數據的第一個例子促使其他行業注意到 這反過來又導致企業挖掘和分析結構化和非結構化數據，以尋找競爭優勢。
非結構化數據爲分析過程帶來了複雜性。人臉識別的圖像處理，視頻的搜索分類以及地理空間處理過程中的複雜數據集成等技術正成爲處理非結構化數據的常態。 除此之外，還需要支持傳統的基於交易的分析（例如，財務業績），並且很容易看出複雜性呈指數級增長。 此外，還需要其他功能，例如Web點擊流數據驅動行爲分析。
行爲分析是一個確定人與人之間以及人與系統交互數據行爲模式的過程。 它需要大量數據才能構建準確的模型。 行爲模式可以提供對導致事件的一系列動作的洞察（例如，客戶銷售或產品轉換）。 一旦確定了這些模式，就可以將它們用於事務處理以影響客戶的決策。
雖然交易數據分析的模型已被很好地理解，並且很多價值是通過結構化數據實現的，但是在行爲分析中發現的價值允許創建更具預測性的模型。行爲交互的理解較少，並且需要構建大量數據 準確的模型。 這是另一種情況，其中更多數據等於更多價值; 這得到了研究的支持，該研究表明，具有少量數據的複雜算法不如具有大量數據的簡單算法準確。 可以在用於語音和手寫識別以及衆包的算法中找到這方面的證據。
未來是現在
處理非結構化數據的新發展幾乎每天都會到達，其中最新和最重要的一個來自社交網站Twitter。理解其龐大的非結構化數據數據庫是一個巨大的問題 - 實際上，它是如此巨大，以至於購買了另一家公司只是爲了幫助它在大型數據存儲中找到價值。 Twitter的成功主要圍繞公司如何利用其用戶生成的數據。這相當於來自現場主機的超過2億個帳戶的大量非結構化信息，每天產生2.3億條Twitter消息。
爲了解決這個問題，社交網絡巨頭購買了Storm的開發商BackType，這是一款可以解析諸如數百萬Twitter feed所創建的liveata流的軟件產品.Twitter發佈了Storm的源代碼，使其可供其他人使用追求技術。 Twitter對Storm的商業化不感興趣。
Storm已經證明了它對Twitter的價值，Twitter現在可以實時執行分析，並在開發過程中識別趨勢和新興主題。例如，Twitter使用該軟件來計算多個Twitter用戶實時共享Web地址的程度。
憑藉Storm提供的功能，公司可以實時處理BigData並獲取能夠帶來競爭優勢的知識。例如，使用一臺機器計算網址的範圍最多可達10分鐘。但是，使用Stormcluster，這個工作負載可以分散到幾十臺機器上，並且可以在幾秒鐘內發現。對於從新興趨勢中賺錢的公司（例如廣告代理商，金融服務和互聯網營銷商），加快處理速度至關重要。
與Twitter一樣，許多組織發現他們可以訪問大量數據，並且可以將所有形式的數據轉換爲可以提高效率，最大化利潤和推出新趨勢的信息。訣竅是儘快組織和分析數據，這個過程現在可以使用開源技術完成並集中在大數據的標題下。
其他例子還有很多非結構化，半結構化和結構化的大數據商店如何爲業務部門提供價值。例如，使用在線購物服務LivingSocial，它利用Apache Hadoop數據處理平臺等技術獲取用戶想要的信息。
這一過程使Living Social能夠實時提供預測分析，從而更好地爲其客戶羣提供服務。該公司並非單獨尋求從其非結構化數據中榨取最大價值。其他主要的購物網站，購物比較網站和實體店的在線版本也實施了技術，將實時分析帶到了客戶互動的最前沿。
然而，在競爭激烈的市場中，尋找解釋數據並加快處理速度的新方法被證明是關鍵的競爭優勢，並通過新的創新和流程推動大數據分析的發展。那些企業和其他許多人都知道，所有形式的數據都不能被視爲商品，正如黃金一樣，通過挖掘，人們可以找到可以影響底線的價值金塊。
第3章大數據和商業案例
大數據正迅速變得不僅僅是一個流行語。許多組織對大數據周圍的技術進行了大量投資，目前正開始利用內容來發現真正的價值。
即便如此，大數據仍然存在很多混淆，類似於許多信息技術（IT）經理過去曾經歷過的顛覆性技術。大數據破壞了商業智能（BI）在商業中的使用方式 - 這對許多高級管理人員來說是一個可怕的主張。
這種情況使首席技術官，首席信息官和IT經理處於不利的位置，試圖證明破壞性技術將真正改善業務運營。進一步使這種情況複雜化的是內部大數據處理相關的高成本，以及非現場處理大數據分析的安全問題。
也許一些衝突來自大數據一詞
非技術人員可能會從字面上思考大數據，因爲它與大問題和巨大成本相關聯。將大數據呈現爲“大分析”可能是贏得重要決策者的方式，同時爲大數據所依賴的員工，技術和結果構建業務案例。
訣竅是超越大數據的公認定義 - 這意味着它只不過是用傳統工具管理的數據集太大了 - 並解釋說大數據是挖掘大型數據庫價值的技術組合。
而大是這裏的關鍵詞，僅僅是因爲大量的數據每秒都在收集 - 比以往任何時候都要多 - 這些數據的大小比現在的當前戰略和技術實際管理的要大。
這創造了一場革命，大數據已成爲數據海嘯的中心，以及它將如何改變企業流程的執行。這些變化包括提高效率，建立新的收益發現流程以及推動創新。大數據已經迅速發展，從圍繞技術圈的新流行語轉變爲實際的定義，即大分析。
實現價值
許多行業 - 包括醫療保健，公共部門，零售和製造業 - 顯然可以從分析他們迅速增長的數據堆中獲益。 收集和分析交易數據，使組織更深入地瞭解客戶的偏好，這樣數據就可以作爲產品和服務創建的基礎。這使組織能夠及時，更具競爭力地解決新出現的問題。使用Big 因此，數據分析正在成爲個體企業競爭和增長的關鍵基礎，並且很可能會引發新的生產力，增長和消費者剩餘浪潮。
大數據的案例
爲大數據項目構建有效的業務案例涉及識別可以直接與業務流程相關聯的幾個關鍵元素，並且易於理解和量化。這些要素包括知識發現，可操作信息，短期和長期利益，痛點解決方案以及其他一些通過提供洞察力來改善業務流程的方法。
在大多數情況下，大數據在引入企業時是一個破壞性因素，這種中斷包括規模，存儲和數據中心設計問題。中斷通常涉及與硬件，軟件，人員和支持相關的成本，所有這些都會影響底線。這意味着投資回報率（ROI）和總擁有成本（TCO）是大數據業務計劃的關鍵要素。在降低TCO的同時加快投資回報率的訣竅。最簡單的方法是將大數據業務計劃與由業務需求驅動的其他IT項目相關聯。
雖然這聽起來像是一個真正的挑戰，但企業實際上正在投資存儲技術並改進處理以滿足其他業務目標，例如合規性，數據存檔，雲計劃和連續性計劃。由於大數據的兩個主要需求：存儲和處理，這些舉措可以爲大數據項目提供基礎。最近，業務IT解決方案的自然增長主要集中在具有分佈式特性的過程中，其中存儲和應用程序分佈在多個系統和位置。這也是大數據的自然伴侶，進一步幫助奠定了Big Analytics的基礎。構建業務案例涉及使用案例場景和提供支持信息。存在大量示例，包括幾個業務案例草案，案例場景和其他抵押品，所有這些都是涉及大數據解決方案的主要供應商。擁有大量抵押品的Notablevendors包括IBM，Oracle和HP。雖然沒有設置構建業務案例的公式，但有一些關鍵元素可用於定義業務案例的外觀，這有助於確保成功大數據項目。
大數據分析的可靠業務案例應包括以下內容：
該項目的完整背景。
這包括項目的驅動因素，其他人如何使用大數據，大數據將與哪些業務流程保持一致，以及實現項目的總體目標。
福利分析。
通常很難將BigData的好處量化爲靜態和有形的。大數據分析的全部內容都是關於數據的解釋和模式的可視化，這與主觀分析有很大關係，高度依賴人類來翻譯結果。但是，這並不妨礙商業案例將大數據帶來的利益納入非主觀條款（例如，確定銷售趨勢，確定可能的庫存縮減，量化運輸延遲或衡量客戶滿意度）。訣竅是調整項目的好處滿足業務流程或需求的需求。這方面的一個例子是識別業務目標，例如年增長率爲5％，以及大數據分析如何幫助實現該目標。
選項。
BigData的目的地有幾條路徑，從內部大鐵解決方案（運行大型主機系統的數據中心）到雲中的託管產品，再到兩者的混合。重要的是研究這些選項並確定如何實現大數據分析，以及每個選項的利弊。偏好和利益也應該突出，允許財務決策與技術決策相關聯。
範圍和成本。範圍更像是一個管理問題而非物理部署問題。這一切都歸結爲實施範圍如何影響資源，尤其是人員和員工。範圍問題應確定項目的人員和時間，定義人員工時和技術專業知識，以及培訓和輔助要素。成本還應與人員配置和培訓問題相關聯，這有助於爲TCO計算創建全局，併爲準確的ROI計算提供基礎。
風險分析。
計算風險可能是一項複雜的工作。但是，由於大數據分析確實是提供BI的業務流程，因此風險計算可以包括與技術提供的優勢相比無所事事的成本。要考慮的其他風險是安全隱患（數據存在且誰可以訪問它），CPU開銷（分析是否會限制一系列業務應用程序的處理能力），兼容性和集成問題（安裝和操作是否與現有技術一起使用）技術）和業務流程的中斷（安裝會造成停機）。所有這些要素都可以通過大規模項目來考慮風險，並且應該被考慮用來構建一個可靠的商業案例。
當然，商業案例中最關鍵的主題是投資回報率。組織可能收到的與項目成本相關的回報或收益是隨着更多研究和建立業務案例時收集信息而變化的比率。理想情況下，隨着更多研究的進行以及業務案例編寫者從大數據分析解決方案的實施中發現其他價值，ROI與成本比率會有所提高。然而，投資回報率通常是決定項目最終是否會向前發展的最重要因素。 ROI的確定已成爲公司和非營利組織首先參與業務案例流程的主要原因之一。
大數據的興起
Teradata，IBM，惠普，甲骨文以及許多其他公司已經提供了超過十年的TB級數據倉庫，但是這些優勢已經針對數據倉庫是主要目標的流程進行了調整。今天，數據傾向於以更廣泛的格式收集和存儲，並且可以包括結構化，半結構化和結構化元素，每個元素往往具有不同的存儲和管理要求。對於大數據分析，數據必須能夠跨多個服務器並行處理。這是必要的，要分析大量的信息。
除了從數據庫中詳盡維護的事務數據和駐留在數據倉庫中的精心挑選的數據之外，組織還從服務器和機器生成的數據形式，來自內部和外部社交網絡的客戶評論以及其他鬆散，非結構化的來源中獲取大量日誌數據。數據。
由於Moore'sLaw，這些數據集以指數速度增長。摩爾定律指出，可以放置在處理器晶圓上的晶體管數量大約每18個月增加一倍。每一代新一代處理器的功能都是其最新產品的兩倍。同樣，新服務器的功能也每18個月增加一倍，這意味着它們的活動將產生相應更大的數據集。
大數據方法代表了數據處理方式的重大轉變。過去，經過精心挑選的數據通過網絡傳輸到數據倉庫，在那裏可以進一步檢查。但是，隨着數據量的增加，網絡成爲瓶頸。這是一種分佈式平臺（如Hadoop）發揮作用的情況。分佈式系統允許分析發生在數據所在的位置。
傳統數據系統無法有效處理大數據，因爲這些系統不是爲處理今天的各種數據而設計的，這些數據往往具有更少的結構，或者因爲數據系統無法快速，經濟地擴展。大數據分析與傳統BI的工作方式大不相同，傳統BI通常依賴於放置在數據倉庫中的用戶數據的乾淨子集，以有限的多種預定方式進行查詢。
大數據採用了一種非常不同的方法，其中所有數據組織生成都被收集並與之交互。這允許管理員和分析師擔心以後如何使用數據。從某種意義上說，大數據解決方案比傳統數據庫和數據倉庫更具可擴展性。
爲了理解圍繞大數據的選擇是如何發展的，人們必須回到Hadoop的誕生和大數據運動的曙光.Hadoop的根源可以追溯到2004年穀歌白皮書，該白皮書描述了谷歌爲分析不同數據而建立的基礎設施。服務器，使用名爲Bigtable的索引系統。 Google保留了大量供內部使用，但已經創建了Lucene和Solr開源搜索引擎的開發人員Doug Cutting創建了一個開源版本的Bigtable，在他兒子的大象之後命名技術Hadoop。
Hadoop的第一批採用者之一是雅虎，它致力於大量的工程工作，以便在2006年左右完善技術。雅虎的主要挑戰是理解分離系統中存儲的大量有趣數據。統一這些數據並將它們作爲一個整體進行分析成爲雅虎的一個關鍵目標，而Hadoop最終成爲實現這一目標的理想平臺。如今，雅虎是Hadoop的最大用戶之一，並已將其部署在超過40,000臺服務器上
該公司將該技術用於多個商業案例和分析工作。雅虎的Hadoop集羣擁有用戶點擊的故事和部分的大量日誌文件;還存儲廣告活動，以及雅虎發佈的所有內容和文章的列表。對於雅虎而言，Hadoop已被證明非常適合在大量文本中搜索模式。
超越HADOOP
在大數據領域中熟悉的另一個名稱是Cassandra數據庫，這種技術可以在一行中存儲200萬列。這使得Cassandra非常適合將更多數據附加到現有用戶帳戶，而無需提前知道數據的格式。
Cassandra的根源還可以追溯到在線服務提供商，在這種情況下，Facebook需要一個龐大的分佈式數據庫來支持服務的收件箱搜索。與雅虎一樣，Facebook希望使用Google Bigtable架構，該架構可以提供面向列和麪向數據庫的結構，可以在大量節點上傳播。
但是，Bigtable有一個嚴重的限制：它使用了面向主節點的設計。 Bigtable依賴於單個節點來協調所有節點上的所有讀寫活動。這意味着如果頭節點發生故障，整個系統將毫無用處。
Cassandra建立在一個名爲Dynamo的分佈式架構上，亞馬遜的工程師在2007年的白皮書中描述了它.Amazon使用Dynamo來跟蹤其數百萬在線客戶在他們的購物車中所放置的內容。
Dynamo給了Cassandra優於Bigtable的優勢，因爲Dynamo不依賴於任何一個主節點。任何節點都可以接受整個系統的數據，以及回答查詢。數據在多個主機上覆制，創建彈性並消除單點故障。
與選擇的結合
最初由在線服務提供商開發的許多工具越來越多地作爲開源軟件供企業使用。除了大型在線服務提供商之外，大數據工具正在由更廣泛的組織進行測試。金融機構，電信，政府機構，公用事業公司，零售和能源公司都在測試大數據系統。
當然，更多的選擇可以使決策更加困難，這可能是將滿足項目需求的業務計劃整合在一起而不會在流程中引入任何額外不確定性的最大挑戰之一。理想情況下，大數據業務計劃可以簡化支持長期戰略分析和一次性交易和行爲分析的主要目標，從而帶來直接利益和長期利益。
雖然Hadoop適用於大多數企業，但它並不是城裏唯一的遊戲（至少在開源實現時）。一旦組織決定利用其機器生成的社交網絡數據，建立基礎設施將不是最大的挑戰。最大的挑戰可能來自決定單獨使用開源或轉向大數據技術的商業實施。 Cloudera，Hortonworks和MapR等供應商正在將Big Datatechnologies商業化，使其更易於部署和管理。
再加上雲服務提供商不斷增長的大數據點播服務，決策過程變得更加複雜。決策者必須投入研究並進行盡職調查，以選擇適當的平臺和實施方法，以使商業計劃取得成功。但是，大部分工作都可以在業務計劃開發階段完成，因爲可以權衡各種大數據方法的優缺點，然後根據業務計劃的總體目標進行衡量。哪種技術能夠以最快的成本實現最低成本，而且不會影響未來的能力？