大數據分析可以追溯到30年前， 那時在數據分析界， 人們認爲數據分析的工具和算法已經可以深度分析出任何東西， 所欠缺的就是數據量。 數據分析師們的說法就是， 如果你能夠讓我測量一切數據， 追蹤一切數據， 從微觀的精確到分鐘的銷售， 精確到每個人的資源消耗，到宏觀的變量如利率的變化等， 我就能夠告訴你想知道的一切， 這些變量之間的相關性， 它們的變化趨勢等等一切的一切。
這種說法一直是主流數據分析界的看法。 到了今天， 數據量已經不成問題了。 互聯網的幾乎能夠找到你需要的任何數據。 想要知道賓夕法尼亞州的工業清洗設備的銷售與該州的鋼鐵廠的設備使用的關係? 沒問題， 想要提高用戶滿意度? 可以把用戶投訴數據採用聚類算法進行聚類。 你動動鼠標， 很多數據就能夠找到了。
大數據的“羅生門”
好了， 現在的問題， 已經不是數據不夠的問題了。 分析師不能再說“我的分析方法沒問題， 只要有足夠的數據。 ”如今， 數據的豐富程度已經足以滿足任何分析方法的需要。 相反， 分析師需要考慮的是“什麼樣的分析方法最合適”以及“這些數據到底能告訴我們什麼”。
這很自然地帶來了另一個問題， 這個問題可能是大數據帶來的真正問題。 那就是：
現有的數據， 多的可以讓你想要分析出什麼結果， 就能分析出什麼結果。
有一句話叫做：“這個世界上有兩種謊言， 第一種叫謊言， 第二種叫統計”。 我們的大腦有一種無與倫比的能力， 那就是發現規律的能力(即便是其實沒有規律)。
達頓商學院的教授曾經在班上做過這樣一個實驗：他找了兩個學生， 其中一個學生， 用隨機數生成器 生成一個數列， 數列裏的每個數， 都是1 到10 之間的一個隨機整數。 另一個學生， 則寫同樣長度的一個數列， 數列中的每個數， 這個學生可以隨機地寫從1到10 之間的一個整數。 教授讓第三個學生， 把這兩個學生生成的數列給他看。 他幾乎每次都能正確地判斷出那個數列是真的隨機數列， 哪個數列是人工寫的。 那些看上去有規律， 或者常有連續重複數字的， 是隨機數列。 而人工寫成的數列， 則儘量避免出現規律性或者重複性。 爲什麼呢? 因爲我們總潛意識裏， 會認爲有規律性或者重複性的東西， 一定有它的原因， 就不可能是隨機的。 因此， 當我們看到任何有點規律的模式時， 我們就會認爲一定有一些非隨機的因素。
這種潛意識其實來自於我們在自然界的生存本能。 當你看到草叢晃動的時候， 你寧可認爲是有一隻老虎在那邊， 也比認爲是“隨機的” 風吹的， 而最後跳出一隻老虎來強。
用“小實驗”來驗證“大數據”
如何才能避免掉入這樣的認知陷阱呢? 可以採用達頓商學院教授Jeanne Liedtka所提倡的“小規模實驗”的方式。 “小規模實驗”與“大數據挖掘”的區別在於， “小規模實驗”是特別設計來驗證那些憑藉分析工具(或者在分析工具幫助下的想象力)所“發現”的規律的正確性。 設計小規模試驗的關鍵， 就是用實例去驗證你發現的規律。 如果驗證結果是正確的話， 那麼規律或模式的可信度就提高了。
爲什麼要“小規模”呢?因爲， 在海量數據加上分析工具， 可以讓我們去發現無數的規律和模式， 而對每個規律或模式去驗證會投入資源(時間以及金錢)。 通過把實驗數據量的規模減小， 我們就可以更快更有效地驗證更多的可能性。 這樣也就能夠加快企業的創新過程。
如何進行“小規模實驗”， 要根據具體情況看(編者注： 本站文章解密奧巴馬的大數據精準營銷戰裏提到了奧巴馬的競選團隊進行的實驗性數據分析， 讀者可以參考)。 一般來說， 實驗會採用大數據分析所用的數據集。 從中取出一部分子集進行分析， 發現的規律， 通過另一部分數據子集進行驗證， 如果規律在驗證數據子集中也存在的話， 再利用大數據數據集採集的方式採集新的數據， 進一步進行驗證。
保險公司Progressive Insurance以及信用卡公司Capital One是兩個利用數據分析成功取得競爭優勢的公司。 在他們的實踐中， 他們就很好地採用了這樣的“大數據, 小實驗”的方式， 他們意識到我們天生的那種發現“並不存在的”規律的能力的危險性， 因此，他們利用小規模試驗的方式， 從而使得他們能夠快速有效地進行數據挖掘。
海量數據加上分析工具， 使得數據分析現在是一個很熱的話題。 很多企業認爲數據分析師能夠“點石成金”。 但是，常言道: “人們看到的是他們想要看到的東西。” 今天， 我們有了海量數據和能“發現任何規律”的分析工具後， 還是不能忘記那個最古老的辦法——用小規模的實驗去驗證。 否則的話， 幾百萬上千萬美元的大數據投資， 可能發現的只是我們想象出來的“規律”。