原创 我們常常意識不到問題的存在,直到有人解決了這些問題

Hadoop MapReduce雖然已經可以滿足大數據的應用場景,但是其執行速度和編程複雜度並不讓人們滿意。於是UC Berkeley的AMP Lab推出的Spark應運而生,Spark擁有更快的執行速度和更友好的編程接口,在推出後短短兩年

原创 全面瞭解大數據“三駕馬車”的開源實現

Google File System(GFS)的開源實現:HDFS Google大數據“三駕馬車”的第一駕是GFS(Google文件系統),而Hadoop的第一個產品是HDFS,可以說分佈式文件存儲是分佈式計算的基礎,也可見分佈式文件存儲的