Apache Hadoop項目包括以下四個主要模塊
（1）Hadoop Common：Hadoop的通用工具集
（2）Hadoop Distributed File System （HDFS）：分佈式文件系統
（3）Hadoop YARN：任務調度、集羣資源管理框架
（4）Hadoop MapReduce：基於YARN的並行處理編程模型
大數據處理流程
（1）採集
利用多個數據庫接受客戶端（web、app、傳感器等）的數據。在大數據的採集過程中，其主要特點和挑戰是併發數高，因爲同時有可能會有成千上萬的用戶來進行訪問和操作，如火車票售票網站和淘寶，它們併發的訪問量在峯值時達到上百萬，需要在採集端部署大量數據庫才能支撐，且如何在這些數據庫之間進行負載均衡和分片是需要深入的思考和設計的。
（2）導入和預處理
將採集的數據統一的集中起來，並作出簡單的處理與預處理結果。導人與預處理過程的特點和挑戰主要是導人的數據量大，每秒的導人量經常會達到百兆，甚至千兆級別
（3）統計分析
統計與分析主要利用分佈式數據庫，或者分佈式計算集羣來對存儲於其內的海量數據進行普通的分析和分類彙總等，以滿足大多數常見的分析需求。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
（4）挖掘
與統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種算法的計算，從而起到預測（ Predict ）的效果，以便實現一些高級別數據分析的需求。比較典型算法有用於聚類的K 一Means 、用於統計學習的SVM 和用於分類的Naive Bayes ，主要使用的工具有Hadoop 的Mahout 等。該過程的特點和挑戰主要是用於挖掘的算法很複雜，並且計算涉及的數據量和計算量都很大，另外，常用數據挖掘算法都以單線程爲主。數據來自各個方面，在面對龐大而複雜的大數據，選擇一個合適的處理工具顯得很有必要。工欲善其事，必先利其器，一個好的工其不僅可以使工作事半功倍，也可
以讓人們在競爭日益激烈的雲計算時代，挖掘大數據價值，及時調整戰略方向。