1、大數據概述
大數據（big data），IT行業術語，是指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據的主要特點（4V）是：
- 數據量大（Volume）
- 數據類別複雜（Variety）
- 數據處理速度快（Velocity）
- 和數據真實性高（Veracity）
還有的將大數據特點定義爲6V模型，即增加了Valence（連接）、Value（價值）2V。
大數據相關的技術、框架：
- 計算框架 離線計算：Hadoop MapReduce、Spark 實時計算：Storm、Spark Streaming、Flink
- 存儲框架 文件存儲：Hadoop HDFS、Tachyon、KFS NOSQL數據庫：HBase、MongoDB、Redis 全文檢索：ES、Solr
- 資源管理 YARN、Mesos
- 日誌收集 Flume、Logstash
- 消息系統 Kafka、StormMQ、ZeroMQ、RabbitMQ
- 查詢分析 Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid
2、Hadoop
Hadoop 在大數據技術體系中的地位至關重要，Hadoop 是大數據技術的基礎，對Hadoop基礎知識的掌握的紮實程度，會決定在大數據技術道路上走多遠。
hadoop是什麼？
- Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。
- 主要解決數據存儲和海量數據的分析計算問題。
- 廣義上說，Hadoop通常指一個廣泛的概念——Hadoop生態圈。
Hadoop的優勢！
- 高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。
- 高擴展性。Hadoop是在可用的計算機集簇間分配數據並完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。
- 高效性。Hadoop能夠在節點之間動態地移動數據，並保證各個節點的動態平衡，因此處理速度非常快。
- 高容錯性。Hadoop能夠自動保存數據的多個副本，並且能夠自動將失敗的任務重新分配。
- 低成本。與一體機、商用數據倉庫以及QlikView、Yonghong
Z-Suite等數據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。
Hadoop帶有用Java語言編寫的框架，因此運行在 Linux 生產平臺上是非常理想的。
hadoop的組成！
- HDFS: Hadoop Distributed File System 分佈式文件系統
- YARN: Yet Another Resource Negotiator 資源管理調度系統
- Mapreduce：分佈式運算框架