概念普及-雲計算 大數據 Hadoop BI

普及一些高大上的概念

一、雲計算

雲計算的概念最早是 2006 年由 Google 提出的。

1、雲計算定義

• 雲計算是一種可以通過網絡方便地接入共享資源池，按需獲取計算資源的服務模型。
  • 資源包括：網絡、服務器、存儲、應用、服務等
• 共享資源池中的資源可以通過較少的管理代價和簡單業務交互過程，而快速部署和發佈。

2、雲計算特點

• 按需提供服務：
  • 以服務的形式爲用戶提供應用程序、數據存儲、基礎設施等資源，根據用戶需求自動分配資源。

• 寬帶網絡訪問：
  • 用戶可以利用各種終端設備隨時隨地通過互聯網訪問雲計算服務

• 資源池化：
  • 資源以共享資源池的方式統一管理，利用虛擬化技術，將資源分享給不同的用戶

• 高可伸縮性：
  • 服務規模可快速伸縮，以自動適應業務負載的動態變化，避免資源浪費或過載

• 可量化的服務：
  • 通過監控軟件監控用戶的使用情況，根據資源的使用情況對服務計費

• 超大規模的集羣
• 服務比較廉價

3、雲計算類型

（按服務類型劃分）

• 基礎設施即服務 IaaS（Infrastructure as a Service）
  • 位於雲計算架構最底層，利用虛擬化技術將硬件設備等基礎資源封裝成服務供用戶使用，典型的虛擬化產品有 VMware vShpere、Hyper-V 等。
  • 最大的優勢是允許用戶動態申請或釋放節點，按使用量和使用時間計費。
  • 用戶相當於在使用裸機，可用它運行 Windows、Linux、Web 容器、DB 服務器等等。

• 平臺即服務 PaaS（Platform as a Service）
  • 更進一步對資源進行抽象，提供給用戶應用程序的應用環境，用於可以在 Paas 上運行、開發、託管自己的應用程序，不需自己維護服務器，只需上傳應用程序即可。
  • PaaS 自身負責資源動態擴容、容錯災備。

• 軟件即服務 SaaS（Software as a Service）
  • 針對性更強，將某些特定應用軟件功能封裝成服務。
  • 如 Google Docs

目前，國內比較出名的雲計算提供商有：阿里雲、百度雲、華爲雲等。

二、大數據

大數據 big data，相對雲計算，大數據顯得樸實多了，通俗直白。

雲計算對普通人來說確實像雲一樣飄渺，而大數據則更加實際，是確確實實跟人們的生活息息相關的。

大數據的官方定義，指的是所涉及的數據集規模已經超過了傳統數據庫軟件獲取、存儲、管理和分析的能力。

但是對於多大的數據量能被認爲是大數據呢？這個問題並沒有明確的答案。因爲這個標準跟不同的行業有關係，也會隨着技術的不斷髮展而不斷變化。通常是從 TB 級別到 PB 級別甚至達到 ZB 級別。

但是，大數據通常有三個特徵：

• 數據量龐大 Volume
• 數據種類多 Variety
• 數據生成和處理的速度快 Velocity

三、Hadoop

Hadoop 是雲計算技術的一種實現方式，是雲計算 PaaS 層技術的代表，以一種可靠、高效、可擴展的方式存儲、管理大數據。

它提供了一個分佈式存儲和計算的軟件框架，可以把它稱爲一個「大數據管理平臺」。

它可以基於分佈式存儲進行分佈式計算，橫向擴展能力非常優秀，所以非常適合並能夠勝任存儲、管理、挖掘大數據的任務。

我們平時所聽到的 Storm、Spark、Hive、HBase、Pig、Sqoop … 等等一些高大上的名詞，都是運行在 Hadoop 框架上。

四、BI

• Business Intelligence 商業智能，是一個統稱，指的是用於支持制定業務決策的技能、流程、技術、應用和實踐。
• 通過對當前數據和歷史數據進行分析，結合公司業務，輔助決策者制定未來的業務決策，有點類似於數據分析。