大數據與雲計算
（1）雲計算的概念與特點
1.定義
- Google:雲計算是擁有開放標準和基於互聯網服務的，可以提供安全、快捷和便利的數據存儲和網絡計算服務的系統。
- 美國國家標準與技術研究院（NIST）：雲計算是一種應用資源模式，它可以根據需要用一種很簡單的方法通過網絡訪問已配置的計算資源。這些資源由服務提供商以最小的代價或專業的運作快速地配置和發佈。
- 維基（Wiki）：雲計算是一種通過互聯網以服務的方式提供動態可伸縮的虛擬化的資源的計算模式。
2.特點
- （1）超大規模
- （2）虛擬化
- （3）高可靠性
- （4）通用性
- （5）高可擴展性
- （6）按需服務
- （7）極其廉價
優缺
-
優點
- ①構建“雲”的節點廉價。“雲”由極其廉價的節點構成，而不採用複雜而昂貴的節點進行構建。
- ②管理成本廉價。“雲”的自動化集中式管理使大量企業無須負擔日益高昂的數據中心管理成本。
- ③資源通用性強。“雲”的強通用性使資源的利用率有大幅度提升。
-
缺點
- 雲計算既提供計算服務，又提供數據存儲服務，潛在的危險性較大。因此，數據的安全保障必須加強。
（2）雲計算的分類
1.公有云
-
指雲的提供商向普通用戶提供使用權的雲,一般免費使用或費用低廉。
-
公有云特點
- 安全性較差
- 價格相對便宜,對用戶端設備要求較低
- 數據共享方便
- 多方式使用網絡
2.私有云
-
私有云（Private Clouds）是爲某一個特定客戶單獨使用而構建的，因而對數據、安全及服務質量等的控制都是極爲有效
-
私有云可被部署在企業數據中心的防火牆內，也可以被部署在一個安全的主機託管場所。
-
私有云特點
- （1）數據相對安全。
- （2）服務質量穩定。
- （3）硬件受限制。
- （4）不影響私有云用戶的現有IT管理的流程。
3.混合雲
- 融合了公有云和私有云,是近年來雲計算的主要模式和發展方向,融合了私有云和公有云的資源,同時實現低費用和安全的目的
（3）雲計算的體系架構
1.與分佈式計算的區別
-
通用性
- 分佈式計算是將數據分塊放置在計算機節點上進行計算最後進行整合的計算方式,分佈式計算的構建一般是爲了完成某個特定任務,通用性較差
- 雲計算一般來說都是爲通用應用而設計的，通用性更強。
-
服務目標
- 雲計算是一種“生產者-消費者”模型，用戶通過互聯網獲取雲計算系統提供的各種服務
- 分佈式系統是一種“資源共享”模型，資源提供者亦可成爲資源消費者
-
核心
- 雲計算以計算爲中心
- 分佈式計算以數據爲中心
-
操作資源
- 分佈式系統將數據和計算資源虛擬化
- 雲計算則進一步將硬件資源虛擬化
-
操作系統
- 分佈式系統內各節點採用統一的操作系統
- 雲計算在各種操作系統的虛擬機上提供各種服務
2.雲計算的服務模式(3種典型)
-
軟件即服務（Software as a Service，SaaS）
- 平臺通過部署硬件基礎設施對外提供服務
- 用戶根據自己需求購買虛擬或實體的資源,在上進行操作而不需要也不能管理或控制雲計算基礎設施
-
平臺即服務（Platform as a Service，PaaS）
- 平臺將雲計算應用程序和部署的平臺作爲一種服務提供給客戶,該服務包括應用設計,應用開發,應用測試和應用託管等
- 開發者只需上傳代碼和數據即可使用雲服務,而不需要關心底層實現方式和管理模式
-
基礎即服務（Infrastructure as a Service，IaaS）
- 平臺提供虛擬的硬件資源,提供資源租賃和開放的雲服務接口
- 用戶通過網絡租賃即可搭建自己的應用系統
3.雲計算的主要技術
-
1.虛擬化技術
- 計算單元在虛擬而非真實的單元上運行,解決了雲計算對硬件的依賴,實現了對服務器的優化和整合
- 虛擬化技術使用動態資源伸縮的手段,降低了雲計算基礎設施的使用成本,並提高了負載部署的靈活性
-
2.中間件技術
- 支持應用軟件的開發,運行,部署和管理的支撐軟件被稱爲中間件,是運行在操作系統和應用軟件之間的軟件層次
- 中間件可以屏蔽硬件和操作系統之間的兼容問題,並具有管理分佈式系統中的節點間的同學,節點資源和協調工作等功能,爲雲計算和分佈式集羣的部署運行等提供了支撐
-
3.雲存儲技術
- 雲計算中,雲存儲技術通常和虛擬化技術相結合,通過對數據資源的虛擬化,提高訪問效率
- HDFS（Hadoop Distributed File System，開源）和Google公司的GFS（Google File System，非開源）
4.雲計算的問題
-
需要解決的問題
- 1．標準化問題
- 2．數據安全和隱私問題
- 3．網絡穩定性問題
-
安全問題
-
1．雲計算的主要安全風險
- （1）來自雲計算服務提供商的安全風險。
- （2）來自網絡的安全風險。
- （3）來自虛擬化的安全風險。
- （4）邊界安全模型失效帶來的安全風險。
-
2．目前關於雲計算安全性的研究
- 安全性研究集中在雲計算安全標準的建立、可信訪問控制、數據隱私保護、虛擬安全技術等方面。
-
3．降低雲計算安全風險的措施
- （1）選擇相對可靠的雲計算服務提供商。
- （2）經常備份數據。
- （3）增強安全防範意識，不將敏感或核心數據放在雲端。
- （4）增強訪問控制，明確誰可以訪問哪些數據。
-
5.具有代表的雲計算廠商
-
Google
- 最早提出雲計算概念
-
Amazon
- 其雲計算主要提供底層的數據存儲、計算機處理、信息排隊和數據庫管理系統等服務
-
IBM
- “藍雲計劃”在全球建立了數十家雲計算中心
-
Microsoft
-
3種運營模式
- 提供公有云服務
- 和合作伙伴一起開發應用爲客戶服務
- 客戶建立自己的私有云
-
-
Alisoft
-
Apple
- iCloud
-
華爲雲
（4）大數據與雲計算
大數據與雲計算的關係
雲計算將改變大數據分析
- 提供了相對便宜和可彈性擴展的存儲空間和計算資源，使得中小企業也可完成大數據分析
- 雲計算IT資源龐大，但還需要數據通信帶寬的提高和雲資源的建設，也需要確保原始數據向雲計算系統的“安全”遷移，更需要雲計算資源能“隨心所欲”的隨需擴展
區別與聯繫
-
聯繫
- 都爲數據存儲和處理服務
- 都需要佔用大量的存儲和計算資源，因而都用到海量數據存儲技術、海量數據管理技術等並行處理技術
-
區別
-
1.目的不同
- 大數據的目的是充分挖掘海量數據中的信息，以發現數據中的價值
- 雲計算以調用計算資源和存儲資源爲目的，以節省企業的IT部署成本
-
2.處理對象不同
- 大數據處理對象是數據
- 雲計算的處理對象是資源（計算資源，存儲資源）和應用
-
3.推動企業不同
- 大數據的推動力量是從事數據存儲與處理的軟件廠商和擁有海量數據的企業
- 雲計算的推動力量是擁有強力計算資源和海量存儲資源的企業
-
大數據與雲計算未來的發展方向和趨勢
-
大數據
- 大數據與學術、大數據與人類的活動，大數據的安全隱私、關鍵應用、系統處理和對整個產業的影響。
- 數據私有化和數據共享聯盟
- 催生相關職業
-
雲計算
- 1．混合雲
- 2．大數據分析
- 3．個性化定製服務
- 4．雲遊戲
（5）大數據與雲計算在生產生活中的應用
1.智慧醫療
- （1）疾病診療
- （2）疾病預測
- （3）可穿戴醫療設備
2.電子商務
- （1）個性化商品推薦
- （2）個性化營銷
- （3）智慧物流
3.智慧城市
- （1）智慧交通
- （2）智能電網
XMind: ZEN - Trial Version