雲計算與大數據
口袋應試:雲計算、大數據內容在第二版的第一章和第三章都有,所以在這裏單獨整理一篇,這兩個內容都是考試重點,建議大家都掌握一下。如果大家時間和精力有限,可以在微信中搜索“集成中級口袋應試”小程序,利用瑣碎的時間進行復習,小程序中可以在分類測試中進行對應章節的試題練習。
1.6.2雲計算
2.雲計算服務的類型
按照雲計算服務提供的資源層次,可以分爲laaS、PaaS和SaaS等三種服務類型。
(1) laaS (基礎設施即服務)
向用戶提供計算機能力、存儲空間等基礎設施方面的 服務。這種服務模式需要較大的基礎設施投入和長期運營管理經驗,但laaS服務單純出 租資源,盈利能力有限。
英文爲Infrastructure as a Service,指消費者通過Internet可以從雲計算中心獲得完善 的計算機基礎設施服務,例如虛擬主機、存儲服務等,典型廠家有Amazon、阿里雲等。 如果把雲計算比作一臺計算機,laaS就相當於計算機的主機等硬件。
(2) 平臺即服務(PaaS)
向用戶提供虛擬的操作系統、數據庫管理系統、Web應用等平臺化的服務。PaaS服務的重點不在於直接的經濟效益,而更注重構建和形成緊密 的產業生態。
英文爲Platform as a Service,指爲雲計算上各種應用軟件提供服務的平臺應用,其作用 類似於個人計算機的操作系統,也包括一些增強應用開發的“開發包'典型廠家有Google App Engine、Microsoft Azure、阿里 Aliyun Cloud Enginee、百度 Baidu App Enginee 等。
(3) 軟件即服務(SaaS)
向用戶提供應用軟件(如CRM、辦公軟件等)、組件、 工作流等虛擬化軟件的服務,SaaS 一般採用Web技術和SOA架構,通過Internet向用戶提供多租戶、可定製的應用能力,大大縮短了軟件產業的渠道鏈條,減少了軟件升級、 定製和運行維護的複雜程度,並使軟件提供商從軟件產品的生產者轉變爲應用服務的運者。
英文爲Software as a Service,是一種通過Internet提供軟件的模式,用戶無需購買軟件,而是向提供商租用基於Web的軟件,來管理企業經營活動。類似於個人計算機中各種各樣的應用軟件。提供SaaS服務的廠家越來越多,典型的如國外的Salesforce、國內的淘寶等。
口袋應試:ACaas(門禁即服務)、DaaS(數據即服務),試題經常出,但是教材中沒講
ACaaS(Access control as a Service):
門禁即服務,是基於雲技術的門禁控制,當今市場有兩種典型的門禁即服務:真正的雲服務與機架服務器託管。
DaaS(數據即服務)
雲端公司負責建立全部的IT環境,收集用戶需要的基礎數據並且做數據分析,最後對分析結構或者算法提供編程接口,讓數據成爲服務。
出題概率:★★★
150120、170124、190321
3.8.1 雲計算
1.雲計算概念
口袋應試:“雲計算的概念和特點”
雲計算是指基於互聯網的超級計算模式,通過互聯網來提供大型計算能力和動態易擴展的虛擬化資源。雲是網絡、互聯網的一種比喻說法。雲計算是一種大集中的服務模式:服務器端可以通過網格計算,將大量低端計算機和存儲資源整合在一起,提供高性能的計算能力、存儲服務、應用和安全管理等;客戶端可以根據需要,動態申請計算、存儲和應用服務,在降低硬件、開發和運維成本的同時,大大拓展了客戶端的處理能力。用一句話概括雲計算就是通過網絡提供可動態伸縮的廉價計算能力,其通常具有下列特點:
(1)超大規模
(2)虛擬化
(3)高可靠性
(4)通用性
(5)高可擴展性
(6)按需服務
(7)極其廉價
(8)潛在的危險性
出題概率:★★
180323、190123
3.雲計算架構
從對外提供的服務能力來看,雲計算的架構可以分爲3個層次:基礎設施即服務 (laaS)、平臺即服務(PaaS)和軟件即服務(SaaS)(詳見本書1.6.2節)。
(1) 基礎設施即服務(laaS)
英文爲Infrastructure as a Service,指消費者通過Internet可以從雲計算中心獲得完善 的計算機基礎設施服務,例如虛擬主機、存儲服務等,典型廠家有Amazon、阿里雲等。 如果把雲計算比作一臺計算機,laaS就相當於計算機的主機等硬件。
(2) 平臺即服務(PaaS)
英文爲Platform as a Service,指爲雲計算上各種應用軟件提供服務的平臺應用,其作用 類似於個人計算機的操作系統,也包括一些增強應用開發的“開發包'典型廠家有Google App Engine、Microsoft Azure、阿里 Aliyun Cloud Enginee、百度 Baidu App Enginee 等。
(3) 軟件即服務(SaaS)
英文爲Software as a Service,是一種通過Internet提供軟件的模式,用戶無需購買 軟件,而是向提供商租用基於Web的軟件,來管理企業經營活動。類似於個人計算機中 各種各樣的應用軟件。提供SaaS服務的廠家越來越多,典型的如國外的Salesforce、國內的淘寶等。
出題概率:★★★★
160117、180109、180123、190109
4.雲計算應用
(1) 從服務層次來看,如前所述,雲計算的應用可分爲基礎設施即服務(laaS)、平 臺即服務(PaaS)、軟件即服務(SaaS) 3個層次。
(2) 從應用範圍來看,雲計算又可分爲公有云、私有云和混合雲。
公有云通常指第 5方提供商用戶能夠使使用的雲,
私有云是爲一個客戶單獨使用而構建的,因而提供對數據、安全性和服務質量 的最有效控制。
混合雲就是將公有、私有兩種模式結合起來,根據需要提供統一服務的模式。
(3) 從行業來看,在國內雲計算應用較多的行業包括金融、政府、電子商務、遊戲、 音視頻網站、移動應用、門戶和社區等。
出題概率:★
170324
●其它專業的備考複習資料,可以在查看我的博客:跬步郎的博客 。已發佈的專業有“信息系統項目管理師”“網絡規劃師”“系統架構設計師”
1.6.1大數據
1.大數據概念
......
大數據具有5V特點:Volume (大量)、Velocity (高速)、Variety (多樣)、Value (價值)和Veracity (真實性)。
出題概率:★
190307
2.大數據關鍵技術
(1)大數據存儲管理技術。
大數據存儲技術首先需要解決的是數據海量化和快速增長需求。存儲的硬件架構和文件系統的性價比要大大高於傳統技術,存儲容量計劃應可以無限制擴展,且要求有很強的容錯能力和併發讀寫能力。目前,谷歌文件系統(GFS)和Hadoop的分佈式文件系統HDFS奠定了大數據存儲技術的基礎。大數據存儲技術第二個要解決的是處理格式多樣化的數據,這要求大數據存儲管理系統能夠對各種非結構化數據進行高效管理,代表產品如:谷歌BigTable和HadoopHbase等非關係型數據庫(NoSQL)。
(2)大數據並行分析技術。
大數據的分析挖掘是數據密集型計算,需要巨大的計算能力,對計算單元和存儲單元的數據吞吐率要求極高,並要求計算系統有非常好的擴展性和性價比。谷歌的MapReduce是主要的大數據分佈式並行計算技術之一,而開源的分佈式並行計算技術Apache HadoopMapReduce,已經成爲應用最廣泛的大數據計算軟件平臺。
(3)大數據分析技術。
大數據分析技術的發展需要在兩個方面取得突破,一是對規模非常龐大的結構化數據和半結構化數據進行高效的深度分析:二是對非結構化數據進行分析,將海量複雜多源的語音、圖像和視頻數據轉化爲機器可識別的、具有明確語義的信息,獲取隱性的知識。大數據分析的技術路線主要是通過建立人工智能系統,使用大量樣本數據進行訓練,讓機器模仿人工,獲得從數據中提取知識的能力。2006年,科學家根據人腦認知過程的分層特性,提出增加人工神經網絡層數和神經元節點數量,加大機器學習的規模.構建深度神經網絡,可以提高訓練效果,使得神經網絡技術成爲機器學習分析技術的熱點,並在語音識別和圖像識別方面取得了很好的效果。
出題概率:★★★★★
160323、170123、170323、180122、180322、190323
3.8.4大數據
3.大數據關鍵技術
大數據所涉及的技術很多,主要包括數據採集、數據存儲、數據管理、數據分析與挖掘四個環節。在數據採集階段主要使用的技術是數據抽取工具 ETL。在數據存儲環節主要有結構化數據、非結構化數據和半結構化數據的存儲與訪問。
在關係數據庫,通過數據查詢語言( SQL)來訪問;非結構化(如圖片、視頻、 doc文件等)和半結構化數據一般通過分佈式文件系統的 NoSQL(Not Only SQL)進行存儲,比較典型的 NoSQL有 Google的 Bigtable、Amazon的 Dynamo和 Apache的 Hbase。大數據管理主要使用了分佈式並行處理技術,比較常用的有 MapReduce,編程人員藉助MapReduce可以在不會分佈式並行編程的情況下,將自己的程序運行在分佈式系統上。數據分析與挖掘是根據業務需求對大數據進行關聯、聚類、分類等鑽取和分析,並利用圖形、表格加以展示,與 ETL一樣,數據分析和挖掘是以前數據倉庫的範疇,只是在大數據中得以更好的利用。
(1)HDFS
Hadoop分佈式文件系統( HDFS)是適合運行在通用硬件上的分佈式文件系統,是一個高度容錯性的系統,適合部署在廉價的機器上。
(2)HBase
HBase是一個分佈式的、面向列的開源數據庫,該技術來源於 Fay Chang 所撰寫的
Google論文“Bigtable:一個結構化數據的分佈式存儲系統”,HBase在 Hadoop之上提供了類似於 Bigtable的能力。利用 HBase技術可在廉價 PC Server上搭建起大規模結構化存儲集羣。
HBase不同於一般的關係數據庫,它是一個適合於非結構化數據存儲的數據庫。
(3)MapReduce
MapReduce是一種編程模型,用於大規模數據集(大於 1TB)的並行運算。
(4)Chukwa
Chukwa是一個開源的用於監控大型分佈式系統的數據收集系統。這是構建在 Hadoop的 HDFS和 Map/Reduce 框架之上的,繼承了 Hadoop的可伸縮性和魯棒性。
出題概率:★★★
以下爲第一版內容,僅供參考
雲計算
1.雲計算(cloud computing)是基於互聯網的服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。
2.雲計算是一種理想狀態,它無需用戶的電腦進行數據處理而是交給雲端進行處理,因爲雲端處理數據能力更強一些
3.雲計算的運用目前常分爲四大類:雲安全、雲遊戲、雲儲存、雲物聯
  雲計算可以認爲包括以下幾個層次的服務:基礎設施即服務(IaaS),平臺即服務(PaaS)和軟件即服務(SaaS)。這裏所謂的層次,是分層體系架構意義上的“層次”。IaaS,PaaS,SaaS分別在基礎設施層,軟件開放運行平臺層,應用軟件層實現。
出題概率:★★
150320、150317
雲計算及服務形式
1.雲計算(cloud computing)是基於互聯網的服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。狹義雲計算指IT基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯網相關,也可是其他服務。它意味着計算能力也可作爲一種商品通過互聯網進行流通。雲其實是網絡、互聯網的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示互聯網和底層基礎設施的抽象。
2.雲計算是一種理想狀態,它無需用戶的電腦進行數據處理而是交給雲端進行處理,因爲雲端處理數據能力更強一些
3.說道雲計算的運用目前常分爲四大類:雲安全、雲遊戲、雲儲存、雲物聯