華爲網絡技術學習打卡8（雲計算&大數據，openstack，docker）

雲計算

產生背景（雲計算的驅動力）

• 技術驅動(
• 需求驅動(海量的數據信息給現階段設備帶來巨大的壓力，雲計算技術可以降低成本
• 商業模式轉變（
• 其他方面，海量的數據及信息、各種各樣的終端設備也促使着現階段技術的變革。
  

雲計算的概念
現階段廣爲接受的是美國國家標準與技術研究院（NIST）定義：雲計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。（from：https://blog.51cto.com/changfei/1656729）

• 商業視角：雲計算==信息電廠（大家都可以按需使用付費）
  

• 技術視角：雲計算==計算、存儲的網絡

• 狹義：IT基礎設施的交付和使用模式，通過按需，易擴展的方式獲得所需的資源。包括基礎架構，平臺，軟件。

• 廣義：通過網絡以按需，易擴展的方式獲得所需服務，這種服務可以是IT和軟件，互聯網相關的，也可以是其他任意的服務，比如政務雲，教育雲，醫療雲等，，，
  

雲計算部署模式

• 私有云
• 公有云
• 混合雲
  私有云和公有云通過企業防火牆隔離，保證信息的安全

雲計算的應用模式

雲計算的價值體現

• 智能資源調度:
  1：業務可以實現基於策略的資源調度以實現負載均衡；
  2：通過熱遷移實現節能減排。

• 提高資源的利用率
  1：資源共享；
  2：分時共享。（不同業務有不同高峯期）

• 分佈式的計算存儲
  

• 統一管理
  

• 業務快速部署
  

虛擬化

概念

虛擬化前後最大的區別就是物理機上可以同時運行多個虛擬機，而且還有虛擬機監控器。
通過這個虛擬機監控器的模擬，虛擬機在上層軟件看起來就像一個真實的機器。虛擬機是將物理資源池化了，多個虛擬機直接從資源池中獲取資源與硬件解耦合。

虛擬化的主要內容

• 計算虛擬化：CPU虛擬化、內存虛擬化、VO虛擬化
• 存儲虛擬化：裸設備+邏輯卷、存儲設備虛擬化、主機虛擬化+文件系統
• 網絡虛擬化：VPN、VLAN。

虛擬化的本質

• 分區（在單一物理服務器上可以同時使用多個虛擬機，按需使用硬件資源池中的資源）
• 隔離（每個虛擬機之間都是隔離的，虛擬機之間互不影響）
• 封裝（整個虛擬機的執行文件封裝在獨立的執行環境中，可以通過移動複製這些文件來移動和複製該虛擬機）
• 獨立（相對於硬件獨立，虛擬機無需任何修改，可在任何服務器上使用，實現虛擬機的熱遷移）

OpenStack

• openstack是一對大大小小項目的統稱
  
  
  Openstack架構
  
  keystone組件
• 身份服務，提供身份驗證、服務規則和服務令牌功能
• 管理用戶，住戶，角色，服務和服務端點
• 可以支持SQL，PAM，LDAP作爲後盾
• 任何服務之間相互調用，都需要經過Keystone的身份驗證
  
  NOVA組件
• 計算服務——計算節點，運行虛擬機的hypervisor
• 分佈式控制器——負責處理器調度策略及AP調用等。
  
  GLANCE
• 爲NOVA提供鏡像服務
• 通常不負責鏡像的本地存儲
• 實現對鏡像的管理（快照、備份、鏡像模塊額管理。。）
• 鏡像格式：raw,qcow,vhd,vmdk,iso
• 後端存儲，Swift,Filesystem,AmazonS3

SWIFT

• 高可用分佈式對象存儲服務
• 提供存儲數據的易用服務
• 適用於互聯網場景下非結構數據的存儲
• 爲NOVA組件提供虛擬機鏡像存儲
  
  NETWORKING Neutron
• 提供網絡服務的核心組件
• 基於軟件定義網絡的思想
• 提供支持/試下SDN框架
• 基於插件的模型

CINDER

• 塊存儲服務（卷服務）|爲虛擬機實例提供volume卷的塊存儲服務
• 一個volume可以同時掛載到多個實例上
• 共享的卷同時只能被一個實例進行寫操作
• 持久化磁盤
• 基於插件的架構便於擴展
• 支持的文件系統類型:LVM/ISCSI,NFS,NetAPP NFS, Gluster,DELL Equall Logic

HORIZON

• 儀表板
• 自服務界面
• 基於雲管理功能

CEILOMETER

• 提供openstack平臺組件的監控
• 計量服務，爲流量計費提供數據支撐

Heat

• OpenStack核心項目之一
• 提供基於模板的編排服務

Docker技術

• Docker？
• 容器管理
• linux中，容器技術，進程隔離技術

容器迅猛發展的背景：

• 應用架構正在發生變革——微服務化
• 基礎架構系統也在發生變革——虛擬化、混合雲
  
• 面臨越來越多的應用數量和種類越來越多的底層環境，容器技術可以完美的將應用的各種組件封裝起來，應用開發以後呢，一次封裝，多次部署，隨時遷移，完全不需要關注底層環境，可以更好實現一些東西。
• 容器是一種比虛擬機更加輕量級的技術

Docker優勢

Docker容器狀態：

Docker鏡像：

Docker倉庫

• 容器一旦關閉，他的修改信息就會丟失
• 對於有狀態的應用來說難以接受
• 通過掛在文件目錄或者是存儲來解決

Docker平臺對比：

Docker平臺架構

大數據

大數據的產生背景：隨着雲時代的來臨，大數據也吸引了越來越多的關注，大數據通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關係型數據庫用於分析時，會花費過多的時間和金錢。大數據分析常和雲計算聯繫到一起，因爲實時的大型數據集分析，需要像MapReduce一樣的框架來向數十、數百甚至數千的主機分配工作。
大數據的其前世今生

大數據的定義：

數據類型：

• 數據可以分爲結構化和非結構化數據
• 結構化數據指可以存在數據庫裏的，可以用二維表結構來邏輯表達實現的數據
• 非結構化數據是指不方便用數據庫二位邏輯表來表示的數據包括：所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻、視頻信息等等
• 半結構化數據，介於結構化和非結構化數據之間的，HTML文檔就是半結構化數據
  分析當代的數據集合，有25% 結構化數據，剩下由75% 非結構化和半結構化數據構成。

大數據的價值（value）

大數據對我們的生產生活有着重要作用：

在衛星測繪領域，大數據具備海量數據存儲服務能力，每天能存儲1TB的數據，整個系統可以存儲PB級的數據；

在金融領域，大數據可以幫助金融機構盤活客戶少量數據資產，深挖存量數據價值；

在能源勘測領域，大數據工具可以有效降低能源公司的勘探成本，根據大數據分析，沒扣油井的勘探成本從800美金下降到300萬美金；

在影音娛樂領域，播放的真人秀綜藝可能只有一個小時，但是卻會有着超過1000分鐘的高清原始素材，消耗存儲大概有2TB，通過使用大數據工具，可以很好的完成製作任務。

• 海量數據存儲
• 盤活歸檔數據
• 潛力分析
• 高清製播

大數據關乎着我們的未來：

• 對於企業，大數據在競爭能力、決策即使、成本控制等領域有廣泛的應用前景
• 對於事業組織，在科學探索、知識、社會安全等領域也有強烈需求

大數據的特徵

大數據帶來的挑戰
網絡架構：傳統網絡架構對南北向的網絡流量需求支持良好，但不適配大數據應用對東西向流量的需求，爲了滿足東西向流量的傳輸需求，要對傳統網絡架構進行重配。

數據中心：傳統數據中心裏，計算、存儲等各個子系統相對獨立，用於大數據處理的數據中心需要更高的資源利用率、自動化，需要使用虛擬化、雲計算等技術對這些子系統進行整合和拉通，在重構過程中，增加了技術上的複雜性，給規劃、建設、運維帶來壓力和新的挑戰。

數據倉庫：傳統數據倉庫對各類結構化關係型數據庫支持良好，但不適應非結構化和半結構化數據在數據處理上的需求，無法高效、迅速處理非結構化和半結構化數據，同時，在存儲的非結構化和半結構化數據原始數據上，數據倉庫也面臨挑戰

1；傳統網路架構不適應“大數據”時代，從垂直訪問到水平訪問。
2；數據中心面臨巨大壓力，同時訪問子系統壓力大。
3；數據倉庫架構不適應高速反應的要求，非結構化數據無法處理。

大數據所面臨的的挑戰的解決方案：雲計算技術
雲計算技術

雲計算之於大數據，雲計算是底層平臺，大數據是應用。雲計算作爲底層平臺整合計算、存儲和網絡等資源，同時提供基礎架構資源彈性伸縮的能力。大數據在雲計算平臺支撐下，調度下層資源，進行數據源加載、計算和最終結果輸出等工作。

大數據與雲計算的關係

大數據對運營商的作用

國內外電信運營商均擁有豐富的數據資源，國內運營商主要系統youqCRM、BI 、BOSS等，這些系統中數據涉及客戶的基本信息、通話行爲、上網行爲、數據業務使用、智能終端、出道接觸等諸多方面，價值巨大。
在生產經營中，通過使用大數據工具進行數據分析，運營商可以提高精準營銷、經營分析、要客保障等工作的效率。在網絡應用中，通過對積累的客戶位置信息進行分析，可以描繪運動軌跡，進而開發增值業務。運維保障工作中，通過使用大數據工具，有助於降低投訴率、降低平均故障時長、提升客戶滿意度。

如何面對大數據：
爲了應對激烈的競爭，各類組織在管理方法、技術工具、基礎架構、思維方式等各類需求的倒逼下，渴望對應用和數據的關係進行變革，從傳統的被動應對應用產生的數據到主動挖掘數據的價值，大數據是解決之道。

電信大數據應用

大數據帶給電信行業的機會和挑戰：

第一個挑戰：電信行業生產圈的信息產業遇到了革命性的變化，運營商相關業務的發展更加依賴數據，如傳統的語音、窄帶、寬帶數據以及超寬帶、數字經濟等相關業務的數據量越來越大。

第二個挑戰：OTT，虛擬運營商的介入，使得運營商競爭環境更加複雜和激烈。

第三個挑戰：客戶消費模式的改變，需要大數據分析深入洞察客戶的需求，進行定製化的服務，改善客戶體驗

第四個挑戰：提升精細化的管理水平，以數據爲中心的一體化、精細化陳偉必然趨勢，數據成爲企業的核心資產。

電信行業大數據典型需求：
大數據的總體目標是構建統一的數據採集與整合能力、大數據分析處理能力，計算及數據服務能力，大數據應用能力，和互聯網化的數據開放能力，支撐業務創新與商業成功

1：延長用戶生命週期。大數據建模支撐用戶全生命週期的營銷和維繫（潛在離網用戶維挽場景）

2：提升用戶使用量。基於大數據的營銷體系有效運作，支撐多批次、小羣體、高成功率、多用戶觸點的營銷

3：對外價值變現，實現對外合作。MR數據軌跡形成商業價值，用戶成爲軌跡，形成商業價值。