基本結構

1. 網絡虛擬化

通過技術手段使原來一個物體服務器的單ip端點存在變爲多個擁有獨立IP的虛擬機，且虛擬機的IP地址和物理機的IP地址屬於兩個不同的IP地址平面，相互隔離

1.1 大二層交換網絡

即虛擬局域網，只有交換沒有路由。如VXLAN和GRE。

1.2 SDN(Software Defined Network)

通過虛擬化平臺提供的網絡管理界面，採用軟件方式完成任意業務所需的底層網絡的規劃、部署、擴容和自動化管理能力。
軟硬件耦合，要求廠商自己有實現底層協議的能力，目前各個廠商Restful API沒有一個統一的標準。
網絡層次分爲：

數據平面
控制平面
SDN Controller定義的網絡管理接口（Restful API）

1.3 NFV(Network Function Virtualization)

軟硬件分離，網絡功能虛擬化實現

2. 存儲虛擬化

普遍的設計思路爲以IP-SAN爲核心，最下層是一個存儲池，集成了各類存儲設備，最上層有一個標準網關，負責控制存儲池裏的所有存儲單元，在網關之上開放Restful API接口供上層應用調用。

圖在P12

2.1 塊存儲

2.1.1 FC-SAN

基於光纖的SAN存儲設備。性能特別高，網絡存儲特別快，一般用於高性能I/O場景。缺點是端口數量有限，交換機不能任意擴展，不適合大規模雲計算。

2.1.2 IP-SAN

基於IP的SAN技術。性能與FC-SAN差距10-15%，可滿足Hadoop的存儲要求

2.2 文件共享存儲

通常由多個X86服務器或者存儲設備組成一個超大的存儲網，在其上提供分佈式文件系統，如GlusterFS，Ceph等，使用該技術的有各類雲盤。特點是規模可以很大，但是讀寫性能差，I/O存儲比較慢，適合小數據量的讀取，可作爲文件備份或者是文件存儲，不適合存儲數據庫的數據文件。

3. 容器技術

Docker提供微服務基礎虛擬化技術，將微服務進程打包成獨立鏡像，存儲在統一的鏡像倉庫裏（Harbor實現鏡像服務高可用以及安全管理），Kubernetes實現容器編排，Jenkins、Git/Gitlab、SonarQube、Openshift提供授權管理和web界面推進DevOps。

3.1 Docker

提供容器標準化和基礎組件標準化打包。

3.2 Harbor

一個企業級的 Docker Registry，可以實現 images 的私有存儲、容災備份、日誌統計和權限控制等功能。可以通過:

Keepalived、Haproxy、MySQL-Replicas
Harbor on Kubernetes

實現Harbor服務的高可用

3.3 Kubernetes

3.3.1 基本信息

Kubernetes可以實現資源調度，容器發佈，狀態監控，彈性擴容，滾動更新，故障恢復，服務發現，負載均衡等。
其實現了：

自動化的任務管理：
- 應用自動發佈
- 應用自動故障恢復
- 應用擴容縮容
- 應用滾動升級
微服務架構體系的支撐
- 服務拆分
- 服務發現
最大化資源的利用率

3.3.2 服務發現機制

kubernetes的服務發現機制包括：

環境變量：嚴格要求服務創建的先後順序
DNS服務：可能存在DNS性能問題
Ingress機制實現將不同的URL訪問請求轉發到不同的service後端

3.3.3 Namspace資源隔離

通過不同的namespace實現不同工作組的區分，實現pod、service、rc等k8s資源的隔離，對應openshift的project概念。
初步設想實現用戶二級管理，在每個獨立namespace內實現管理員和用戶機制，namespace級別的管理員對應cluster級別的普通用戶。

3.3.4 容器應用資源配額

kubernetes可以在容器、Pod和Namespace三個級別對集羣的資源進行限制。

在容器級別，主要是CPU、內存的限制。
在pod級別，可以對一個Pod中全部容器的可用資源進行限制。
namespace級別，可以既對全部Pod的計算資源進行限制，也可以對資源對象的數量進行限制，包括可創建的Pod、RC、Service等資源對象的個數。

3.3.5 應用統一配置管理

kubernetes提供了ConfigMap對象，可以通過將該資源對象掛載到容器某路徑或注入環境變量的形式進行配置。
kubernetes也提供了Secret對象，提供了加密數據的配置注入。

4. Mesos提供資源的管理和調度

有幾類不適合容器雲提供服務的程序：

Hadoop/Spark的大數據類應用本身對資源的消耗很高，且自帶調度管理功能，在容器環境裏直接運行並不適合。
對性能要求高，要求運行穩定的程序
容易引起內核崩潰的程序

故我們需要考慮容器化應用和非容器化應用並存的環境。
一般有幾種解決思路：

靜態分區：將容器化環境和非容器化環境的主機進行靜態切割，各自單獨管理，相互隔離。
虛擬機資源池：通過OpenStack等虛擬機技術將底層物理資源虛擬化爲資源池，容器環境和非容器環境在其上進行資源的動態調整，以提高資源利用率
使用Hadoop YARN作爲統一的資源管理調度平臺，將大數據應用改造爲YARN支持的方式運行。
使用DC/OS（數據中心操作系統），將物理資源進行抽象使用統一的平臺對資源進行管理。對應的有Apache Mesos

Mesos的核心功能是實現數據中心資源的統一管理，爲運行在Mesos上的軟件提供資源，這些軟件在Mesos架構中稱爲應用框架，應用框架使用Mesos提供的資源工作，在這個過程中Mesos將主機的資源封裝爲資源邀約，根據算法分配給某一個框架，該應用框架收到資源邀約之後根據自己的內部狀態和算法決定如何使用該資源邀約。
目前Mesos資源配置支持5種內置資源類型：CPU、GPU、內存、磁盤和網絡端口，和其他的擴展資源類型。

5. 用戶安全認證

OAuth實現用戶認證

書中給出的技術體系建議

如果企業搭建基於容器的PaaS平臺，Kubernetes是比較好的選擇；如果要搭建數據中心DC/OS，則Mesos+Kubernetes是最優的選擇。

你好！這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學習如何使用Markdown編輯器, 可以仔細閱讀這篇文章，瞭解一下Markdown的基本語法知識。

新的改變

我們對Markdown編輯器進行了一些功能拓展與語法支持，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫博客：

全新的界面設計 ，將會帶來全新的寫作體驗；
在創作中心設置你喜愛的代碼高亮樣式，Markdown 將代碼片顯示選擇的高亮樣式 進行展示；
增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區域直接展示；
全新的 KaTeX數學公式 語法；
增加了支持甘特圖的mermaid語法¹ 功能；
增加了 多屏幕編輯 Markdown文章功能；
增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區域同步滾輪設置 等功能，功能按鈕位於編輯區域與預覽區域中間；
增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入代碼：Ctrl/Command + Shift + K
插入鏈接：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G

合理的創建標題，有助於目錄的生成

直接輸入1次#，並按下space後，將生成1級標題。
輸入2次#，並按下space後，將生成2級標題。
以此類推，我們支持6級標題。有助於使用TOC語法後生成一個完美的目錄。

如何改變文本的樣式

強調文本 強調文本

加粗文本 加粗文本

標記文本

~~刪除文本~~

引用文本

H₂O is是液體。

2¹⁰ 運算結果是 1024.

插入鏈接與圖片

鏈接: link.

圖片:

帶尺寸的圖片:

當然，我們爲了讓用戶更加便捷，我們增加了圖片拖拽功能。

如何插入一段漂亮的代碼片

去博客設置頁面，選擇一款你喜歡的代碼片高亮樣式，下面展示同樣高亮的 代碼片.

// An highlighted block
var foo = 'bar';

生成一個適合你的列表

項目
- 項目
  - 項目

項目1
項目2
項目3

計劃任務
完成任務

創建一個表格

一個簡單的表格是這麼創建的：

項目	Value
電腦	$1600
手機	$12
導管	$1

設定內容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants將ASCII標點字符轉換爲“智能”印刷標點HTML實體。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

創建一個自定義列表

Markdown: Text-to-HTML conversion tool
Authors: John; Luke

如何創建一個註腳

一個具有註腳的文本。²

註釋也是必不可少的

Markdown將文本轉換爲 HTML。

KaTeX數學公式

您可以使用渲染LaTeX數學表達式 KaTeX:

Gamma公式展示 $\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$ 是通過歐拉積分

$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.$

你可以找到更多關於的信息 LaTeX 數學表達式here.

新的甘特圖功能，豐富你的文章

關於 甘特圖 語法，參考這兒,

UML 圖表

可以使用UML圖表進行渲染。 Mermaid. 例如下面產生的一個序列圖：:

這將產生一個流程圖。:

關於 Mermaid 語法，參考這兒,

FLowchart流程圖

我們依舊會支持flowchart的流程圖：

關於 Flowchart流程圖 語法，參考這兒.

導出與導入

導出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章導出 ，生成一個.md文件或者.html文件進行本地保存。

導入

如果你想加載一篇你寫過的.md文件或者.html文件，在上方工具欄可以選擇導入功能進行對應擴展名的文件導入，
繼續你的創作。

mermaid語法說明 ↩︎
註腳的解釋 ↩︎

《企業級大數據平臺構建：架構與實現》閱讀總結

目錄