瞧一瞧~看一看~MyCat架構剖析免費不要錢！(上)

一、MyCat總體架構介紹

1.源碼下載及導入

導入Idea

2.總體架構

MyCat在邏輯上由幾個模塊組成: 通信協議、路由解析、結果集處理、數據庫連接、監控等模塊。如圖所示：

1. 通信協議模塊： 通信協議模塊承擔底層的收發數據、線程回調處理工作， MyCat通信協議默認採用Reactor模式，在協議層採用MySQL協議；
2. 路由解析模塊: 負責對傳入的SQL語句進行語法解析, 解析語句的條件、類型、關鍵字等，並進行優化；
3. SQL執行模塊: 負責從連接池中獲取連接, 再根據路由解析的結果, 把SQL語句分發到相應的節點執行;
4. 數據庫連接模塊: 負責創建、管理、維護後端的連接池。爲減少每次建立數據庫連接的開銷，數據庫使用連接池機制對連接聲明週期進行管理；
5. 結果集處理模塊: 負責對跨分片的查詢結果進行匯聚、排序、截取等；
6. 監控管理模塊: 負責MyCat的連接、內存等資源進行監控和管理。監控主要通過管理指令及監控服務展現一些監控數據； 管理則主要通過輪詢事件來檢測和釋放不適用的資源；

3.總體執行流程

二、MyCat網絡I/O架構及實現

1.BIO、NIO與AIO

1. BIO

BIO(同步阻塞I/O) 通常由一個單獨的Acceptor線程負責監聽客戶端的連接, 接收到客戶端的連接請求後, 會爲每個客戶端創建一個新的線程進行處理, 處理完成之後, 再給客戶端返回結果, 銷燬線程 。

每個客戶端請求接入時， 都需要開啓一個線程進行處理， 一個線程只能處理一個客戶端連接。 當客戶端變多時，會創建大量的處理線程， 每個線程都需要分配棧空間和CPU， 並且頻繁的線程上下文切換也會造成性能的浪費。所以該模式， 無法滿足高性能、高併發接入的需求。

1. NIO

NIO(同步非阻塞I/O)基於Reactor模式作爲底層通信模型，Reactor模式可以將事件驅動的應用進行事件分派, 將客戶端發送過來的服務請求分派給合適的處理類(handler)。當Socket有流可讀或可寫入Socket時, 操作系統會通知相應的應用程序進行處理, 應用程序再將流讀取到緩衝區或寫入操作系統。 這時已經不是一個連接對應一個處理線程了， 而是一個有效的請求對應一個線程， 當沒有數據時， 就沒有工作線程來處理。

NIO 的最大優點體現在線程輪詢訪問Selector, 當read或write到達時則處理, 未到達時則繼續輪詢。

1. AIO

AIO，全程 Asynchronous IO(異步非阻塞的IO), 是一種非阻塞異步的通信模式。在NIO的基礎上引入了新的異步通道的概念，並提供了異步文件通道和異步套接字通道的實現。AIO中客戶端的I/O請求都是由OS先完成了再通知服務器應用去啓動線程進行處理。

AIO與NIO的主要區別在於回調與輪詢, 客戶端不需要關注服務處理事件是否完成, 也不需要輪詢,只需要關注自己的回調函數。

2.通信架構

在MyCat中實現了NIO與AIO兩種I/O模式, 可以通過配置文件server.xml進行指定 :

<property name="usingAIO">1</property>

usingAIO爲1代表使用AIO模型 , 爲0表示使用NIO模型;

MyCat的AIO架構

1. MyCatStartUp是整個MyCat服務啓動的入口;
2. 在獲取到MyCat的home目錄後, 把主要的任務交給MyCatServer , 並調用其startup方法;
3. 初始化系統配置, 獲取配置文件中的 usingAIO的配置 , 如果配置爲1, 說明使用AIO模型 , 進入到AIO的分支, 並創建兩個連接, 一個是管理後臺連接(9066), 一個server的連接(8066);
4. 進入AIO分支 , 主要有AIOAcceptor接收客戶端請求, 綁定端口, 創建服務端的異步Socket;在accept方法中完成兩件事: ①. FrontedConnection的創建, 這是前段連接的關鍵; ②.register註冊事件, MySQL協議握手包就在此時發送;

MyCat的NIO架構

如果設置的usingAIO爲0 ,那麼將走NIOAcceptor通道 , 流程如下:

1. 如果走NIO分支 , 將首先創建NIOAcceptor對象, 並調用其start方法;
2. NIOAcceptor 負責處理Accept事件, 服務端接收客戶端的連接事件, 就是MyCat作爲服務端去處理前端業務程序發過來的連接請求, 建立鏈接後, 調用NIOAcceptor的NIOReactor.postRegister方法進行註冊（並沒有註解註冊， 而是放入緩衝隊列， 避免加鎖的競爭）。

NIOAcceptor的accept方法 ：

NIOReactor的postRegister方法：

三、Mycat實現MySQL協議

1.MySQL協議簡介

A.概述

MySQL協議處於應用層之下、TCP/IP之上, 在MySQL客戶端和服務端之間使用。包含了鏈接器、MySQL代理、主從複製服務器之間通信，並支持SSL加密、傳輸數據的壓縮、連接和身份驗證及數據交互等。其中，握手認證階段和命令執行階段是MySQL協議中的兩個重要階段。

B.握手認證階段

1. 握手認證階段是客戶端連接服務器的必經之路, 客戶端與服務端完成TCP的三次握手以後, 服務端會向客戶端發送一個初始化握手包, 握手包中包含了協議版本、MySQLServer版本、線程ID、服務器的權能標識和字符集等信息。
2. 客戶端在接收到服務端的初始化握手包之後， 會發送身份驗證包給服務端（AuthPacket）, 該包中包含用戶名、密碼等信息。
3. 服務端接收到客戶端的登錄驗證包之後，需要進行邏輯校驗，校驗該登錄信息是否正確。如果信息都符合，則返回一個OKPacket，表示登錄成功,否則返回ERR_Packet，表示拒絕。

Wireshark抓包如下:

報文分析如下：

1. 初始化握手包
   
   通過抓包工具Wireshark抓取到的握手包信息如下, 握手包格式:
   
   說明:
   
   
   
   

Packet Length : 包的長度;

Packet Number : 包的序號;

Server Greeting : 消息體, 包含了協議版本、MySQLServer版本、線程ID和字符集等信息。

1. 登錄認證包

客戶端在接收到服務端發來的初始握手包之後， 向服務端發出認證請求， 該請求包含以下信息（由Wireshark抓獲） ：

1. OK包或ERROR包

服務端接收到客戶端的登錄認證包之後，如果通過認證，則返回一個OKPacket，如果未通過認證，則返回一個ERROR包。

OK報文如下：

ERROR報文如下 :

C.命令執行階段

在握手認證階段通過並完成以後, 客戶端可以向服務端發送各種命令來請求數據, 此階段的流程是:命令請求->返回結果集。

Wireshark 捕獲的數據包如下：

1. 命令包

1. 結果集包

2.MySQL協議在MyCat中實現

A.握手認證實現

在MyCat中同時實現了NIO和AIO, 通過配置可以選擇NIO和AIO。MyCat Server在啓動階段已經選擇好採用NIO還是AIO，因此建立I/O通道後,MyCat服務端一直等待客戶端端的連接,當有連接到來的時候,MyCat首先發送握手包。

1. 握手包源碼實現

MyCat中的源碼中io.mycat.net.FrontendConnection類的實現如下:

握手包信息組裝完畢後, 通過FrontedConnection寫回客戶端。

1. 認證包源碼實現

客戶端接收到握手包後, 緊接着向服務端發起一個認證包, MyCat封裝爲類 AuthPacket:

客戶端發送的認證包轉由 FrontendAuthenticator 的Handler來處理, 主要操作就是拆包, 檢查用戶名、密碼合法性， 檢查連接數是夠超出限制。源碼實現如下：

認證失敗， 調用failure方法， 認證成功調用success方法。

failure方法源碼：

success方法源碼：

B.命令執行實現

命令執行階段就是SQL命令和SQL語句執行階段， 在該階段MyCat主要需要做的事情， 就是對客戶端發來的數據包進行拆包， 並判斷命令的類型， 並解析SQL語句， 執行響應的SQL語句， 最後把執行結果封裝在結果集包中， 返回給客戶端。

從客戶端發來的命令交給 FrontendCommandHandler 中的handle方法處理:

處理具體的請求, 返回客戶端結果集數據包:

內容過多分兩次發佈！需要的讀者可以添加助理VX：C18173184271免費獲取！