與世界分享我剛編的mysql http隧道工具-hersql原理與使用

原文地址:https://blog.fanscore.cn/a/53/

1. 前言

本文是與世界分享我剛編的轉發ntunnel_mysql.php的工具的後續，之前的實現有些拉胯，這次重構了下。需求背景是爲了在本地macbook上通過開源的mysql可視化客戶端(dbeaver、Sequel Ace等)訪問我司測試環境的mysql，整個測試環境的如圖所示:

那麼就有以下幾種方式:

• 客戶端直連mysql
  #Pass# 測試環境mysql只提供了內網ip，只允許測試環境上的機器連接，因此不可行
• 通過ssh隧道連接
  #Pass# 測試環境機器倒是可以ssh上去，但是隻能通過堡壘機接入，且堡壘機不允許ssh隧道，因此不可行
• navicat http隧道連接
  #Pass# 測試環境有機器提供了公網ip開放了http服務，因此技術上是可行的，但navicat非開源免費軟件，我司禁止使用，因此不可行
• 測試環境選一臺機器建立mysql代理轉發請求
  #Pass# 測試環境機器只開放了80端口，且已被nginx佔用，因此不可行
• 內網穿透
  這個想法很好，下次不要再想了

既然上面的方式都不行，那怎麼辦呢？因此我產生了一個大膽的想法

2. 一個大膽的想法

大概架構如下

首先，在本地pc上啓動一個sidecar進程，該進程監聽3306端口，實現mysql協議，將自己僞裝爲一個mysql server。本地pc上的mysql客戶端連接到sidecar，發送請求數據包給sidecar，從sidecar讀取響應包。

然後在測試環境某臺機器上啓動transport進程，該進程啓動http服務，由nginx代理轉發請求，相當於監聽在80端口，然後連接到測試環境的mysql server。

sidecar會將來自客戶端的請求包通過http請求轉發給transport，transport將請求包轉發到測試環境對應的mysql server，然後讀取mysql的響應數據包，然後將響應數據包返回給sidecar，sidecar再將響應包返回給mysql客戶端。

遵循上述的基本原理，我將其實現出來: https://github.com/Orlion/hersql。但是在描述hersql的實現細節之前我們有必要了解下mysql協議

3. mysql協議

mysql客戶端與服務端交互過程主要分爲兩個階段：握手階段與命令階段。交互流程如下：

在最新版本中，握手過程比上面要複雜，會多幾次交互

3.1 握手階段

在握手階段，3次握手建立tcp連接後服務端會首先發送一個握手初始化包，包含了

• 協議版本號：指示所使用的協議版本。
• 服務器版本：指示MySQL服務器版本的字符串。
• 連接ID：在當前連接中唯一標識客戶端的整數。
• 隨機數據：包含一個隨機字符串，用於後續的身份驗證。
• 服務器支持的特性標誌：指示服務器支持的客戶端功能的位掩碼。
• 字符集：指示服務器使用的默認字符集。
• 默認的身份驗證插件名（低版本沒有該數據）

隨後客戶端會發送一個登錄認證包，包含了：

• 協議版本號：指示所使用的協議版本。
• 用戶名：用於身份驗證的用戶名。
• 加密密碼：客戶端使用服務端返回的隨機數對密碼進行加密
• 數據庫名稱：連接後要使用的數據庫名稱。
• 客戶端標誌：客戶端支持的功能的位掩碼。
• 最大數據包大小：客戶端希望接收的最大數據包大小。
• 字符集：客戶端希望使用的字符集。
• 插件名稱：客戶端希望使用的身份驗證插件的名稱。

服務端收到客戶端發來的登錄認證包驗證通過後會發送一個OK包，告知客戶端連接成功，可以轉入命令交互階段

在mysql 8.0默認的身份驗證插件爲caching_sha2_password，低版本爲mysql_native_password，兩者的驗證交互流程有所不同個，caching_sha2_password在緩存未命中的情況下還會多幾次交互。另外如果服務端與客戶端的驗證插件不同的話，也是會多幾次交互。

3.2 命令階段

在命令階段，客戶端會發送命令請求包到服務端。數據包的第一個字節標識了當前請求的類型，常見的命令有：

• COM_QUERY命令，執行SQL查詢語句。
• COM_INIT_DB命令，連接到指定的數據庫。
• COM_QUIT命令，關閉MySQL連接。
• COM_FIELD_LIST命令，列出指定表的字段列表。
• COM_PING命令，向MySQL服務器發送PING請求。
• COM_STMT_系列預處理語句命令

請求響應的模式是客戶端會發一個請求包，服務端會回覆n(n>=0)個響應包

最後客戶端斷開連接時會主動發送一個COM_QUIT命令包通知服務端斷開連接

4. hersql數據流轉過程

在瞭解mysql協議之後我們就可以來看下hersql的數據流轉過程了。

transport連接mysql server時必須要知道目標數據庫的地址與端口號(mysql client連接的是sidecar)，所以hersql要求mysql client需要在數據庫名中攜帶目標數據庫的地址與端口號。

transport發給mysql server的登錄請求包中需要包含用mysql server發來的隨機數加密之後的密碼，但是mysql client給到sidecar的登錄請求包中的密碼是用sidecar給的隨機數加密的，因此無法直接拿來使用，所以hersql要求mysql client需要在數據庫名中攜帶密碼原文，transport會用mysql server給的隨機數進行加密， 這也是hersql的侷限。

5. hersql使用

上面介紹了一堆原理性的東西，那麼如何使用呢？

5.1 在一臺能夠請求目標mysql server的機器上部署hersql transport

首先你需要下載下來hersql的源碼：https://github.com/Orlion/hersql，還需要安裝下golang，這些都完成後你就可以啓動hersql transport了。但是先彆着急，我先解釋下transport的配置文件tranport.example.yaml:

server:
  # transport http服務監聽的地址
  addr: :8080

log:
  # 標準輸出的日誌的日誌級別
  stdout_level: debug
  # 文件日誌的日誌級別
  level: error
  # 文件日誌的文件地址
  filename: ./storage/transport.log
  # 日誌文件的最大大小（以MB爲單位）, 默認爲 100MB。日誌文件超過此大小會創建個新文件繼續寫入
  maxsize: 100
  # maxage 是根據文件名中編碼的時間戳保留舊日誌文件的最大天數。 
  maxage: 168
  # maxbackups 是要保留的舊日誌文件的最大數量。默認是保留所有舊日誌文件。
  maxbackups: 3
  # 是否應使用 gzip 壓縮旋轉的日誌文件。默認是不執行壓縮。
  compress: false

你可以根據你的需求修改配置，然後就可以啓動transport了

$ go run cmd/transport/main.go -conf=transport.example.yaml

一般情況下都是會先編譯爲可執行文件，由systemd之類的工具託管transport進程，保證transport存活。這裏簡單期間直接用go run起來

5.2 在你本地機器部署啓動hersql sidecar

同樣的，你需要下載下來hersql的源碼：https://github.com/Orlion/hersql，提前安裝好golang。修改下sidecar的配置文件sidecar.example.yaml:

server:
  # sidecar 監聽的地址，之後mysql client會連接這個地址
  addr: 127.0.0.1:3306
  # transport http server的地址
  transport_addr: http://x.x.x.x:xxxx
log:
  # 與transport配置相同

就可以啓動sidecar了

$ go run cmd/sidecar/main.go -conf=sidecar.example.yaml

同樣的，一般情況下也都是會先編譯爲可執行文件，mac上是launchctl之類的工具託管sidecar進程，保證sidecar存活。這裏簡單期間直接用go run起來

5.3 客戶端連接

上面的步驟都執行完成後，就可以打開mysql客戶端使用了。數據庫地址和端口號需要填寫sidecar配置文件中的addr地址，sidercar不會校驗用戶名和密碼，因此用戶名密碼可以隨意填寫

重點來了: 數據庫名必須要填寫，且必須要按照以下格式填寫

[username[:password]@][protocol[(address)]]/dbname[?param1=value1&...&paramN=valueN]

舉個例子：

root:123456@tcp(10.10.123.123:3306)/BlogDB

如圖所示：

5.4 舉個例子

目標mysql服務器

• 地址：10.10.123.123:3306
• 數據庫：BlogDB
• 用戶名：root
• 密碼：123456

可以直連目標mysql服務器的機器

• 地址：10.10.123.100
• 開放端口：8080

那麼transport可以配置爲

server:
  addr: :8080

sidecar可以配置爲

server:
  addr: 127.0.0.1:3306
  transport_addr: http://10.10.123.100:8080

客戶端連接配置

• 服務器地址：127.0.0.1
• 端口: 3306
• 數據庫名root:123456@tcp(10.10.123.123:3306)/BlogDB

5.5 侷限

hersql目前只支持mysql_native_password的認證方式，mysql8默認的認證方式是caching_sha2_password，所以如果要通過hersql連接mysql8需要注意登錄用戶的認證方式是否是mysql_native_password，如果是caching_sha2_password那暫時是無法使用的。

6. 參考資料

• MySQL協議分析
• MySQL: Client/Server Protocol

如果github.com/Orlion/hersql對你有幫助歡迎點個star