[轉帖][數據庫]000 - 🍳Sysbench 數據庫壓力測試工具

https://zhuanlan.zhihu.com/p/340527565

 

 

• sysbench 是一個開源的、模塊化的、跨平臺的多線程性能測試工具，可以用來進行CPU、內存、磁盤I/O、線程、數據庫的性能測試。目前支持的數據庫有MySQL、Oracle和PostgreSQL。以下操作都將以支持MySQL數據庫爲例進行。

 

1. Linux 上安裝 sysbench 工具

 

• 安裝方式有兩種，一種是通過 yum/apt 等來安裝，另一種自己下載源碼包來安裝，筆者這裏採用的是centos ,採用yum 安裝
• sysbench 的源碼包下載地址： http://sourceforge.net/projects/sysbench ，採用源碼安裝的可轉這裏
• 通過 yum 安裝如下：
  • 設置 yum repo 倉庫

 

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

 

• 安裝

 

sudo yum -y install sysbench

 

• 安裝完檢查是否成功

 

sysbench --version

 

 

 

 

2. 數據庫測試用例準備

 

• 我們這裏測試的是 MySQL ，首先我們在數據庫創建一個專門用來測試的庫 test_db

 

 

 

 

• 通過sysbench 創建20個測試表，每個表中創建100萬數據，再通過10個線程對測試庫發起訪問，持續5分鐘，對其進行壓測

 

3. sysbench 構建表與數據

 

• 執行下面命令準備數據

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare

 

• 上面命令的參數說明：
  • --db-driver=mysql : 表示數據庫的驅動類型，我們使用的是 MySQL 所以填mysql ,如果使用 Oracle 則填寫相應的oracle
  • --time=300 : 這個參數表示持續訪問的時間 300秒
  • --threads=10 : 表示使用10個線程模擬併發訪問
  • --report-interval=1 : 表示每隔一秒輸出以此壓測情況
  • --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root : 這一塊的配置，就是基本的數據庫鏈接信息，指定數據庫IP ，端口，賬號密碼
  • --mysql-db=test_db --tables=20 --table_size=1000000 : 這三個參數設置，表示指定測試的庫爲test_db , 同時在這個庫中構建20個表，並且每個表中構建出 100萬條測試數據，表的名字會類似 sbtest1,sbtest2 這種格式
  • oltp_read_write : 表示執行oltp 數據庫的讀寫測試
  • --db-ps-mode=disable : 禁止 ps 模式
  • prepare : 表示按照命令設置去構建出我們的數據，也就是對前面所有命令的執行方案

 

4. 全方位測試

1. 綜合讀寫測試

• 測試數據庫的綜合讀寫TPS ,使用 oltp_read_write 模式

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run

 

注意：命令最後不再是 之前的 prepare，這裏是 run ，表示運行壓測，前面的是準備數據

 

• 效果

 

 

 

 

• 上面是直接輸出到控制檯，我們也可以將其全部記錄在文件中，通過管道，| tee /tmp/mysysbench.log 整個命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run | tee /tmp/mysysbench.log

2. 只讀性能測試

• 測試數據庫的只讀性能，使用 oltp_read_only 模式，命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run

 

• 結果：

 

 

 

 

• 如果要輸出到文件如上

3. 刪除性能測試

• 測試數據庫的刪除性能，使用模式：oltp_delete ,命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_delete --db-ps-mode=disable run

4. 更新索引字段測試

• 測試數據庫的更新索引字段的性能，使用模式：oltp_update_index , 命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_index --db-ps-mode=disable run

5. 更新非索引字段測試

• 測試數據庫中更新非索引字段的性能，使用模式：oltp_update_non_index, 命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run

6. 插入性能測試

• 測試數據庫的數據插入性能，使用模式：oltp_insert,命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_insert --db-ps-mode=disable run

7. 寫入性能測試

• 測試數據庫的寫入性能，使用模式：oltp_write_only, 命令如下：

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run

8. 清理數據

• 前面命令進行了各種測試，在測試完之後我們可以通過下面的 cleanup 命令來清除構建的測試數據

 

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

 

9. 壓測結果分析

 

• 通過上面的命令我們可以全方位的得到測試的結果，我們直接每個一秒輸出一次結果，在控制檯會輸出類似下面的東西：

 

[ 31s ] thds: 10 tps: 350.35 qps: 5575.50 (r/w/o: 4874.81/0.00/700.69) lat (ms,95%): 36.89 err/s: 0.00 reconn/s: 0.00

 

• 我們來解釋一下其中的含義，首先[31s] 表示這是在第31秒的時候輸出的一段壓測統計結果，其他字段如下：
  • thds:10 : 表示當前有10個線程正在壓測
  • tps:350.35 : 表示當前每秒執行了 350.35 個事務
  • qps:5575.50: 表示當前每秒可以執行 5575.50 個請求
  • (r/w/o: 4874.81/0.00/700.69) : 表示在每秒 5575.50 個請求中，有 4874.81 個讀請求，0.00 個寫請求，700.69 個其他請求，其實就是對 qps 的細化
  • lat (ms,95%): 36.89：表示 95% 的請求的延遲都在36.89 毫秒以下
  • err/s: 0.00 reconn/s: 0.00：表示有0個請求失敗，發生了0次的網絡重連

 

• 在壓測結束後會輸出一個總的壓測結果，如下：

 

 

 

 

• 其中的參數的解釋：

 

 

 

 

10. 常用監控命令

 

• 在壓測過程中我們要時刻關注服務器的 CPU 、磁盤I/O 、網絡負載等信息，一旦發現任何一個超出一定負荷，則不適合再繼續加大線程數來壓測了
• 一定要注意，壓測的過程是要保證機器各項指標在正常範圍內的最大負載，而不是我們不斷的增大 sysbench 的線程數，不關係其他指標，這樣即使機器每秒抗住了很高的qps ,但是這時候的機器已經是滿負荷運行了，內存，cpu，網絡帶寬等都幾乎被打滿，這種情況機器隨時可能掛掉，這時候的測壓就沒有什麼代表性了，因爲你不可能在生產者讓它達到這樣的負荷

觀察 CPU 的的負荷

• 在Linux下最常見的命令就是top 命令，可以輸出詳細的情況，如下：

 

 

 

 

• 對於上面的輸出，我們詳細來分析一下，首先看第一行的輸出

 

top - 16:24:21 up 13:41, 4 users, load average: 0.11, 3.10, 3.72

 

• 16:24:21 : 表示當前的時間
• up 13:41：表示已經運行了多長時間
• 4 users：當前機器有幾個用戶在使用
• load average: 0.11, 3.10, 3.72：這是核心。表示 CPU 在 一分鐘、五分鐘、十五分鐘 內的平均負載情況，簡單解釋一下，假設我們是一個四核的CPU ，此時如果我們的CPU 負載是 0.15 ，那麼表示這四個核心中連一個核心都沒使用滿，表明整體比較空閒；如果整個負載是1，則表示四個核中有一個已經使用的比較繁忙了，但是其他三個還是比較空閒的；如果負載是4，則說明當前四個核心都處於跑滿的狀態，如果負載大於四，假設6，那說明四核的CPU 被超負荷使用也無法處理完當前的任務，有很多線程與要等待CPU 資源
  • 後面有內存的使用情況，

 

KiB Mem : 498684 total, 6216 free, 366620 used, 125848 buff/cache

 

• 498684 total ： 總的內存，差不多 490M
• 6216 free：當前可用內存，6M
• 366620 used：已使用內存
• 125848 buff/cache：用於IO 緩衝的內存

磁盤IO檢測

• 在檢測CPU 和內存使用的同時，我們還需要檢測磁盤的使用狀況，包括IO 吞吐量，IOPS 等信息
• 主要通過 dstat 命令來查看，如果系統沒有裝可以通過 yum install dstat 進行安裝
• 執行 dstat -d 命令，可以看到如下：

 

 

 

 

上面顯示的內存可以看到存儲的IO吞吐量的詳細數據，每秒讀19M數據，每秒寫 6521K的數據，這個吞吐量並不是很高，一般普通的機械硬盤可以到達上百MB的讀寫量

 

• 使用命令 dstat -r 來查看IOPS 的情況，如下：

 

 

 

 

如上面結果可以看到，讀寫分別的IOPS 的值，也就是說隨即磁盤讀取/寫入每秒多少次，通常來說磁盤的讀寫每秒在兩三百次是可接受的

網卡流量檢測

• 同樣我們可以通過 dstat -n 來查看網卡的具體流量情況，如下：

 

 

 

 

可以看到上面所示，網卡每秒接收和發送的數據量。通常來說如果我們電腦是千兆網卡，那麼每秒鐘網卡的總流量也就在100M 左右，甚至更低