MySQL 日誌管理

大綱

一、MySQL日誌類型概貌

二、錯誤日誌

三、一般查詢日誌

四、慢查詢日誌

五、二進制日誌

六、事務日誌

七、中繼日誌

一、MySQL日誌類型概貌

• 錯誤日誌：記錄啓動、運行或停止mysqld時出現的問題

• 一般查詢日誌：記錄建立的客戶端連接和執行的語句

• 慢查詢日誌：所有執行時間超過long_query_time秒的所有查詢或不使用索引的查詢

• 二進制日誌：記錄所有更改數據的語句。還用於複製事務日誌

• 事務日誌：記錄事務相關的操作或修改日誌

• 中繼日誌：從主服務器的二進制日誌文件中複製而來的事件，並保存爲的日誌文件

二、錯誤日誌

1、錯誤日誌記錄的內容

    服務器啓動和關閉過程中的信息

    服務器運行過程中的錯誤信息

    事件調度器運行一個事件時產生的信息

    在從服務器上啓動從服務器進程時產生的信息

2、錯誤日誌相關服務器變量

(1)、log_error FILE_NAME：定義錯誤日誌文件。默認爲數據目錄下的host_name.err文件。作用範圍爲全局或會話級別，可用於配置文件，屬非動態變量。

(2)、log_warnings {0|1}：設定是否將警告信息記錄進錯誤日誌。默認設定爲1，表示啓用；可以將其設置爲0以禁用；而其值爲大於1的數值時表示將新發起連接時產生的“失敗的連接”和“拒絕訪問”類的錯誤信息也記錄進錯誤日誌。

三、一般查詢日誌

1、一般查詢日誌相關服務器變量

(1)、general_log {ON|OFF}：設定是否啓用查詢日誌，默認值爲取決於在啓動mysqld時是否使用了--general_log選項。如若啓用此項，其輸出位置則由--log_output選項進行定義，如果log_output的值設定爲NONE，即使用啓用查詢日誌，其也不會記錄任何日誌信息。作用範圍爲全局，可用於配置文件，屬動態變量。

(2)、general_log_file FILE_NAME：查詢日誌的日誌文件名稱，默認爲“hostname.log"。作用範圍爲全局，可用於配置文件，屬動態變量。

(3)、log {ON|OFF}：是否啓用記錄所有語句的日誌信息於一般查詢日誌(general query log)中，默認通常爲OFF，MySQL5.6已經廢棄此項

(4)、log_output {TABLE|FILE|NONE}：定義一般查詢日誌和慢查詢日誌的保存方式，可以是TABLE、FILE、NONE，也可以是TABLE及FILE的組合(用逗號隔開)，默認爲TABLE。如果組合中出現了NONE，那麼其它設定都將失效，同時，無論是否啓用日誌功能，也不會記錄任何相關的日誌信息。作用範圍爲全局級別，可用於配置文件，屬動態變量。

四、慢查詢日誌

1、慢查詢日誌相關服務器變量

(1)、long_query_time TIME：設定區別慢查詢與一般查詢的語句執行時間長度。這裏的語句執行時長爲實際的執行時間，而非在CPU上的執行時長，因此，負載較重的服務器上更容易產生慢查詢。其最小值爲0，默認值爲10，單位是秒鐘。它也支持毫秒級的解析度。作用範圍爲全局或會話級別，可用於配置文件，屬動態變量。

(2)、log_slow_queries {ON|OFF}：是否記錄慢查詢日誌。慢查詢是指查詢的執行時間超出long_query_time參數所設定時長的事件。MySQL 5.6將此參數修改爲了slow_query_log。作用範圍爲全局級別，可用於配置文件，屬動態變量。

(3)、slow_query_log {ON|OFF}：設定是否啓用慢查詢日誌。0或OFF表示禁用，1或ON表示啓用。日誌信息的輸出位置取決於log_output變量的定義，如果其值爲NONE，則即便slow_query_log爲ON，也不會記錄任何慢查詢信息。作用範圍爲全局級別，可用於選項文件，屬動態變量。

(4)、slow_query_log_file FILE_NAME：設定慢查詢日誌文件的名稱。默認爲hostname-slow.log，但可以通過--slow_query_log_file選項修改。作用範圍爲全局級別，可用於選項文件，屬動態變量。

五、二進制日誌

1、二進制日誌記錄的內容：任何引起或可能引起數據庫變化的操作

2、二進制日誌的作用：實現複製功能和即時點還原功能

3、二進制日誌的格式

    ①基於語句: statement

    ②基於行: row

    ③混合方式: mixed

4、二進制日誌事件記錄格式

    ①產生的時間：starttime；包括--start-datetime和--stop-datetime

    ②相對位置：position；包括--start-position和--stop-position

5、二進制日誌文件組成

    ①索引文件

    ②二進制日誌文件

6、二進制日誌相關的服務器變量

(1)、binlog_cache_size SIZE：使用臨時二進制日誌緩存但超過binlog_cache_size值並使用臨時文件來保存事務中的語句的事務數量

(2)、binlog-format={ROW|STATEMENT|MIXED}：指定二進制日誌的類型，默認爲STATEMENT。如果設定了二進制日誌的格式，卻沒有啓用二進制日誌，則MySQL啓動時會產生警告日誌信息並記錄於錯誤日誌中。作用範圍爲全局或會話，可用於配置文件，且屬於動態變量。

(3)、binlog_stmt_cache_size SIZE：當非事務語句使用二進制日誌緩存，但是超出binlog_stmt_cache_size時，使用一個臨時文件來存放這些語句

(4)、log-bin={YES|NO}：是否啓用二進制日誌，如果爲mysqld設定了--log-bin選項，則其值爲ON，否則則爲OFF。其僅用於顯示是否啓用了二進制日誌，並不反應log-bin的設定值。作用範圍爲全局級別，屬非動態變量。    

(5)、sql_log_bin={ON|OFF}：用於控制二進制日誌信息是否記錄進日誌文件。默認爲ON，表示啓用記錄功能。用戶可以在會話級別修改此變量的值，但其必須具有SUPER權限。作用範圍爲全局和會話級別，屬動態變量。

(6)、max_binlog_cache_size {4096 .. 18446744073709547520}：二進定日誌緩存空間大小，5.5.9及以後的版本僅應用於事務緩存，其上限由max_binlog_stmt_cache_size決定。作用範圍爲全局級別，可用於配置文件，屬動態變量。

(7)、max_binlog_size={4096 .. 1073741824}：設定二進制日誌文件上限，單位爲字節，最小值爲4K，最大值爲1G，默認爲1G。某事務所產生的日誌信息只能寫入一個二進制日誌文件，因此，實際上的二進制日誌文件可能大於這個指定的上限。作用範圍爲全局級別，可用於配置文件，屬動態變量。

(8)、sql_log_off={ON|OFF}：用於控制是否禁止將一般查詢日誌類信息記錄進查詢日誌文件。默認爲OFF，表示不禁止記錄功能。用戶可以在會話級別修改此變量的值，但其必須具有SUPER權限。作用範圍爲全局和會話級別，屬動態變量。

(9)、sync_binlog=#：設定多久同步一次二進制日誌至磁盤文件中，0表示不同步，任何正數值都表示對二進制每多少次寫操作之後同步一次。當autocommit的值爲1時，每條語句的執行都會引起二進制日誌同步，否則，每個事務的提交會引起二進制日誌同步。

7、查看當前正在使用的二進制日誌文件

SHOW MASTER STATUS;

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000014 |      107 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

8、查看所有的二進制日誌文件

SHOW BINARY LOGS; 

mysql> SHOW BINARY LOGS;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       107 |
| mysql-bin.000002 |       107 |
| mysql-bin.000003 |       107 |
| mysql-bin.000004 |       107 |
| mysql-bin.000005 |     27326 |
| mysql-bin.000006 |   1038693 |
| mysql-bin.000007 |       126 |
| mysql-bin.000008 |       126 |
| mysql-bin.000009 |      1654 |
| mysql-bin.000010 |     20386 |
| mysql-bin.000011 |       126 |
| mysql-bin.000012 |       477 |
| mysql-bin.000013 |       126 |
| mysql-bin.000014 |       356 |
+------------------+-----------+
14 rows in set (0.00 sec)

9、查看二進制日誌事件

SHOW BINLOG EVENTS IN 'BINLOG_FILENAME' [FROM POS];

mysql> SHOW BINLOG EVENTS IN 'mysql-bin.000014' FROM 107;
+------------------+-----+------------+-----------+-------------+---------------------------------------------------------------------------+
| Log_name         | Pos | Event_type | Server_id | End_log_pos | Info                                                                      |
+------------------+-----+------------+-----------+-------------+---------------------------------------------------------------------------+
| mysql-bin.000014 | 107 | Query      |         1 |         177 | BEGIN                                                                     |
| mysql-bin.000014 | 177 | Intvar     |         1 |         205 | INSERT_ID=6                                                               |
| mysql-bin.000014 | 205 | Query      |         1 |         329 | use `jiaowu`; INSERT INTO tutors (Tname,Gender,Age) VALUES ('Tom','M',30) |
| mysql-bin.000014 | 329 | Xid        |         1 |         356 | COMMIT /* xid=15 */                                                       |
+------------------+-----+------------+-----------+-------------+---------------------------------------------------------------------------+
4 rows in set (0.00 sec)

10、清除二進制日誌文件

PURGE BINARY LOGS TO 'mysql-bin.010';

mysql> SHOW BINARY LOGS;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       107 |
| mysql-bin.000002 |       107 |
| mysql-bin.000003 |       107 |
| mysql-bin.000004 |       107 |
| mysql-bin.000005 |     27326 |
| mysql-bin.000006 |   1038693 |
| mysql-bin.000007 |       126 |
| mysql-bin.000008 |       126 |
| mysql-bin.000009 |      1654 |
| mysql-bin.000010 |     20386 |
| mysql-bin.000011 |       126 |
| mysql-bin.000012 |       477 |
| mysql-bin.000013 |       126 |
| mysql-bin.000014 |       356 |
+------------------+-----------+
14 rows in set (0.01 sec)

mysql> PURGE BINARY LOGS TO 'mysql-bin.000008';
Query OK, 0 rows affected (0.03 sec)

mysql> SHOW BINARY LOGS;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000008 |       126 |
| mysql-bin.000009 |      1654 |
| mysql-bin.000010 |     20386 |
| mysql-bin.000011 |       126 |
| mysql-bin.000012 |       477 |
| mysql-bin.000013 |       126 |
| mysql-bin.000014 |       356 |
+------------------+-----------+
7 rows in set (0.00 sec)

11、滾動二進制日誌

FLUSH LOGS;

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000014 |      356 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.06 sec)

mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000015 |      107 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

六、事務日誌

1、事務性存儲引擎用戶保證原子性、一致性、隔離性、持久性

2、事務日誌相關服務器變量

(1)、innodb_flush_log_at_trx_commit {0|1|2}：設定InnoDB同步日誌緩衝區(log buffer)數據至日誌文件中的方式，以及刷寫日誌文件至磁盤的方式。其可接受的值中，“0”表示將日誌緩衝區每秒一次地寫入日誌文件，並同時將日誌文件刷寫至磁盤中，但事務提交時不會採取任何動作；“1”是默認值，表示在有事務提交時將日誌緩衝區寫入日誌文件，並同時將日誌文件刷寫至磁盤；“2”表示每事務提交或每秒一次將日誌緩衝區寫入日誌文件，但不會同時執行日誌文件的刷寫操作。當然，由於操作系統進程調度的原因，每秒一次的日誌寫入或刷寫操作並不能得到100%的保證。

完全兼容ACID的場景需要將此變量值設置爲1，由於要執行每事務的日誌刷寫操作，其會阻止I/O調用，直到寫操作完成，故其會顯著降低InnoDB每秒鐘可以提交的事務數。設置爲“2”可獲得比“1”更好的性能，而且僅在操作系統崩潰時纔會丟失最後一秒鐘的數據，因此數據安全性也有着不錯的表現。設置爲“0”則有可能會導致事務最後一秒鐘的數據丟失，於是整個事務的數據安全性將無法保證，但其通常有着最好的性能。爲了在最大程序上保證複製的InnoDB事務持久性和一致性，應該設置變量innodb_flush_log_at_trx_commit=1以及設置變量sync_binlog=1。

然而需要注意的是，有些磁盤自身也有緩存，這可能會給事務操作帶來額外的潛在風險。可以使用hdparm工具或供應商的自有工具等禁用磁盤自身的緩存。當然，高性能事務的最佳配置是把此變量的值設置爲1，並且將日誌文件放在有備用電池的寫入緩存的RAID上。作用範圍爲全局，可用於選項文件，屬動態變量。

    

    0表示每秒同步，並執行磁盤flush操作

    1表示每事務同步，並執行磁盤flush操作

    2表示每事務同步，但不執行磁盤flush操作

(2)、innodb_log_buffer_size{262144 .. 4294967295}：設定InnoDB用於輔助完成日誌文件寫操作的日誌緩衝區大小，單位是字節，默認爲8MB。較大的事務可以藉助於更大的日誌緩衝區來避免在事務完成之前將日誌緩衝區的數據寫入日誌文件，以減少I/O操作進而提升系統性能。因此，在有着較大事務的應用場景中，建議爲此變量設定一個更大的值。作用範圍爲全局級別，可用於選項文件，屬非動態變量。

(3)、innodb_log_file_size={108576 .. 4294967295}：設定日誌組中每個日誌文件的大小，單位是字節，默認值是5MB。較爲明智的取值範圍是從1MB到緩存池體積的1/n，其中n表示日誌組中日誌文件的個數。日誌文件越大，在緩存池中需要執行的檢查點刷寫操作就越少，這意味着所需的I/O操作也就越少，然而這也會導致較慢的故障恢復速度。作用範圍爲全局級別，可用於選項文件，屬非動態變量。

(4)、innodb_log_files_in_group={2 .. 100}：設定日誌組中日誌文件的個數。InnoDB以循環的方式使用這些日誌文件。默認值爲2。作用範圍爲全局級別，可用於選項文件，屬非動態變量。

(5)、innodb_log_group_home_dir=/PATH/TO/DIR：設定InnoDB重做日誌文件的存儲目錄。在缺省使用InnoDB日誌相關的所有變量時，其默認會在數據目錄中創建兩個大小爲5MB的名爲ib_logfile0和ib_logfile1的日誌文件。作用範圍爲全局級別，可用於選項文件，屬非動態變量。

(6)、innodb_mirrored_log_groups=#：設定日誌組鏡像的個數。其值應該爲1。

(7)、expire_log_days #：設置二進制日期的過期時間，過期則會自動清理

七、中繼日誌(從服務器)

1、中繼日誌概念：從主服務器的二進制日誌文件中複製而來的事件，並保存爲的日誌文件

總結：二進制日誌是爲了在將來某個時刻數據庫崩潰時還原數據庫，而事務日誌則是爲了保證事務本身的可靠性的