Mysql 幾種日誌分析

Mysql 有4種類型的日誌：Error Log、Genaral Query Log、 Binary Log 和 Slow Query Log

一、Error Log

記錄Mysql運行過程中的Error、Warning、Note等信息，系統出錯或者某條記錄出問題可以查看Error日誌。

Mysql的錯誤日誌默認以hostname.err存放在Mysql的日誌目錄，可以通過以下語句查看：

mysql> show variables like "log_error";
+---------------+----------------+
| Variable_name | Value          |
+---------------+----------------+
| log_error     | /tmp/mysql.log |
+---------------+----------------+

修改錯誤日誌的地址可以在/etc/my.cnf中添加–log-error = [filename]來開啓mysql錯誤日誌。我的是：
```
log_error = /tmp/mysql.log
```

先來查看一下：tail -f /tmp/mysql.log

bash-3.2# tail -f /tmp/mysql.log 
2015-12-23T02:22:41.467311Z 0 [Note] IPv6 is available.
2015-12-23T02:22:41.467324Z 0 [Note]   - '::' resolves to '::';
2015-12-23T02:22:41.467350Z 0 [Note] Server socket created on IP: '::'.
2015-12-23T02:22:41.584287Z 0 [Note] Event Scheduler: Loaded 0 events
2015-12-23T02:22:41.584390Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld: ready for connections.
Version: '5.7.9'  socket: '/tmp/mysql.sock'  port: 3306  Homebrew
2015-12-23T02:22:42.540786Z 0 [Note] InnoDB: Buffer pool(s) load completed at 151223 10:22:42
151223 10:22:51 mysqld_safe A mysqld process already exists
2015-12-23T02:25:30.984395Z 2 [ERROR] Could not use /tmp/mysql_query.log for logging (error 13 - Permission denied). Turning logging off for the server process. To turn it on again: fix the cause, then either restart the query logging by using "SET GLOBAL GENERAL_LOG=ON" or restart the MySQL server.
2015-12-23T07:28:03.923562Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 61473ms. The settings might not be optimal. (flushed=0 and evicted=0, during the time.)

信息量比較大，暫不分析了。。。。當然如果mysql配置或連接出錯時，仍然可以通過tail -f 來跟蹤日誌的

二、General Query Log

記錄mysql的日常日誌，包括查詢、修改、更新等的每條sql。

先查看mysql是否啓用了查詢日誌: show global variables like “%genera%”

mysql> show global variables like "%genera%";
+----------------------------------------+----------------------+
| Variable_name                          | Value                |
+----------------------------------------+----------------------+
| auto_generate_certs                    | ON                   |
| general_log                            | OFF                  |
| general_log_file                       | /tmp/mysql_query.log |
| sha256_password_auto_generate_rsa_keys | ON                   |
+----------------------------------------+----------------------+
4 rows in set (0.00 sec)

我這裏是配置了日誌輸出文件：/tmp/mysql_query.log，並且日誌功能關閉

查詢日誌的輸出文件可以在/etc/my.cnf 中添加general-log-file = [filename]
Mysql打開general log日誌後，所有的查詢語句都可以在general log文件中輸出，如果打開，文件會非常大，建議調試的時候打開，平時關閉
```
mysql> set global general_log = on;
Query OK, 0 rows affected (0.01 sec)

mysql> set global general_log = off;
Query OK, 0 rows affected (0.01 sec)
```
注意：

如果打開了日誌功能，但是沒有寫入日誌，那就有可能是mysql對日誌文件的權限不夠，所以需要指定權限，我的日誌文件是 /tmp/mysql_query.log , 則：
```
chown mysql:mysql /tmp/mysql_query.log
```

三、Binary Log

二進制日誌，包含一些事件，這些事件描述了數據庫的改動，如建表、數據改動等，主要用於備份恢復、回滾操作等

1. 作用：

包含了所有更新了數據或者已經潛在更新了數據(比如沒有匹配任何行的一個DELETE)
包含關於每個更新數據庫(DML)的語句的執行時間信息
不包含沒有修改任何數據的語句，如果需要啓用該選項，需要開啓通用日誌功能
主要目的是儘可能的將數據庫恢復到數據庫故障點，因爲二進制日誌包含備份後進行的所有更新
用於在主複製服務器上記錄所有將發送給從服務器的語句
啓用該選項數據庫性能降低1%，但保障數據庫完整性，對於重要數據庫值得以性能換完整

2. 格式

Binlog有3種格式

STATMENT：每一條會修改數據的sql都會記錄到master的binlog中，slave在複製的時候sql進程會解析成和原來master端執行多相同的sql再執行。
有點：在statement模式下首先就是解決了row模式的缺點，不需要記錄每一行數據的變化減少了binlog日誌量，節省了I/O以及存儲資源，提高性能。因爲他只需要激勵在master上所執行的語句的細節一屆執行語句時候的上下的信息。
缺點：在statement模式下，由於他是記錄的執行語句，所以，爲了讓這些語句在slave端也能正確執行，那麼他還必須記錄每條語句在執行的時候的一些相關信息，也就是上下文信息，以保證所有語句在slave端被執行的時候能夠得到和在master端執行時候相同的結果。另外就是，由於mysql現在發展比較快，很多的新功能不斷的加入，使mysql的複製遇到了不小的挑戰，自然複製的時候涉及到越複雜的內容，bug也就越容易出現。在statement中，目前已經發現不少情況會造成Mysql的複製出現問題，主要是修改數據的時候使用了某些特定的函數或者功能的時候會出現，比如：sleep()函數在有些版本中就不能被正確複製，在存儲過程中使用了last_insert_id()函數，可能會使slave和master上得到不一致的id等等。
ROW：日誌中會記錄成每一行數據被修改的形式，然後在slave端再對相同的數據進行修改，只記錄要修改的數據，只有value，不會有sql多表關聯的情況。
優點：在row模式下，bin-log中可以不記錄執行的sql語句的上下文相關的信息，僅僅只需要記錄那一條記錄被修改了，修改成什麼樣了，所以row的日誌內容會非常清楚的記錄下每一行數據修改的細節，非常容易理解。而且不會出現某些特定情況下的存儲過程和function，以及trigger的調用和出發無法被正確複製問題。
缺點：在row模式下，所有的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄，這樣可能會產生大量的日誌內容。
MIXED：MySQL 會根據執行的每一條具體的 SQL 語句來區分對待記錄的日誌形式，也就是在 statement 和 row 之間選擇一種

3. 配置

查看mysql中二進制文件的配置情況：show variables like “%log_bin%”;

mysql> show variables like "%log_bin%";
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin                         | OFF   |
| log_bin_basename                |       |
| log_bin_index                   |       |
| log_bin_trust_function_creators | OFF   |
| log_bin_use_v1_row_events       | OFF   |
| sql_log_bin                     | ON    |
+---------------------------------+-------+

log_bin : 用於設定是否啓用二進制日誌, 由此看是未開啓

配置文件仍然是在 /etc/my.cnf 中，修改/etc/my.cnf，增加日誌文件目錄：
```
log_bin = /tmp/mysql-bin.log
```

重啓mysql ：

bash-3.2# mysql.server start;
Starting MySQL
. ERROR! The server quit without updating PID file (/usr/local/Cellar/mysql/5.7.9/data/mysql.pid).

又報錯，查看錯誤日誌，我的配置在/tmp/mysql.log

151224 00:37:34 mysqld_safe Starting mysqld daemon with databases from /usr/local/var/mysql
2015-12-23T16:37:34.643998Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2015-12-23T16:37:34.644124Z 0 [Warning] 'NO_ZERO_DATE', 'NO_ZERO_IN_DATE' and 'ERROR_FOR_DIVISION_BY_ZERO' sql modes should be used with strict mode. They will be merged with strict mode in a future release.
2015-12-23T16:37:34.644129Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.
2015-12-23T16:37:34.644189Z 0 [Warning] Insecure configuration for --secure-file-priv: Current value does not restrict location of generated files. Consider setting it to a valid, non-empty path.
2015-12-23T16:37:34.644226Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld (mysqld 5.7.9-log) starting as process 24268 ...
2015-12-23T16:37:34.646468Z 0 [Warning] Setting lower_case_table_names=2 because file system for /usr/local/var/mysql/ is case insensitive
2015-12-23T16:37:34.646945Z 0 [ERROR] You have enabled the binary log, but you haven't provided the mandatory server-id. Please refer to the proper server start-up parameters documentation
2015-12-23T16:37:34.646978Z 0 [ERROR] Aborting

2015-12-23T16:37:34.646991Z 0 [Note] Binlog end
2015-12-23T16:37:34.647068Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld: Shutdown complete

151224 00:37:34 mysqld_safe mysqld from pid file /usr/local/Cellar/mysql/5.7.9/data/mysql.pid ended

重點：

You have enabled the binary log, but you haven’t provided the mandatory server-id. Please refer to the proper server start-up parameters documentation

說明需要配置一個server-id，再拿這句話百度，果然是這樣。所以在配置文件/etc/my.cn中添加 server-id = 1，再重啓mysql，解決問題。而且在配置的bin-log同級目錄增加了mysql-bin.000001 mysql-bin.index mysql-bin.log 三個文件，前兩個是自動生成。

參數：

log_bin：設置此參數表示啓用binlog功能，並指定路徑名稱

log_bin_index：設置此參數是指定二進制索引文件的路徑與名稱

binlog_do_db：此參數表示只記錄指定數據庫的二進制日誌
binlog_ignore_db：此參數表示不記錄指定的數據庫的二進制日誌

max_binlog_cache_size：此參數表示binlog使用的內存最大的尺寸

binlog_cache_size：此參數表示binlog使用的內存大小，可以通過狀態變量binlog_cache_use和binlog_cache_disk_use來幫助測試。binlog_cache_use：使用二進制日誌緩存的事務數量

binlog_cache_disk_use:使用二進制日誌緩存但超過binlog_cache_size值並使用臨時文件來保存事務中的語句的事務數量

max_binlog_size：Binlog最大值，最大和默認值是1GB，該設置並不能嚴格控制Binlog的大小，尤其是Binlog比較靠近最大值而又遇到一個比較大事務時，爲了保證事務的完整性，不可能做切換日誌的動作，只能將該事務的所有SQL都記錄進當前日誌，直到事務結束

sync_binlog：這個參數直接影響mysql的性能和完整性

sync_binlog=0：
當事務提交後，Mysql僅僅是將binlog_cache中的數據寫入Binlog文件，但不執行fsync之類的磁盤同步指令通知文件系統將緩存刷新到磁盤，而讓Filesystem自行決定什麼時候來做同步，這個是性能最好的。
sync_binlog=n，在進行n次事務提交以後，Mysql將執行一次fsync之類的磁盤同步指令，同志文件系統將Binlog文件緩存刷新到磁盤。
Mysql中默認的設置是sync_binlog=0，即不作任何強制性的磁盤刷新指令，這時性能是最好的，但風險也是最大的。一旦系統繃Crash，在文件系統緩存中的所有Binlog信息都會丟失

登錄mysql，再次查看bin-log的狀態，屬於啓用狀態

mysql> show variables like "%log_bin%";
+---------------------------------+----------------------+
| Variable_name                   | Value                |
+---------------------------------+----------------------+
| log_bin                         | ON                   |
| log_bin_basename                | /tmp/mysql-bin       |
| log_bin_index                   | /tmp/mysql-bin.index |
| log_bin_trust_function_creators | OFF                  |
| log_bin_use_v1_row_events       | OFF                  |
| sql_log_bin                     | ON                   |
+---------------------------------+----------------------+

binlog的刪除
binlog的刪除可以手工刪除或自動刪除

自動刪除binlog

通過binlog參數（expire_logs_days ）來實現mysql自動刪除binlog

mysql> show binary logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       869 |
+------------------+-----------+
1 row in set (0.00 sec)

mysql> show variables like 'expire_logs_days' ;
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| expire_logs_days | 0     |
+------------------+-------+
1 row in set (0.00 sec)

mysql> ;set global expire_logs_days=3;
ERROR: 
No query specified

Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'expire_logs_days' ;
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| expire_logs_days | 3     |
+------------------+-------+
1 row in set (0.00 sec)

手工刪除binlog

mysql> reset master;   //刪除master的binlog
mysql> reset slave;    //刪除slave的中繼日誌
mysql> purge master logs before '2012-03-30 17:20:00';  //刪除指定日期以前的日誌索引中binlog日誌文件
mysql> purge master logs to 'mysql-bin.000001';   //刪除指定日誌文件的日誌索引中binlog日誌文件

或者直接用操作系統命令直接刪除

mysql> set sql_log_bin=1/0; //如果用戶有super權限，可以啓用或禁用當前會話的binlog記錄
mysql> show master logs; //查看master的binlog日誌 
mysql> show binary logs; //查看master的binlog日誌
mysql> show master status; //用於提供master二進制日誌文件的狀態信息
mysql> show slave hosts; //顯示當前註冊的slave的列表。不以--report-host=slave_name選項爲開頭的slave不會顯示在本列表中

blog查看：通過mysqlbinlog 查看日誌文件
```
bash-3.2# mysqlbinlog /tmp/mysql-bin.log 
```

四、Slow Query Log

記錄Mysql 慢查詢的日誌
修改配置文件 /etc/my.cnf

1. Mysql 慢查詢配置相關命令：

查看日誌功能是否開啓：show variables like “%slow%”;

mysql> show variables like "%slow%";
+---------------------------+----------------------------------------------------+
| Variable_name             | Value                                              |
+---------------------------+----------------------------------------------------+
| log_slow_admin_statements | OFF                                                |
| log_slow_slave_statements | OFF                                                |
| slow_launch_time          | 2                                                  |
| slow_query_log            | OFF                                                |
| slow_query_log_file       | /usr/local/var/mysql/tongkundeMacBook-Pro-slow.log |
+---------------------------+----------------------------------------------------+

slow_query_log 配置爲OFF ，說明未開啓慢日誌

打開慢日誌功能：set global slow_query_log = on;

mysql> set global slow_query_log = on;
Query OK, 0 rows affected (0.06 sec)

查看下默認設置的慢查詢的時間：show variables like “%long_query%”;

mysql> show variables like "%long_query%";
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+

可以看出，默認是10秒，按照這個配置，數據得上n億才能達到，爲了測試我們修改一下

2. 修改Mysql配置文件的方式

打開/etc/my.cnf , 加入慢查詢配置文件

slow-query-log = 1
slow-query-log-file = /tmp/mysql-slow.log
long_query_time = 1 #設置滿請求時間, 設置查多少秒的查詢算是慢查詢

保存退出後要重啓mysql

mysql.server restart;

通過mysql命令查看配置：

mysql> show variables like "%slow%";
+---------------------------+---------------------+
| Variable_name             | Value               |
+---------------------------+---------------------+
| log_slow_admin_statements | OFF                 |
| log_slow_slave_statements | OFF                 |
| slow_launch_time          | 2                   |
| slow_query_log            | OFF                 |
| slow_query_log_file       | /tmp/mysql-slow.log |
+---------------------------+---------------------+

這裏顯示慢日誌功能還未開啓

打開慢日誌功能

mysql> set global slow_query_log = on;
ERROR 29 (HY000): File '/tmp/mysql-slow.log' not found (Errcode: 13 - Permission denied)

恩，報錯了，說明什麼呢，權限不夠，那就給權限，退出mysql 執行：

chown mysql:mysql /tmp/mysql-slow.log

回到mysql，再次打開慢日誌：

mysql> set global slow_query_log = on;
Query OK, 0 rows affected (0.00 sec)

ok, 解決。

3. 測試一下

先監控下日誌： tail -f /tmp/mysql-slow.log

在mysql中分別執行兩句查詢：

mysql> SELECT 2;
+---+
| 2 |
+---+
| 2 |
+---+
1 row in set (0.00 sec)

mysql> SELECT sleep(3);
+----------+
| sleep(3) |
+----------+
|        0 |
+----------+
1 row in set (3.01 sec)

查看一下日誌文件的輸出：

# Time: 2015-12-23T15:50:44.140140Z
# User@Host: root[root] @ localhost []  Id:     2
# Query_time: 3.003542  Lock_time: 0.000000 Rows_sent: 1  Rows_examined: 0
SET timestamp=1450885844;
SELECT sleep(3);

基本上查詢的所有信息都有顯示，就不多白花了。

Mysql 幾種日誌分析

一、Error Log

二、General Query Log

三、Binary Log

1. 作用：

2. 格式

3. 配置

四、Slow Query Log

1. Mysql 慢查詢配置相關命令：

2. 修改Mysql配置文件的方式

3. 測試一下

Mysql 幾種日誌分析

報錯svn: E200014: Checksum mismatch for

命令行向Php傳遞參數的兩種方式

PHP 中的命名空間

Svn: E155010: Pristine Text A31e85c8da93f9838bde24db70544f9089ed4359 Not Present

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結