目錄
MySql學習專欄
3. MySQL5.7開啓binlog日誌，及數據恢復簡單示例
一、簡介
MySQL 有兩大重要的日誌模塊：redo log（重做日誌）和 binlog（歸檔日誌）。
redo log是InnoDB存儲引擎層的日誌，binlog是MySQL Server層記錄的日誌， 兩者都是記錄了某些操作的日誌，但兩者記錄的格式不同。
二、redo log
redo log: 又稱（重做日誌）文件，用於記錄事務操作的變化，記錄的是數據修改之後的值，不管事務是否提交都會記錄下來。
在media failure時，redo log文件就能派上用場，如數據庫掉電，InnoDB存儲引擎會使用redo log恢復到掉電前的時刻，以此來保證數據的完整性。
當有一條記錄需要更新的時候，InnoDB 引擎就會先把記錄寫到 redo log 裏面，並更新內存，這個時候更新就算完成了。
InnoDB 引擎會在適當的時候，將這個操作記錄更新到磁盤裏面，而這個更新一般是在系統比較空閒的時候完成的，以此來提升更新效率。
這裏涉及到 WAL 即 Write-Ahead Logging 技術，他的關鍵點就是 先寫日誌，再寫磁盤。
InnoDB 的 redo log 是固定大小的，比如可以配置爲一組 4 個文件，每個文件的大小是 1GB，那麼總共就可以記錄 4GB 的操作。
redo log會從頭開始寫，寫到末尾就又回到開頭循環寫，如下圖所示。
write pos 是當前記錄的位置，一邊寫一邊後移，寫到第 3 號文件末尾後就回到 0 號文件開頭。
check point 是當前要擦除的位置，也是往後推移並且循環的，擦除記錄前要把記錄更新到數據文件。
write pos 和 check point 之間的是未使用的部分，可以用來記錄新的操作。
如果 write pos 追上 check point，表示redo log記錄滿了，這時候不能再執行新的更新，得停下來先擦掉一些記錄，把 check point 推進一下。
有了 redo log，InnoDB 就可以保證即使數據庫發生異常重啓，之前提交的記錄都不會丟失，這個能力稱爲 crash-safe。
爲什麼要使用redo log日誌？
假如我們對數據庫進行DML操作，直接把執行SQL寫入磁盤，當寫入併發較大時，對數據寫入磁盤的壓力會造成一定影響，
當我們插入操作是，發現當前非葉子節點一頁數據量不夠時，要進行分頁算法，效率會比較低；
當我使用redo log日誌，先把我們DML操作寫入日誌，通過一個"中轉站",空閒時候再通過check point 寫入磁盤，效率會高很多；
MySQL設置Redo Log
- 寫入日innodb_log_buffer_size的大小：（默認8M）
- innodb_log_file_size 重做日誌文件的大小。
- innodb_log_files_in_group 指定重做日誌文件組中文件的數量，默認2
- innodb_mirrored_log_groups 指定了日誌鏡像文件組的數量，默認1
- innodb_log_group_home_dir 指定日誌文件組所在的路徑，默認./,表示在數據庫的數據目錄下
- innodb_flush_log_at_trx_commit 設置commit時如何將log buffer中日誌刷log file中 （值0、1、2）默認1
三. binlog
redo log 是 InnoDB 引擎特有的日誌，而 Server 層也有自己的日誌，稱爲 binlog（歸檔日誌）。
爲什麼會有兩份日誌呢？
因爲最開始 MySQL 裏並沒有 InnoDB 引擎。MySQL 自帶的引擎是 MyISAM，但是 MyISAM 沒有 crash-safe 的能力，binlog 日誌只能用於歸檔。
而 InnoDB 是另一個公司以插件形式引入 MySQL 的，既然只依靠 binlog 是沒有 crash-safe 能力的，所以 InnoDB 使用另外一套日誌系統——也就是 redo log 來實現 crash-safe 能力。
這兩種日誌有以下三點不同。
- redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 層實現的，所有引擎都可以使用。
- redo log 是物理日誌，記錄的是 "在某個數據頁上做了什麼修改" ；binlog 是邏輯日誌，記錄的是這個語句的原始邏輯，比如 "給 ID=2 這一行的 c 字段加 1" 。
- redo log 是循環寫的，空間固定會用完；binlog 是可以追加寫入的。 "追加寫" 是指 binlog 文件寫到一定大小後會切換到下一個，並不會覆蓋以前的日誌。
四. 內部工作流程
以一個表的更新語句爲例，來看一下執行器和 InnoDB 引擎的內部工作流程：
mysql> update T set c=c+1 where ID=2;如下圖所示，淺色框表示是在 InnoDB 內部執行的，深色框表示是在執行器中執行的：
- 執行器先找引擎取 ID=2 這一行。ID 是主鍵，引擎直接用樹搜索找到這一行。如果 ID=2 這一行所在的數據頁本來就在內存中，就直接返回給執行器；否則，需要先從磁盤讀入內存，然後再返回。
- 執行器拿到引擎給的行數據，把這個值加上 1，比如原來是 N，現在就是 N+1，得到新的一行數據，再調用引擎接口寫入這行新數據。
- 引擎將這行新數據更新到內存中，同時將這個更新操作記錄到 redo log 裏面，此時 redo log 處於 prepare 狀態。然後告知執行器執行完成了，隨時可以提交事務。
- 執行器生成這個操作的 binlog，並把 binlog 寫入磁盤。
- 執行器調用引擎的提交事務接口，引擎把剛剛寫入的 redo log 改成提交（commit）狀態，更新完成。
最後三步看上去有點“繞”，將 redo log 的寫入拆成了兩個步驟：prepare 和 commit，其實這就是 "兩階段提交"。
爲什麼日誌需要 "兩階段提交"？這裏可以用反證法來進行解釋。
由於 redo log 和 binlog 是兩個獨立的邏輯，如果不用兩階段提交，要麼就是先寫完 redo log 再寫 binlog，或者採用反過來的順序。用前面的 update 語句來做例子，我們看看這兩種方式會有什麼問題。
假設當前 ID=2 的行，字段 c 的值是 0，再假設執行 update 語句過程中在寫完第一個日誌後，第二個日誌還沒有寫完期間發生了 crash，會出現什麼情況呢？
1. 先寫 redo log 後寫 binlog。假設在 redo log 寫完，binlog 還沒有寫完的時候，MySQL 進程異常重啓。redo log 寫完之後，系統即使崩潰，仍然能夠把數據恢復回來，所以恢復後這一行 c 的值是 1。
但是由於 binlog 沒寫完就 crash 了，這時候 binlog 裏面就沒有記錄這個語句。因此，之後備份日誌的時候，存起來的 binlog 裏面就沒有這條語句。
然後你會發現，如果需要用這個 binlog 來恢復臨時庫的話，由於這個語句的 binlog 丟失，這個臨時庫就會少了這一次更新，恢復出來的這一行 c 的值就是 0，與原庫的值不同。
2. 先寫 binlog 後寫 redo log。如果在 binlog 寫完之後 crash，由於 redo log 還沒寫，崩潰恢復以後這個事務無效，所以這一行 c 的值是 0。
但是 binlog 裏面已經記錄了“把 c 從 0 改成 1”這個日誌。所以，在之後用 binlog 來恢復的時候就多了一個事務出來，恢復出來的這一行 c 的值就是 1，與原庫的值不同。
可以看到，如果不使用“兩階段提交”，那麼數據庫的狀態就有可能和用它的日誌恢復出來的庫的狀態不一致。
參考文檔