1.MySQL基礎
MySQL是一個開放源代碼的關係數據庫管理系統。原開發者爲瑞典的MySQL AB公司,最早是在2001年MySQL3.23進入到管理員的視野並在之後獲得廣泛的應用。 2008年MySQL公司被Sun公司收購併發佈了首個收購之後的版本MySQL5.1,該版本引入分區、基於行復制以及plugin API。移除了原有的BerkeyDB引擎,同時,Oracle收購InnoDB Oy發佈了InnoDB plugin,這後來發展成爲著名的InnoDB引擎。2010年Oracle收購Sun公司,這也使得MySQL歸入Oracle門下,之後Oracle發佈了收購以後的首個版本5.5,該版本主要改善集中在性能、擴展性、複製、分區以及對windows的支持。目前版本已發展到5.7。
和其它數據庫相比,MySQL有點與衆不同,它的架構可以在多種不同場景中應用併發揮良好作用。主要體現在存儲引擎的架構上,插件式的存儲引擎架構將查詢處理和其它的系統任務以及數據的存儲提取相分離。這種架構可以根據業務的需求和實際需要選擇合適的存儲引擎。
2.MySQL邏輯架構
1.最上層是一些客戶端和連接服務,包含本地sock通信和大多數基於客戶端/服務端工具實現的類似於tcp/ip的通信。主要完成一些類似於連接處理、授權認證、及相關的安全方案。在該層上引入了線程池的概念,爲通過認證安全接入的客戶端提供線程。同樣在該層上可以實現基於SSL的安全鏈接。服務器也會爲安全接入的每個客戶端驗證它所具有的操作權限。
2.第二層架構主要完成大多少的核心服務功能,如SQL接口,並完成緩存的查詢,SQL的分析和優化及部分內置函數的執行。所有跨存儲引擎的功能也在這一層實現,如過程、函數等。在該層,服務器會解析查詢並創建相應的內部解析樹,並對其完成相應的優化如確定查詢表的順序,是否利用索引等,最後生成相應的執行操作。如果是select語句,服務器還會查詢內部的緩存。如果緩存空間足夠大,這樣在解決大量讀操作的環境中能夠很好的提升系統的性能。
3.存儲引擎層,存儲引擎真正的負責了MySQL中數據的存儲和提取,服務器通過API與存儲引擎進行通信。不同的存儲引擎具有的功能不同,這樣我們可以根據自己的實際需要進行選取。
4.數據存儲層,主要是將數據存儲在運行於裸設備的文件系統之上,並完成與存儲引擎的交互。
3.併發控制和鎖的概念
當數據庫中有多個操作需要修改同一數據時,不可避免的會產生數據的髒讀。這時就需要數據庫具有良好的併發控制能力,這一切在MySQL中都是由服務器和存儲引擎來實現的。
解決併發問題最有效的方案是引入了鎖的機制,鎖在功能上分爲共享鎖(shared lock)和排它鎖(exclusive lock)即通常說的讀鎖和寫鎖。當一個select語句在執行時可以施加讀鎖,這樣就可以允許其它的select操作進行,因爲在這個過程中數據信息是不會被改變的這樣就能夠提高數據庫的運行效率。當需要對數據更新時,就需要施加寫鎖了,不在允許其它的操作進行,以免產生數據的髒讀和幻讀。鎖同樣有粒度大小,有表級鎖(table lock)和行級鎖(row lock),分別在數據操作的過程中完成行的鎖定和表的鎖定。這些根據不同的存儲引擎所具有的特性也是不一樣的。
MySQL大多數事務型的存儲引擎都不是簡單的行級鎖,基於性能的考慮,他們一般都同時實現了多版本併發控制(MVCC)。這一方案也被Oracle等主流的關係數據庫採用。它是通過保存數據中某個時間點的快照來實現的,這樣就保證了每個事務看到的數據都是一致的。詳細的實現原理可以參考《高性能MySQL》第三版。
4.事務
1.簡單的說事務就是一組原子性的SQL語句。可以將這組語句理解成一個工作單元,要麼全部執行要麼都不執行。在MySQL中可以使用如下命令操作事務:
start transaction; select ... update ... insert ... commit;
注意:默認MySQL中自動提交是開啓的:
原子性(atomicity):事務中的所有操作要麼全部提交成功,要麼全部失敗回滾。
一致性(consistency):數據庫總是從一個一致性狀態轉換到另一個一致性狀態。
隔離性(isolation):一個事務所做的修改在提交之前對其它事務是不可見的。
持久性(durability):一旦事務提交,其所做的修改便會永久保存在數據庫中。
3.事務的隔離級別:在SQL標準中定義了四種隔離級別:
READ UNCOMMITTED(讀未提交):事務中的修改即使未提交也是對其它事務可見
READ COMMITTED(讀提交):事務提交後所做的修改纔會被另一個事務看見,可能產生一個事務中兩次查詢的結果不同。
REPEATABLE READ(可重讀):只有當前事務提交才能看見另一個事務的修改結果。解決了一個事務中兩次查詢的結果不同的問題。
SERIALIZABLE(串行化):只有一個事務提交之後纔會執行另一個事務。
4.MySQL中可以利用如下語句查詢並臨時修改隔離級別:
5.死鎖:兩個或多個事務在同一資源上相互佔用並請求鎖定對方佔用的資源,從而導致惡性循環的現象。MySQL的部分存儲引擎能夠檢測到死鎖的循環依賴併產生相應的錯誤。InnoDB引擎解決死鎖的方案是將持有最少排它鎖的事務進行回滾。
5.MySQL存儲引擎及應用方案
1.MySQL採用插件式的存儲引擎架構,可以根據不同的需求爲不同的表設置不同的存儲引擎。可以通過如下命令顯示數據庫中表的狀態信息,以user表爲例,顯示如下:
Name:顯示的是表名
Engine:顯示存儲引擎,該表存儲引擎爲MyISAM
Row_format:顯示行格式,對於MyISAM有Dynamic、Fixed和Compressed三種。非別表示表中有可變的數據類型,表中數據類型爲固定的,以及表是壓縮表的環境。
Rows:顯示錶中行數
Avg_row_length:平均行長度(字節)
Data_length:數據長度(字節)
Max_data_length:最大存儲數據長度(字節)
Data_free:已分配但未使用的空間,包括刪除數據空餘出來的空間
Auto_increment:下一個插入行自動增長字段的值
Create_time:表的創建時間
Update_time:表數據的最後修改時間
Collation:表的默認字符集及排序規則
Checksum:如果啓用,表示整個表的實時校驗和
Create_options:創建表示的一些其它選項
Comment:額外的一些註釋信息,根據存儲引擎的不同表示的內容也不脛相同。
2.存儲引擎介紹:
InnoDB引擎:
1.將數據存儲在表空間中,表空間由一系列的數據文件組成,由InnoDB管理;
2.支持每個表的數據和索引存放在單獨文件中(innodb_file_per_table);
3.支持事務,採用MVCC來控制併發,並實現標準的4個事務隔離級別,支持外鍵;
4.索引基於聚簇索引建立,對於主鍵查詢有較高性能;
5.數據文件的平臺無關性,支持數據在不同的架構平臺移植;
6.能夠通過一些工具支持真正的熱備。如XtraBackup等;
7.內部進行自身優化如採取可預測性預讀,能夠自動在內存中創建hash索引等。
MyISAM引擎:
1.MySQL5.1中默認,不支持事務和行級鎖;
2.提供大量特性如全文索引、空間函數、壓縮、延遲更新等;
3.數據庫故障後,安全恢復性差;
4.對於只讀數據可以忍受故障恢復,MyISAM依然非常適用;
5.日誌服務器的場景也比較適用,只需插入和數據讀取操作;
6.不支持單表一個文件,會將所有的數據和索引內容分別存在兩個文件中;
7.MyISAM對整張表加鎖而不是對行,所以不適用寫操作比較多的場景;
8.支持索引緩存不支持數據緩存。
Archive引擎:
1.只支持insert和select操作;
2.緩存所有的寫數據並進行壓縮存儲,支持行級鎖但不支持事務;
3.適合高速插入和數據壓縮,減少IO操作,適用於日誌記錄和歸檔服務器。
Blackhole引擎:
1.沒有實現任何存儲機制,會將插入的數據進行丟棄,但會存儲二進制日誌;
2.會在一些特殊需要的複製架構的環境中使用。
CSV引擎:
1.可以打開CSV文件存儲的數據,可以將存儲的數據導出,並利用excel打開;
2.可以作爲一種數據交換的機制,同樣經常使用。
Memory引擎:
1.將數據在內存中緩存,不消耗IO;
2.存儲數據速度較快但不會被保留,一般作爲臨時表的存儲被使用。
Federated引擎:
能夠訪問遠程服務器上的數據的存儲引擎。能夠建立一個連接連到遠程服務器。
Mrg_MyISAM引擎:
將多個MYISAM表合併爲一個。本身並不存儲數據,數據存在MyISAM表中間。
NDB集羣引擎:
MySQL Cluster專用。
3.第三方存儲引擎:
1.OLTP類:
XtraDB:InnoDB的改進版本。
PBXT:類似InnoDB,但提供引擎級別的複製和外鍵約束,適當支持SSD存儲。
TokuDB(開源):支持分形樹索引結構,支持海量數據的分析。
2.列式存儲引擎:MySQL默認是面向行的存儲
Infobright: 支持數十TB的數據量,爲數據分析和數據倉庫設計的。數據高度壓縮。
InfiniDB:可以在一組集羣間做分佈式查詢,有商業版但沒有典型應用案例。
3.社區存儲引擎:
Aria:解決MyISAM崩潰安全恢復問題,並能夠進行數據緩存。
Groona: 全文索引引擎。
QQGraph: 由Open query研發支持圖操作,比如查找兩點間最短距離。
SphinxSE: 該引擎爲Sphinx全文索引搜索服務器提供SQL接口。
Spider: 支持sharding並能夠基於分片實現並列查詢。
VPForMySQL: 支持垂直分區。
4.存儲引擎選取參考因素
1.是否有事務需求
如果需要事務支持最好選擇InnoDB或者XtraDB,如果主要是select和insert操作MyISAM比較合適,一般使用日誌型的應用。
2.備份操作需求
如果能夠關閉服務器進行備份,那麼該因素可以忽略,如果需要在線進行熱備份,則InnoDB引擎是一個不錯的選擇。
3.故障恢復需求
在對恢復要求比較好的場景中推薦使用InnoDB,因爲MyISAM數據損壞概率比較大而且恢復速度比較慢。
4.性能上的需求
有些業務需求只有某些特定的存儲引擎才能夠滿足,如地理空間索引也只有MyISAM引擎支持。所以在應用架構需求環境中也需要管理員折衷考慮,當然從各方面比較而言,InnoDB引擎還是默認應該被推薦使用的。
5.表引擎轉換方法
1.直接修改
2.備份修改
利用mysqldump備份工具將數據導出,修改create table語句中的存儲引擎選項。注意修改的同時修改表名。
3.創建插入