DBA的40條軍規

DBA操作規範

1、涉及業務上的修改/刪除數據,在得到業務方、CTO的郵件批准後方可執行,執行前提前做好備份,必要時可逆。


2、所有上線需求必須走工單系統,口頭通知視爲無效。


3、在對大表做表結構變更時,如修改字段屬性會造成鎖表,並會造成從庫延遲,從而影響線上業務,必須在凌晨0:00 後業務低峯期執行,另統一用工具 pt-online-schema-change 避免鎖表且降低延遲執行時間。

使用範例:

#pt-online-schema-change  --alter="add index   IX_id_no(id_no)"  \
--no-check-replication-filters  --recursion-method=none  --user=dba    \  
--password=123456  D=test,t=t1 --execute

對於MongoDB創建索引要在後臺創建,避免鎖表。

使用範例:

db.t1.createIndex({idCardNum:1},{background:1})

4、所有線上業務庫均必須搭建MHA高可用架構,避免單點問題。


5、給業務方開權限時,密碼要用MD5加密,至少16位。權限如沒有特殊要求,均爲select查詢權限,並做庫表級限制。


6、刪除默認空密碼賬號。

delete from mysql.user where user='' and password='';

flush privileges;

7、彙總庫開啓Audit審計日誌功能,出現問題時方可追溯。


行爲規範

8、禁止一個MySQL實例存放多個業務數據庫,會造成業務耦合性過高,一旦出現問題會殃及池魚,增加了定位故障問題的難度。通常採用多實例解決,一個實例一個業務庫,互不干擾。


9、禁止在主庫上執行後臺管理和統計類的功能查詢,這種複雜類的SQL會造成CPU的升高,進而會影響業務。


10、批量清洗數據,需要開發和DBA共同進行審查,應避開業務高峯期時段執行,並在執行過程中觀察服務狀態。


11、促銷活動等應提前與DBA當面溝通,進行流量評估,比如提前一週增加機器內存或擴展架構,防止DB出現性能瓶頸。


12、禁止在線上做數據庫壓力測試。


基本規範

13、禁止在數據庫中存儲明文密碼。


14、使用InnoDB存儲引擎。

  • 支持事務,行級鎖,更好的恢復性,高併發下性能更好。
  • InnoDB表避免使用COUNT(*)操作,因內部沒有計數器,需要一行一行累加計算,計數統計實時要求較強可以使用memcache或者Redis。

15、表字符集統一使用UTF8。

  • 不會產生亂碼風險。

16、所有表和字段都需要添加中文註釋。

  • 方便他人、方便自己。

17、不在數據庫中存儲圖片、文件等大數據。

  • 圖片、文件更適合於GFS分佈式文件系統,數據庫裏存放超鏈接即可。

18、避免使用存儲過程、視圖、觸發器、事件。

MySQL是OLTP應用,最擅長簡單的增、刪、改、查操作,但對邏輯計算分析類的應用,並不適合,所以這部分的需求最好通過程序上實現。


19、避免使用外鍵,外鍵用來保護參照完整性,可在業務端實現。

  • 外鍵會導致父表和子表之間耦合,十分影響SQL性能,出現過多的鎖等待,甚至會造成死鎖。

20、對事務一致性要求不高的業務,如日誌表等,優先選擇存入MongoDB。

  • 其自身支持的sharding分片功能,增強了橫向擴展的能力,開發不用過多調整業務代碼。

庫表設計規範

21、表必須有主鍵,例如自增主鍵。

  • 這樣可以保證數據行是按照順序寫入,對於SAS傳統機械式硬盤寫入性能更好,根據主鍵做關聯查詢的性能也會更好,並且還方便了數據倉庫抽取數據。從性能的角度來說,使用UUID作爲主鍵是個最不好的方法,它會使插入變得隨機。

22、禁止使用分區表。

  • 分區表的好處是對於開發來說,不用修改代碼,通過後端DB的設置,比如對於時間字段做拆分,就可以輕鬆實現表的拆分。但這裏面涉及一個問題,查詢的字段必須是分區鍵,否則會遍歷所有的分區表,並不會帶來性能上的提升。此外,分區表在物理結構上仍舊是一張表,此時我們更改表結構,一樣不會帶來性能上的提升。所以應採用切表的形式做拆分,如程序上需要對歷史數據做查詢,可通過union all的方式關聯查詢。另外隨着時間的推移,歷史數據表不再需要,只需在從庫上dump出來,即便捷地遷移至備份機上。

字段設計規範

23、用DECIMAL代替FLOAT和DOUBLE存儲精確浮點數。
浮點數的缺點是會引起精度問題,請看下面一個例子:

mysql> CREATE TABLE t3 (c1 float(10,2),c2 decimal(10,2));       
Query OK, 0 rows affected (0.05 sec)
>mysql> insert into t3 values (999998.02, 999998.02);    
Query OK, 1 row affected (0.01 sec)
>mysql> select * from t3;
+-----------+-----------+
| c1        | c2        |
+-----------+-----------+
| 999998.00 | 999998.02 |
+-----------+-----------+
1 row in set (0.00 sec)

可以看到c1列的值由999998.02變成了999998.00,這就是float浮點數類型的不精確性造成的。因此對貨幣等對精度敏感的數據,應該用定點數表示或存儲。


24、使用TINYINT來代替ENUM類型。

  • 採用enum枚舉類型,會存在擴展的問題,例如用戶在線狀態,如果此時增加了:5表示請勿打擾、6表示開會中、7表示隱身對好友可見,那麼增加新的ENUM值要做DDL修改表結構操作了。

25、字段長度儘量按實際需要進行分配,不要隨意分配一個很大的容量。

選擇字段的一般原則是保小不保大,能用佔用字節少的字段就不用大字段。比如主鍵,強烈建議用int整型,不用uuid,爲什麼?省空間啊。空間是什麼?空間就是效率!按4個字節和按32個字節定位一條記錄,誰快誰慢太明顯了。涉及幾個表做join時,效果就更明顯了。更小的字段類型佔用的內存就更少,佔用的磁盤空間和磁盤I/O也會更少,而且還會佔用更少的帶寬。

有不少開發人員在設計表字段時,只要是針對數值類型的全部用int,但這不一定合適,就比如用戶的年齡,一般來說,年齡大都在1~100歲之間,長度只有3,那麼用int就不適合了,可以用tinyint代替。又比如用戶在線狀態,0表示離線、1表示在線、2表示離開、3表示忙碌、4表示隱身等,其實類似這樣的情況,用int都是沒有必要的,浪費空間,採用tinyint完全可以滿足需要,int佔用的是4字節,而tinyint才佔用1個字節。

int整型有符號(signed)最大值是2147483647,而無符號(unsigned)最大值是4294967295,如果你的需求沒有存儲負數,那麼建議改成有符號(unsigned),可以增加int存儲範圍。

int(10)和int(1)沒有什麼區別,10和1僅是寬度而已,在設置了zerofill擴展屬性的時候有用,例:

root@localhost(test)10:39>create table test(id int(10) zerofill,id2 int(1));
Query OK, 0 rows affected (0.13 sec)
root@localhost(test)10:39>insert into test values(1,1);
Query OK, 1 row affected (0.04 sec)
root@localhost(test)10:56>insert into test values(1000000000,1000000000);
Query OK, 1 row affected (0.05 sec)
root@localhost(test)10:56>select * from test;
+------------+------------+
| id         | id2        |
+------------+------------+
| 0000000001 |          1 |
| 1000000000 | 1000000000 |
+------------+------------+
2 rows in set (0.01 sec)

26、字段定義爲NOT NULL要提供默認值。
從應用層角度來看,可以減少程序判斷代碼,比如你要查詢一條記錄,如果沒默認值,你是不是得先判斷該字段對應變量是否被設置,如果沒有,你得通過java把該變量置爲''或者0,如果設了默認值,判斷條件可直接略過。

NULL值很難進行查詢優化,它會使索引統計更加複雜,還需要MySQL內部進行特殊處理。


27、儘可能不使用TEXT、BLOB類型。

  • 增加存儲空間的佔用,讀取速度慢。

索引規範

28、索引不是越多越好,按實際需要進行創建。

  • 索引是一把雙刃劍,它可以提高查詢效率但也會降低插入和更新的速度並佔用磁盤空間。適當的索引對應用的性能至關重要,而且在MySQL中使用索引它的速度是極快的。遺憾的是,索引也有相關的開銷。每次向表中寫入時(如INSERT、UPDATEH或DELETE),如果帶有一個或多個索引,那麼MySQL也要更新各個索引,這樣索引就增加了對各個表的寫入操作的開銷。只有當某列被用於WHERE子句時,才能享受到索引的性能提升的好處。如果不使用索引,它就沒有價值,而且會帶來維護上的開銷。

29、查詢的字段必須創建索引。

  • 如:1、SELECT、UPDATE、DELETE語句的WHERE條件列;2、多表JOIN的字段。

30、不在索引列進行數學運算和函數運算。
無法使用索引,導致全表掃描。
例:SELECT * FROM t WHERE YEAR(d) >= 2016;
由於MySQL不像Oracle那樣支持函數索引,即使d字段有索引,也會直接全表掃描。
應改爲----->
SELECT * FROM t WHERE d >= '2016-01-01';


31、不在低基數列上建立索引,例如‘性別’。
有時候,進行全表瀏覽要比必須讀取索引和數據表更快,尤其是當索引包含的是平均分佈的數據集是更是如此。對此典型的例子是性別,它有兩個均勻分佈的值(男和女)。通過性別需要讀取大概一半的行。在種情況下進行全表掃描瀏覽要更快。


32、不使用%前導的查詢,如like ‘%xxx’。
無法使用索引,導致全表掃描。

低效查詢
SELECT * FROM t WHERE name LIKE '%de%';
----->
高效查詢
SELECT * FROM t WHERE name LIKE 'de%';

33、不使用反向查詢,如 not in / not like。
無法使用索引,導致全表掃描。


34、避免冗餘或重複索引。
聯合索引IX_a_b_c(a,b,c) 相當於 (a) 、(a,b) 、(a,b,c),那麼索引 (a) 、(a,b) 就是多餘的。


SQL設計規範

*35、不使用SELECT ,只獲取必要的字段。**
消耗CPU和IO、消耗網絡帶寬;
無法使用覆蓋索引。


36、用IN來替換OR。

低效查詢
SELECT * FROM t WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30;
----->
高效查詢
SELECT * FROM t WHERE LOC_IN IN (10,20,30);

37、避免數據類型不一致。

SELECT * FROM t WHERE id = '19';
----->
SELECT * FROM t WHERE id = 19;

38、減少與數據庫的交互次數。

INSERT INTO t (id, name) VALUES(1,'Bea');
INSERT INTO t (id, name) VALUES(2,'Belle');
INSERT INTO t (id, name) VALUES(3,'Bernice');
----->
INSERT INTO t (id, name) VALUES(1,'Bea'), (2,'Belle'),(3,'Bernice');

Update … where id in (1,2,3,4);

Alter table tbl_name add column col1, add column col2;

39、拒絕大SQL,拆分成小SQL。

低效查詢
SELECT * FROM tag
JOIN tag_post ON tag_post.tag_id = tag.id
JOIN post ON tag_post.post_id = post.id
WHERE tag.tag = 'mysql';
可以分解成下面這些查詢來代替
----->
高效查詢
SELECT * FROM tag WHERE tag = 'mysql'
SELECT * FROM tag_post WHERE tag_id = 1234
SELECT * FROM post WHERE post_id in (123, 456, 567, 9098, 8904);

40、禁止使用order by rand()

SELECT * FROM t1 WHERE 1=1 ORDER BY RAND() LIMIT 4;
---->
SELECT * FROM t1 WHERE id >= CEIL(RAND()*1000) LIMIT 4;
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章