mysql如何分表mysql分表的3種方法比較優點缺點

  當一張的數據達到幾百萬時,你查詢一次所花的時間會變多,如果有聯合查詢的話,我想有可能會死在那兒了。分表的目的就在於此,減小數據庫的負擔,縮短查詢時間。

根據個人經驗,mysql執行一個sql的過程如下:
1,接收到sql;2,把sql放到排隊隊列中;3,執行sql;4,返回執行結果。在這個執行過程中最花時間在什麼地方呢?第一,是排隊等待的時間,第二,sql的執行時間。其實這二個是一回事,等待的同時,肯定有sql在執行。所以我們要縮短sql的執行時間。

mysql中有一種機制是表鎖定和行鎖定,爲什麼要出現這種機制,是爲了保證數據的完整性,我舉個例子來說吧,如果有二個sql都要修改同一張表的同一條數據,這個時候怎麼辦呢,是不是二個sql都可以同時修改這條數據呢?很顯然mysql對這種情況的處理是,一種是表鎖定(myisam存儲引擎),一個是行鎖定(innodb存儲引擎)。表鎖定表示你們都不能對這張表進行操作,必須等我對錶操作完才行。行鎖定也一樣,別的sql必須等我對這條數據操作完了,才能對這條數據進行操作。如果數據太多,一次執行的時間太長,等待的時間就越長,這也是我們爲什麼要分表的原因。

二,分表

1,做mysql集羣,例如:利用mysql cluster ,mysql proxy,mysqlreplication,drdb等等

有人會問mysql集羣,根分表有什麼關係嗎?雖然它不是實際意義上的分表,但是它啓到了分表的作用,做集羣的意義是什麼呢?爲一個數據庫減輕負擔,說白了就是減少sql排隊隊列中的sql的數量,舉個例子:有10個sql請求,如果放在一個數據庫服務器的排隊隊列中,他要等很長時間,如果把這10個sql請求,分配到5個數據庫服務器的排隊隊列中,一個數據庫服務器的隊列中只有2個,這樣等待時間是不是大大的縮短了呢?這已經很明顯了。所以我把它列到了分表的範圍以內,我做過一些mysql的集羣:

linux mysql proxy 的安裝,配置,以及讀寫分離

mysql replication互爲主從的安裝及配置,以及數據同步

優點:擴展性好,沒有多個分表後的複雜操作(php代碼)

缺點:單個表的數據量還是沒有變,一次操作所花的時間還是那麼多,硬件開銷大。

2,預先估計會出現大數據量並且訪問頻繁的表,將其分爲若干個表

這種預估大差不差的,論壇裏面發表帖子的表,時間長了這張表肯定很大,幾十萬,幾百萬都有可能。聊天室裏面信息表,幾十個人在一起一聊一個晚上,時間長了,這張表的數據肯定很大。像這樣的情況很多。所以這種能預估出來的大數據量表,我們就事先分出個N個表,這個N是多少,根據實際情況而定。以聊天信息表爲例:

我事先建100個這樣的表,message_00,message_01,message_02……….message_98,message_99.然後根據用戶的ID來判斷這個用戶的聊天信息放到哪張表裏面,你可以用hash的方式來獲得,可以用求餘的方式來獲得,方法很多,各人想各人的吧。下面用hash的方法來獲得表名:


  1. <?php

  2. function get_hash_table($table,$userid) {

  3. $str = crc32($userid);
  4. if($str<0){
  5. $hash = "0".substr(abs($str), 0, 1);
  6. }else{
  7. $hash = substr($str, 0, 2);
  8. }
  9. return $table."_".$hash;
  10. }  

  11. echo get_hash_table('message','user18991'); //結果爲message_10

  12. echo get_hash_table('message','user34523'); //結果爲message_13

  13. ?>


說明一下,上面的這個方法,告訴我們user18991這個用戶的消息都記錄在message_10這張表裏,user34523這個用戶的消息都記錄在message_13這張表裏,讀取的時候,只要從各自的表中讀取就行了。

優點:避免一張表出現幾百萬條數據,縮短了一條sql的執行時間

缺點:當一種規則確定時,打破這條規則會很麻煩,上面的例子中我用的hash算法是crc32,如果我現在不想用這個算法了,改用md5後,會使同一個用戶的消息被存儲到不同的表中,這樣數據亂套了。擴展性很差。

3,利用merge存儲引擎來實現分表

我覺得這種方法比較適合,那些沒有事先考慮,而已經出現了得,數據查詢慢的情況。這個時候如果要把已有的大數據量表分開比較痛苦,最痛苦的事就是改代碼,因爲程序裏面的sql語句已經寫好了,現在一張表要分成幾十張表,甚至上百張表,這樣sql語句是不是要重寫呢?舉個例子,我很喜歡舉子

mysql>showengines;的時候你會發現mrg_myisam其實就是merge。



  1. mysql> CREATE TABLE IF NOT EXISTS `user1` (

  2. -> `id` int(11) NOT NULL AUTO_INCREMENT,
  3. -> `name` varchar(50) DEFAULT NULL,
  4. -> `sex` int(1) NOT NULL DEFAULT '0',
  5. -> PRIMARY KEY (`id`)
  6. -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

  7. Query OK, 0 rows affected (0.05 sec)

  8. mysql> CREATE TABLE IF NOT EXISTS `user2` (

  9. -> `id` int(11) NOT NULL AUTO_INCREMENT,
  10. -> `name` varchar(50) DEFAULT NULL,
  11. -> `sex` int(1) NOT NULL DEFAULT '0',
  12. -> PRIMARY KEY (`id`)
  13. -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

  14. Query OK, 0 rows affected (0.01 sec)

  15. mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0);

  16. Query OK, 1 row affected (0.00 sec)

  17. mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1);

  18. Query OK, 1 row affected (0.00 sec)

  19. mysql> CREATE TABLE IF NOT EXISTS `alluser` (

  20. -> `id` int(11) NOT NULL AUTO_INCREMENT,
  21. -> `name` varchar(50) DEFAULT NULL,
  22. -> `sex` int(1) NOT NULL DEFAULT '0',
  23. -> INDEX(id)
  24. -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;

  25. Query OK, 0 rows affected, 1 warning (0.00 sec)

  26. mysql> select id,name,sex from alluser;

  27. +----+--------+-----+

  28. | id | name | sex |

  29. +----+--------+-----+

  30. | 1 | 張映 | 0 |

  31. | 1 | tank | 1 |

  32. +----+--------+-----+

  33. 2 rows in set (0.00 sec)

  34. mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0);

  35. Query OK, 1 row affected (0.00 sec)

  36. mysql> select id,name,sex from user2

  37. -> ;
  38. +----+-------+-----+

  39. | id | name | sex |

  40. +----+-------+-----+

  41. | 1 | tank | 1 |

  42. | 2 | tank2 | 0 |

  43. +----+-------+-----+

  44. 2 rows in set (0.00 sec)


從上面的操作中,我不知道你有沒有發現點什麼?假如我有一張用戶表user,有50W條數據,現在要拆成二張表user1和user2,每張表25W條數據,

INSERT INTOuser1(user1.id,user1.name,user1.sex)SELECT(user.id,user.name,user.sex)FROM user where user.id<= 250000

INSERT INTOuser2(user2.id,user2.name,user2.sex)SELECT(user.id,user.name,user.sex)FROM user where user.id> 250000

這樣我就成功的將一張user表,分成了二個表,這個時候有一個問題,代碼中的sql語句怎麼辦,以前是一張表,現在變成二張表了,代碼改動很大,這樣給程序員帶來了很大的工作量,有沒有好的辦法解決這一點呢?辦法是把以前的user表備份一下,然後刪除掉,上面的操作中我建立了一個alluser表,只把這個alluser表的表名改成user就行了。但是,不是所有的mysql操作都能用的

a,如果你使用 alter table 來把 merge表變爲其它表類型,到底層表的映射就被丟失了。取而代之的,來自底層 myisam表的行被複制到已更換的表中,該表隨後被指定新類型。

b,網上看到一些說replace不起作用,我試了一下可以起作用的。暈一個先


  1. mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2;

  2. Query OK, 1 row affected (0.00 sec)

  3. Rows matched: 1 Changed: 1 Warnings: 0

  4. mysql> select * from alluser;

  5. +----+--------+-----+

  6. | id | name | sex |

  7. +----+--------+-----+

  8. | 1 | 張映 | 0 |

  9. | 1 | tank | 1 |

  10. | 2 | tank2 | 1 |

  11. +----+--------+-----+

  12. 3 rows in set (0.00 sec)


c,一個 merge 表不能在整個表上維持 unique約束。當你執行一個 insert,數據進入第一個或者最後一個 myisam 表(取決於 insert_method選項的值)。mysql 確保唯一鍵值在那個 myisam 表裏保持唯一,但不是跨集合裏所有的表。

d,當你創建一個 merge表之時,沒有檢查去確保底層表的存在以及有相同的機構。當 merge 表被使用之時,mysql檢查每個被映射的表的記錄長度是否相等,但這並不十分可靠。如果你從不相似的 myisam 表創建一個 merge表,你非常有可能撞見奇怪的問題。

好睏睡覺了,c和d在網上看到的,沒有測試,大家試一下吧。

優點:擴展性好,並且程序代碼改動的不是很大


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章