MySQL分表處理的實現方法

MySQL分表處理用於處理海量的數據庫,下面就爲您詳細介紹MySQL分表處理的實現方法,希望對您能夠有所啓迪。

面對海量數據的表的時候,我們需要對它進行分表處理,我是按月份分的表,即每月都要建立一張表

比如 table_2010_04,table_2010_05,table_2010_06......您可以根據自己的需要,可以根據時間和不同的字段以及 類型來分表。我按月分表是因爲我只需要查詢每天的數據,不需要查月份的數據,不需要好幾張表同時(union)查詢,所以查詢速度還是很快的,但是如果需 要很多張表的union查詢的話速度可能就要慢了,那時候就要重新考慮分表的方式了。

每個月的開始都要進行一個操作建立一張以月爲單位的新表來存儲過去一個月的數據,當然有一張表的表名是一直不變的,這張表是用來暫時存儲新的一個月的數據的。

我現在有一張表叫 my_table ,那這張表是一直存在的,比如現在是六月三號,那六月份的數據就暫時存儲在這張表中,這時候首先需要my_table變名,

rename table my_table to table_2010_05; 這時候就重新命名了my_table這張表,但是原來的my_table這張表還是存在的,只不過所有的數據都已經存儲在table_2010_05這張 表上了,這就是用rename進行批處理的好處,大量的數據不需要在進行轉移的時候不需要進行導出和導入的操作,那樣效率會很低,而且對數據庫造成的壓力 會很大,

在重新命名了my_table這張表後需要重新要創建my_table這張表,CREAT my_table (.......)

table_2010_05 原則上存儲的都是五月份的數據,但是因爲是三號才進行這個操作,所以肯定是六月一號到三號的數據還是存儲到了table_2010_05 這張表上,那就需要從這張表中把一號到三號的數據重新查找出來插入到my_table (暫時存儲的是六月份的數據)

insert into my_table (field1,field2....) SELECT field1,field2....FROM my_table_2010_05 WHERE filed3 >= "2010-06-01"; 這樣就把一號到三號的數據存入到了暫時存儲六月份數據的my_table 到七月初的時候還要對該表進行重複的操作進行分表處理,my_table 這張表保持不變的好處是每次插入的sql語句就不用改了,但是進行查詢的時候就需要對時間進行判斷,以確定具體查找那一張表,因爲我們已經進行了分表操 作。

這樣每個月初都重複這樣一個操作,分表就順利實現,在進行插入之間還要進行這樣一個操作,ALTER TABLE my_table MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;這樣操作的好處是保證表存儲好大量數據(超過2G)的數據,目前我的一個月的表中存儲了11G多的數據,所以 進行分表錯做非常有必要,大家可以根據自己的實際情況來進行分表操作(如果是數據量很小的話就不需要進行這個操作了)


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章