mysql數據庫分表後怎麼進行分頁查詢?Mysql分庫分表方案?

1.如果只是爲了分頁,可以考慮這種分表,就是表的id是範圍性的,且id是連續的,比如第一張表id是1到10萬,第二張是10萬到20萬,這樣分頁應該沒什麼問題。

2.如果是其他的分表方式,建議用sphinx先建索引,然後查詢分頁,我們公司現在就是這樣乾的。

Mysql分庫分表方案

1.爲什麼要分表:

當一張表的數據達到幾千萬時,你查詢一次所花的時間會變多,如果有聯合查詢的話,我想有可能會死在那兒了。分表的目的就在於此,減小數據庫的負擔,縮短查詢時間。

mysql中有一種機制是表鎖定和行鎖定,是爲了保證數據的完整性。表鎖定表示你們都不能對這張表進行操作,必須等我對錶操作完才行。行鎖定也一樣,別的sql必須等我對這條數據操作完了,才能對這條數據進行操作。

2. mysql proxy:amoeba

做mysql集羣,利用amoeba

從上層的java程序來講,不需要知道主服務器和從服務器的來源,即主從數據庫服務器對於上層來講是透明的。可以通過amoeba來配置。

 3.大數據量並且訪問頻繁的表,將其分爲若干個表

比如對於某網站平臺的數據庫表-公司表,數據量很大,這種能預估出來的大數據量表,我們就事先分出個N個表,這個N是多少,根據實際情況而定。

     某網站現在的數據量至多是5000萬條,可以設計每張表容納的數據量是500萬條,也就是拆分成10張表,

那麼如何判斷某張表的數據是否容量已滿呢?可以在程序段對於要新增數據的表,在插入前先做統計表記錄數量的操作,當<500萬條數據,就直接插入,當已經到達閥值,可以在程序段新創建數據庫表(或者已經事先創建好),再執行插入操作。

 4. 利用merge存儲引擎來實現分表

如果要把已有的大數據量表分開比較痛苦,最痛苦的事就是改代碼,因爲程序裏面的sql語句已經寫好了。用merge存儲引擎來實現分表, 這種方法比較適合.


 ------------------- ----------華麗的分割線--------------------------------------

 數據庫架構

1、簡單的MySQL主從複製:

MySQL的主從複製解決了數據庫的讀寫分離,並很好的提升了讀的性能

但是,主從複製也帶來其他一系列性能瓶頸問題:

1. 寫入無法擴展

2. 寫入無法緩存

3. 複製延時

4. 鎖表率上升

5. 表變大,緩存率下降

那問題產生總得解決的,這就產生下面的優化方案,一起來看看。

2、MySQL垂直分區

   如果把業務切割得足夠獨立,那把不同業務的數據放到不同的數據庫服務器將是一個不錯的方案,而且萬一其中一個業務崩潰了也不會影響其他業務的正常進行,並且也起到了負載分流的作用,大大提升了數據庫的吞吐能力。

然而,儘管業務之間已經足夠獨立了,但是有些業務之間或多或少總會有點聯繫,如用戶,基本上都會和每個業務相關聯,況且這種分區方式,也不能解決單張表數據量暴漲的問題,因此爲何不試試水平分割呢?

3、MySQL水平分片(Sharding)

這是一個非常好的思路,將用戶按一定規則(按id哈希)分組,並把該組用戶的數據存儲到一個數據庫分片中,即一個sharding,這樣隨着用戶數量的增加,只要簡單地配置一臺服務器即可。

如何來確定某個用戶所在的shard呢,可以建一張用戶和shard對應的數據表,每次請求先從這張表找用戶的shard id,再從對應shard中查詢相關數據。

發佈了37 篇原創文章 · 獲贊 20 · 訪問量 12萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章