MySQL 百萬級數據量分頁查詢如何優化?

1.直接使用數據庫提供的SQL語句

語句樣式: MySQL中,可用如下方法:

SELECT * FROM 表名稱 LIMIT M,N

適應場景: 適用於數據量較少的情況(元組百/千級)

原因/缺點: 全表掃描,速度會很慢 且有的數據庫結果集返回不穩定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是從結果集的M位置處取出N條輸出,其餘拋棄.

2.建立主鍵或唯一索引, 利用索引(假設每頁10條)

語句樣式: MySQL中,可用如下方法:

SELECT * FROM 表名稱 WHERE id_pk > (pageNum*10) LIMIT M

適應場景: 適用於數據量多的情況(元組數上萬)

原因: 索引掃描,速度會很快. 有朋友提出: 因爲數據查詢出來並不是按照pk_id排序的,所以會有漏掉數據的情況,只能方法3。

3.基於索引再排序

語句樣式: MySQL中,可用如下方法:

SELECT * FROM 表名稱 WHERE id_pk > (pageNum*10) ORDER BY id_pk ASC LIMIT M

適應場景: 適用於數據量多的情況(元組數上萬). 最好ORDER BY後的列對象是主鍵或唯一所以,使得ORDERBY操作能利用索引被消除但結果集是穩定的(穩定的含義,參見方法1)

原因: 索引掃描,速度會很快. 但MySQL的排序操作,只有ASC沒有DESC(DESC是假的,未來會做真正的DESC,期待…).

4. 基於索引使用prepare

第一個問號表示pageNum,第二個?表示每頁元組數

語句樣式: MySQL中,可用如下方法:

PREPARE stmt_name FROM SELECT * FROM 表名稱 WHERE id_pk > (?* ?) ORDER BY id_pk ASC LIMIT M

適應場景: 大數據量

原因: 索引掃描,速度會很快. prepare語句又比一般的查詢語句快一點。

5.利用MySQL支持ORDER操作可以利用索引快速定位部分元組,避免全表掃描

比如: 讀第1000到1019行元組(pk是主鍵/唯一鍵).

SELECT * FROM your_table WHERE pk>=1000 ORDER BY pk ASC LIMIT 0,20

6.利用"子查詢/連接+索引"快速定位元組的位置,然後再讀取元組.

比如(id是主鍵/唯一鍵,藍色字體時變量)

利用子查詢示例:

SELECT * FROM your_table WHERE id <=
(SELECT id FROM your_table ORDER BY id desc LIMIT ($page-1)*$pagesize ORDER BY id desc
LIMIT $pagesize 

利用連接示例:

SELECT * FROM your_table AS t1
JOIN (SELECT id FROM your_table ORDER BY id desc LIMIT ($page-1)*$pagesize AS t2
WHERE t1.id <= t2.id ORDER BY t1.id desc LIMIT $pagesize; 

mysql大數據量使用limit分頁,隨着頁碼的增大,查詢效率越低下。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章