常見 MySQL 的慢查詢優化方式!

公衆號後臺回覆“面試”,獲取精品學習資料

掃描下方海報瞭解專欄詳情

本文來源:Java後端技術棧

《Java工程師面試突擊(第3季)》重磅升級,由原來的70講增至160講,內容擴充一倍多,升級部分內容請參見文末

慢查詢日誌概念

MySQL的慢查詢日誌是MySQL提供的一種日誌記錄,它用來記錄在MySQL中響應時間超過閥值的語句,具體指運行時間超過long_query_time值的SQL,則會被記錄到慢查詢日誌中。long_query_time的默認值爲10,意思是運行10S以上的語句。

默認情況下,Mysql數據庫並不啓動慢查詢日誌,需要我們手動來設置這個參數,當然,如果不是調優需要的話,一般不建議啓動該參數,因爲開啓慢查詢日誌會或多或少帶來一定的性能影響。慢查詢日誌支持將日誌記錄寫入文件,也支持將日誌記錄寫入數據庫表。

慢查詢日誌相關參數

MySQL 慢查詢的相關參數解釋:

  • slow_query_log    :是否開啓慢查詢日誌,1表示開啓,0表示關閉。

  • log-slow-queries  :舊版(5.6以下版本)MySQL數據庫慢查詢日誌存儲路徑。可以不設置該參數,系統則會默認給一個缺省的文件host_name-slow.log

  • slow-query-log-file:新版(5.6及以上版本)MySQL數據庫慢查詢日誌存儲路徑。可以不設置該參數,系統則會默認給一個缺省的文件host_name-slow.log

  • long_query_time :慢查詢閾值,當查詢時間多於設定的閾值時,記錄日誌。

  • log_queries_not_using_indexes:未使用索引的查詢也被記錄到慢查詢日誌中(可選項)。

  • log_output:日誌存儲方式。log_output='FILE'表示將日誌存入文件,默認值是'FILE'。log_output='TABLE'表示將日誌存入數據庫,這樣日誌信息就會被寫入到mysql.slow_log表中。MySQL數據庫支持同時兩種日誌存儲方式,配置的時候以逗號隔開即可,如:log_output='FILE,TABLE'。日誌記錄到系統的專用日誌表中,要比記錄到文件耗費更多的系統資源,因此對於需要啓用慢查詢日誌,又需要能夠獲得更高的系統性能,那麼建議優先記錄到文件。

一,第一步.開啓mysql慢查詢  

方式一:

修改配置文件  在 my.ini 增加幾行:  主要是慢查詢的定義時間,以及慢查詢log日誌記錄( slow_query_log)

方法二:通過MySQL數據庫開啓慢查詢:

二,分析慢查詢日誌                

直接分析mysql慢查詢日誌 ,利用explain關鍵字可以模擬優化器執行SQL查詢語句,來分析sql慢查詢語句

例如:執行

EXPLAIN SELECT * FROM res_user ORDER BYmodifiedtime LIMIT 0,1000

得到如下結果:顯示結果分析:  

table |  type | possible_keys | key |key_len  | ref | rows | Extra  EXPLAIN列的解釋:   

  • table   顯示這一行的數據是關於哪張表的           

  • type    這是重要的列,顯示連接使用了何種類型。從最好到最差的連接類型爲const、eq_reg、ref、range、indexhe和ALL

  • rows   顯示需要掃描行數

  • key     使用的索引

三,常見的慢查詢優化

(1)索引沒起作用的情況

1. 使用LIKE關鍵字的查詢語句

在使用LIKE關鍵字進行查詢的查詢語句中,如果匹配字符串的第一個字符爲“%”,索引不會起作用。只有“%”不在第一個位置索引纔會起作用。

2. 使用多列索引的查詢語句

 MySQL可以爲多個字段創建索引。一個索引最多可以包括16個字段。對於多列索引,只有查詢條件使用了這些字段中的第一個字段時,索引纔會被使用。

(2)優化數據庫結構

合理的數據庫結構不僅可以使數據庫佔用更小的磁盤空間,而且能夠使查詢速度更快。數據庫結構的設計,需要考慮數據冗餘、查詢和更新的速度、字段的數據類型是否合理等多方面的內容。

1. 將字段很多的表分解成多個表 

對於字段比較多的表,如果有些字段的使用頻率很低,可以將這些字段分離出來形成新表。因爲當一個表的數據量很大時,會由於使用頻率低的字段的存在而變慢。

 2. 增加中間表

對於需要經常聯合查詢的表,可以建立中間表以提高查詢效率。通過建立中間表,把需要經常聯合查詢的數據插入到中間表中,然後將原來的聯合查詢改爲對中間表的查詢,以此來提高查詢效率。

(3)分解關聯查詢

將一個大的查詢分解爲多個小查詢是很有必要的。

很多高性能的應用都會對關聯查詢進行分解,就是可以對每一個表進行一次單表查詢,然後將查詢結果在應用程序中進行關聯,很多場景下這樣會更高效,例如:     

SELECT * FROM tag 
        JOIN tag_post ON tag_id = tag.id
        JOIN post ON tag_post.post_id = post.id
        WHERE tag.tag = 'mysql';
分解爲:
     SELECT * FROM tag WHERE tag = 'mysql';
     SELECT * FROM tag_post WHERE tag_id = 1234;
     SELECT * FROM post WHERE post.id in (123,456,567);

(4)優化LIMIT分頁

 在系統中需要分頁的操作通常會使用limit加上偏移量的方法實現,同時加上合適的order by 子句。如果有對應的索引,通常效率會不錯,否則MySQL需要做大量的文件排序操作。

 一個非常令人頭疼問題就是當偏移量非常大的時候,例如可能是limit 10000,20這樣的查詢,這是mysql需要查詢10020條然後只返回最後20條,前面的10000條記錄都將被捨棄,這樣的代價很高。

優化此類查詢的一個最簡單的方法是儘可能的使用索引覆蓋掃描,而不是查詢所有的列。然後根據需要做一次關聯操作再返回所需的列。對於偏移量很大的時候這樣做的效率會得到很大提升。

 對於下面的查詢:

  select id,title from collect limit 90000,10;

該語句存在的最大問題在於limit M,N中偏移量M太大(我們暫不考慮篩選字段上要不要添加索引的影響),導致每次查詢都要先從整個表中找到滿足條件 的前M條記錄,之後捨棄這M條記錄並從第M+1條記錄開始再依次找到N條滿足條件的記錄。

 如果表非常大,且篩選字段沒有合適的索引,且M特別大那麼這樣的代價是非常高的。試想,如我們下一次的查詢能從前一次查詢結束後標記的位置開始查找,

找到滿足條件的100條記錄,並記下下一次查詢應該開始的位置,以便於下一次查詢能直接從該位置 開始,這樣就不必每次 查詢都先從整個表中先找到滿足條件的前M條記錄,捨棄,在從M+1開始再找到100條滿足條件的記錄了。

方法一:慮篩選字段(title)上加索引
title字段加索引  (此效率如何未加驗證)

方法二:先查詢出主鍵id值

select id,title from collect where id>=(select id from collect order by id limit 90000,1) limit 10;

原理:先查詢出90000條數據對應的主鍵id的值,然後直接通過該id的值直接查詢該id後面的數據。

方法三:“關延遲聯”
如果這個表非常大,那麼這個查詢可以改寫成如下的方式:

  Select news.id, news.description from news inner join (select id from news order by title limit 50000,5) as myNew using(id);

這裏的“關延遲聯”將大大提升查詢的效率,它讓MySQL掃描儘可能少的頁面,獲取需要的記錄後再根據關聯列回原表查詢需要的所有列。這個技術也可以用在優化關聯查詢中的limit。

方法四:建立複合索引 acct_id和create_time

select * from acct_trans_log WHERE  acct_id = 3095  order by create_time desc limit 0,10

日誌分析工具mysqldumpslow

在生產環境中,如果要手工分析日誌,查找、分析SQL,顯然是個體力活,MySQL提供了日誌分析工具mysqldumpslow

查看mysqldumpslow的幫助信息:

Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
Parse and summarize the MySQL slow query log. Options are
--verbose   verbose
--help       write this text to standard output
-v           verbose
-s ORDER     what to sort by (al, at, ar, c, l, r, t), 'at' is default
              ar: average rows sent
                c: count
                r: rows sent
-r           reverse the sort order (largest last instead of first)
-a           don't abstract all numbers to N and strings to 'S'
-g PATTERN   grep: only consider stmts that include this string
              default is '*', i.e. match all
-l           don't subtract lock time from total time

-s, 是表示按照何種方式排序,

c: 訪問計數

l: 鎖定時間

r: 返回記錄

t: 查詢時間

al:平均鎖定時間

ar:平均返回記錄數

at:平均查詢時間

-t, 是top n的意思,即爲返回前面多少條的數據;

-g, 後邊可以寫一個正則匹配模式,大小寫不敏感的;


比如:

得到返回記錄集最多的10個SQL。

mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log

得到訪問次數最多的10個SQL

mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log

得到按照時間排序的前10條裏面含有左連接的查詢語句

mysqldumpslow -s t -t 10 -g “left join” /database/mysql/mysql06_slow.log

另外建議在使用這些命令時結合 | 和more 使用 ,否則有可能出現刷屏的情況。

mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more

參考:

https://www.cnblogs.com/davidwang456/articles/9497584.html
https://www.cnblogs.com/dalongNOTES/p/10769837.html

END

《Java工程師面試突擊第三季》加餐部分大綱:(注:1-66講的大綱請掃描文末二維碼,在課程詳情頁獲取)

詳細的課程內容,大家可以掃描下方二維碼瞭解:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章