公衆號後臺回覆“面試”,獲取精品學習資料
掃描下方海報瞭解專欄詳情
本文來源:Java後端技術棧
《Java工程師面試突擊(第3季)》重磅升級,由原來的70講增至160講,內容擴充一倍多,升級部分內容請參見文末
慢查詢日誌概念
MySQL的慢查詢日誌是MySQL提供的一種日誌記錄,它用來記錄在MySQL中響應時間超過閥值的語句,具體指運行時間超過long_query_time值的SQL,則會被記錄到慢查詢日誌中。long_query_time的默認值爲10,意思是運行10S以上的語句。
默認情況下,Mysql數據庫並不啓動慢查詢日誌,需要我們手動來設置這個參數,當然,如果不是調優需要的話,一般不建議啓動該參數,因爲開啓慢查詢日誌會或多或少帶來一定的性能影響。慢查詢日誌支持將日誌記錄寫入文件,也支持將日誌記錄寫入數據庫表。
慢查詢日誌相關參數
MySQL 慢查詢的相關參數解釋:
slow_query_log :是否開啓慢查詢日誌,1表示開啓,0表示關閉。
log-slow-queries :舊版(5.6以下版本)MySQL數據庫慢查詢日誌存儲路徑。可以不設置該參數,系統則會默認給一個缺省的文件host_name-slow.log
slow-query-log-file:新版(5.6及以上版本)MySQL數據庫慢查詢日誌存儲路徑。可以不設置該參數,系統則會默認給一個缺省的文件host_name-slow.log
long_query_time :慢查詢閾值,當查詢時間多於設定的閾值時,記錄日誌。
log_queries_not_using_indexes:未使用索引的查詢也被記錄到慢查詢日誌中(可選項)。
log_output:日誌存儲方式。log_output='FILE'表示將日誌存入文件,默認值是'FILE'。log_output='TABLE'表示將日誌存入數據庫,這樣日誌信息就會被寫入到mysql.slow_log表中。MySQL數據庫支持同時兩種日誌存儲方式,配置的時候以逗號隔開即可,如:log_output='FILE,TABLE'。日誌記錄到系統的專用日誌表中,要比記錄到文件耗費更多的系統資源,因此對於需要啓用慢查詢日誌,又需要能夠獲得更高的系統性能,那麼建議優先記錄到文件。
一,第一步.開啓mysql慢查詢
方式一:
修改配置文件 在 my.ini 增加幾行: 主要是慢查詢的定義時間,以及慢查詢log日誌記錄( slow_query_log)
方法二:通過MySQL數據庫開啓慢查詢:
二,分析慢查詢日誌
直接分析mysql慢查詢日誌 ,利用explain關鍵字可以模擬優化器執行SQL查詢語句,來分析sql慢查詢語句
例如:執行
EXPLAIN SELECT * FROM res_user ORDER BYmodifiedtime LIMIT 0,1000
得到如下結果:顯示結果分析:
table | type | possible_keys | key |key_len | ref | rows | Extra EXPLAIN列的解釋:
table 顯示這一行的數據是關於哪張表的
type 這是重要的列,顯示連接使用了何種類型。從最好到最差的連接類型爲const、eq_reg、ref、range、indexhe和ALL
rows 顯示需要掃描行數
key 使用的索引
三,常見的慢查詢優化
(1)索引沒起作用的情況
1. 使用LIKE關鍵字的查詢語句
在使用LIKE關鍵字進行查詢的查詢語句中,如果匹配字符串的第一個字符爲“%”,索引不會起作用。只有“%”不在第一個位置索引纔會起作用。
2. 使用多列索引的查詢語句
MySQL可以爲多個字段創建索引。一個索引最多可以包括16個字段。對於多列索引,只有查詢條件使用了這些字段中的第一個字段時,索引纔會被使用。
(2)優化數據庫結構
合理的數據庫結構不僅可以使數據庫佔用更小的磁盤空間,而且能夠使查詢速度更快。數據庫結構的設計,需要考慮數據冗餘、查詢和更新的速度、字段的數據類型是否合理等多方面的內容。
1. 將字段很多的表分解成多個表
對於字段比較多的表,如果有些字段的使用頻率很低,可以將這些字段分離出來形成新表。因爲當一個表的數據量很大時,會由於使用頻率低的字段的存在而變慢。
2. 增加中間表
對於需要經常聯合查詢的表,可以建立中間表以提高查詢效率。通過建立中間表,把需要經常聯合查詢的數據插入到中間表中,然後將原來的聯合查詢改爲對中間表的查詢,以此來提高查詢效率。
(3)分解關聯查詢
將一個大的查詢分解爲多個小查詢是很有必要的。
很多高性能的應用都會對關聯查詢進行分解,就是可以對每一個表進行一次單表查詢,然後將查詢結果在應用程序中進行關聯,很多場景下這樣會更高效,例如:
SELECT * FROM tag
JOIN tag_post ON tag_id = tag.id
JOIN post ON tag_post.post_id = post.id
WHERE tag.tag = 'mysql';
分解爲:
SELECT * FROM tag WHERE tag = 'mysql';
SELECT * FROM tag_post WHERE tag_id = 1234;
SELECT * FROM post WHERE post.id in (123,456,567);
(4)優化LIMIT分頁
在系統中需要分頁的操作通常會使用limit加上偏移量的方法實現,同時加上合適的order by 子句。如果有對應的索引,通常效率會不錯,否則MySQL需要做大量的文件排序操作。
一個非常令人頭疼問題就是當偏移量非常大的時候,例如可能是limit 10000,20這樣的查詢,這是mysql需要查詢10020條然後只返回最後20條,前面的10000條記錄都將被捨棄,這樣的代價很高。
優化此類查詢的一個最簡單的方法是儘可能的使用索引覆蓋掃描,而不是查詢所有的列。然後根據需要做一次關聯操作再返回所需的列。對於偏移量很大的時候這樣做的效率會得到很大提升。
對於下面的查詢:
select id,title from collect limit 90000,10;
該語句存在的最大問題在於limit M,N中偏移量M太大(我們暫不考慮篩選字段上要不要添加索引的影響),導致每次查詢都要先從整個表中找到滿足條件 的前M條記錄,之後捨棄這M條記錄並從第M+1條記錄開始再依次找到N條滿足條件的記錄。
如果表非常大,且篩選字段沒有合適的索引,且M特別大那麼這樣的代價是非常高的。試想,如我們下一次的查詢能從前一次查詢結束後標記的位置開始查找,
找到滿足條件的100條記錄,並記下下一次查詢應該開始的位置,以便於下一次查詢能直接從該位置 開始,這樣就不必每次 查詢都先從整個表中先找到滿足條件的前M條記錄,捨棄,在從M+1開始再找到100條滿足條件的記錄了。
方法一:慮篩選字段(title)上加索引
title字段加索引 (此效率如何未加驗證)
方法二:先查詢出主鍵id值
select id,title from collect where id>=(select id from collect order by id limit 90000,1) limit 10;
原理:先查詢出90000條數據對應的主鍵id的值,然後直接通過該id的值直接查詢該id後面的數據。
方法三:“關延遲聯”
如果這個表非常大,那麼這個查詢可以改寫成如下的方式:
Select news.id, news.description from news inner join (select id from news order by title limit 50000,5) as myNew using(id);
這裏的“關延遲聯”將大大提升查詢的效率,它讓MySQL掃描儘可能少的頁面,獲取需要的記錄後再根據關聯列回原表查詢需要的所有列。這個技術也可以用在優化關聯查詢中的limit。
方法四:建立複合索引 acct_id和create_time
select * from acct_trans_log WHERE acct_id = 3095 order by create_time desc limit 0,10
日誌分析工具mysqldumpslow
在生產環境中,如果要手工分析日誌,查找、分析SQL,顯然是個體力活,MySQL提供了日誌分析工具mysqldumpslow
查看mysqldumpslow的幫助信息:
Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
Parse and summarize the MySQL slow query log. Options are
--verbose verbose
--help write this text to standard output
-v verbose
-s ORDER what to sort by (al, at, ar, c, l, r, t), 'at' is default
ar: average rows sent
c: count
r: rows sent
-r reverse the sort order (largest last instead of first)
-a don't abstract all numbers to N and strings to 'S'
-g PATTERN grep: only consider stmts that include this string
default is '*', i.e. match all
-l don't subtract lock time from total time
-s, 是表示按照何種方式排序,
c: 訪問計數
l: 鎖定時間
r: 返回記錄
t: 查詢時間
al:平均鎖定時間
ar:平均返回記錄數
at:平均查詢時間
-t, 是top n的意思,即爲返回前面多少條的數據;
-g, 後邊可以寫一個正則匹配模式,大小寫不敏感的;
比如:
得到返回記錄集最多的10個SQL。
mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log
得到訪問次數最多的10個SQL
mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log
得到按照時間排序的前10條裏面含有左連接的查詢語句
mysqldumpslow -s t -t 10 -g “left join” /database/mysql/mysql06_slow.log
另外建議在使用這些命令時結合 | 和more 使用 ,否則有可能出現刷屏的情況。
mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more
參考:
https://www.cnblogs.com/davidwang456/articles/9497584.html
https://www.cnblogs.com/dalongNOTES/p/10769837.html
END
《Java工程師面試突擊第三季》加餐部分大綱:(注:1-66講的大綱請掃描文末二維碼,在課程詳情頁獲取)
詳細的課程內容,大家可以掃描下方二維碼瞭解: