MySQL中SQL優化和架構設計

普通MySQL運行,數據量和訪問量不大的話,是足夠快的,但是當數據量和訪問量劇增的時候,那麼就會明顯發現MySQL很慢,甚至down掉,那麼就要考慮優化我們的MySQL了。

優化無非是從三個角度入手:
第一個是從硬件,增加硬件,增加服務器
第二個就是對我們的MySQL服務器進行優化,增加緩存大小,開多端口,讀寫分開
第三個就是我們的應用優化,建立索引,優化SQL查詢語句,建立緩存等等

我就簡單的說說SQL查詢語句的優化。因爲如果我們Web服務器比數據庫服務器多或者性能優良的話,我們完全可以把數據庫的壓力轉嫁到Web服務器上,因爲如果單臺MySQL,或者 Master/Slave 架構的數據庫服務器都負擔比較重,那麼就可以考慮把MySQL的運算放到Web服務器上去進行。當然了,如果你Web服務器比數據庫服務器差,那就把壓力放在數據庫服務器上吧,呵呵。

如果是把MySQL服務器的壓力放在Web服務器上,那麼很多運算就需要我們的程序去執行,比如Web程序中全部交給PHP腳本去處理數據。單臺MySQL服務器,查詢、更新、插入、刪除都在一臺服務器上的話,訪問量一大,你會明顯發現鎖表現象,當對一個表進行更新刪除操作的時候,就會拒絕其他操作,這樣就會導致鎖表,解決這個問題最簡單直接的辦法就是拿兩臺MySQL服務器,一臺負責查詢(select)操作,另外一臺負責更改(update/delete/insert),然後進行同步,這樣能夠避免鎖表,如果服務器更多,那麼就更好處理了,可以採用分佈式數據庫架構和數據的散列存儲,下面我們會簡單說一下。

一、SQL的優化和注意事項
現在我們假設我們只有一臺MySQL服務器,所有的select/update/insert/delete操作都是在這上面進行的,我們同時有三臺Web服務器,通過DNS輪巡來訪問,那麼我們如何進行我們應用程序和SQL的優化。

  1. Where條件
    在查詢中,WHERE條件也是一個比較重要的因素,儘量少並且是合理的where條件是很重要的,在寫每一個where條件的時候都要仔細考慮,儘量在多個條件的時候,把會提取儘量少數據量的條件放在前面,這樣就會減少後一個where條件的查詢時間。
    有時候一些where條件會導致索引無效,當使用了Mysql函數的時候,索引將無效,比如:select * from tbl1 where left(name, 4) = ‘hylr’,那麼這時候索引無效,還有就是使用LIKE進行搜索匹配的時候,這樣的語句索引是無效的:select * from tbl1 where name like ‘%xxx%’,但是這樣索引是有效的:select * from tbl1 where name like ‘xxx%’,所以謹慎的寫你的SQL是很重要的。

  2. 關聯查詢和子查詢
    數據庫一個很重要的特點是關聯查詢,LEFT JOIN 和全關聯,特別是多個表進行關聯,因爲每個關聯表查詢的時候,進行掃描的時候都是一個笛卡爾乘積的數量級,掃描數量很大,如果確實是需要進行關聯操作,請給where或者on的條件進行索引。
    關聯操作也是可能交給應用去操作的,看數據量的大小,如果數據量不是非常大,比如10萬條以下,那麼就可以交給程序去處理(totododo提出筆誤,特此修正),程序分別提取左右兩個表的數據,然後進行循環的掃描處理,返回結果,這個過程同樣非常耗費Web服務器的資源,那麼就需要取決於你願意把壓力放在Web服務器上或者數據庫服務器上了。
    子查詢是在mysql5中支持的功能,比如:select * from tbl1 where id in(select id from tbl1),那樣效率是非常非常低,要儘量避免使用子查詢,要是我,絕對不用,呵呵。

  3. 一些耗費時間和資源的操作
    SQL語句中一些浪費的操作,比如 DISTINCT、COUNT、GROUP BY、各種MySQL函數。這些操作都是比較耗資源的,我想應用最多的是count字句吧,如果使用count,儘量不要count(*),最好count一個字段,比如count(id),或者count(1),(據totododo測試效率其實是一樣的),同樣能夠起到統計的作用。如果不是十分必要,儘量不要使用distinct操作,就是提取唯一值,你完全可以把這個操作交給腳本程序去執行提取唯一值,減少MySQL的負擔。group by 操作也是,確實需要分組的話,請謹慎的操作,如果是小批量的數據,可以考慮交給腳本程序去做。
    至於MySQL的函數,估計很多常用,比如有人喜歡把截取字符串也交給MySQL去操作,或者時間轉換操作,使用比較多的函數像 SUBSTR(), CONCAT(), DATE_FORMAT(), TO_DAYS(), MAX(), MIN(), MD5() 等等,這些操作完全可以交給腳本程序去做,減輕MySQL的負擔。

  4. 合理的建立索引
    索引的提升速度的一個非常重要的手段,索引在對一些經常進行select操作,並且值比較唯一的字段是相當有效的,比如主鍵的id字段,唯一的名字name字段等等。
    但是索引對於唯一值比較少的字段,比如性別gender字段,寥寥無幾的類別字段等,意義不大,因爲性別是50%的機率,索引幾乎沒有意義。對於update/delete/insert非常頻繁的表,建立索引要慎重考慮,因爲這些頻繁的操作同樣對於索引的維護工作量也是很大的,最後反而得不償失,這個需要自己仔細考慮。索引同樣不是越多越好,適當的索引會起到很關鍵的作用,不適當的索引,反而減低效率維護,增加維護索引的負擔。

  5. 監控sql執行效率
    在select語句前面使用EXPLAIN字句能夠查看當前這個select字句的執行情況,包括使用了什麼操作、返回多少機率、對索引的使用情況如何等等,能夠有效分析SQL語句的執行效率和合理程度。
    另外使用MySQL中本身的慢查詢日誌:slow-log,同樣能夠記錄查詢中花費時間比較多的SQL語句,好對相應的語句進行優化和改寫。
    另外在MySQL終端下,使用show processlist命令能夠有效的查看當前MySQL在進行的線程,包括線程的狀態,是否鎖表等等,可以實時的查看SQL執行情況,同時對一些鎖表操作進行優化。

二、數據庫服務器的架構和分佈想法
對於服務器的架構設計,這個其實是比較重要的,一個合理的設計,能夠讓應用更好的運行。當然,架構的設計,取決於你的應用和你硬件的實際情況。我就簡單的說說幾種不同的數據庫架構設計方式,權當是一個個人的想法,希望能夠有幫助。

  1. 單臺服務器開多進程和端口
    單臺MySQL服務器,如果使用長鏈接等等都無法解決負載太大,連接太多的問題,不凡考慮採用一臺MySQL上使用多個端口開啓多個MySQL守護進程的方法來緩解壓力。當然,前提是你的應用必須支持多端口,並且你的cpu和內存足夠運行多個守護進程。
    優點 是能夠很好的緩解暫時服務器的壓力,把不同的操作放在不同的端口,或者把不同的項目模塊放在不同的端口去操作,良好的分擔單個守護進程的壓力。
    缺點 是數據可能會產生紊亂,同時可能會導致很多未知的莫名錯誤。呵呵

  2. 使用Master/Slave的服務器結構
    Mysql本身具有同步功能,完全可以利用這個功能。構建 Master/Slave 的主從服務器結構,最少只需要兩臺MySQL服務器,我們可以把 Master 服務器用戶更新操作,包括 update/delete/insert,把Slave服務器用於查詢操作,包括 select 操作,然後兩機進行同步。
    優點 是合理的把更新和查詢的壓力分擔,並且能夠避免鎖表的問題。
    缺點 是更新部實時,如果網絡繁忙,可能會存在延遲的問題,並且任何一臺服務器down掉了都很麻煩。

  3. 使用分佈式的散列存儲
    這種結構適合大數據量,並且負載比較大,然後服務器比較充足的情況。分佈式存儲結構,簡單的可以是多臺服務器,每臺服務器功能是類似的,但是存儲的數據不一樣,比如做一個用戶系統,那麼把用戶ID在1-10萬以內的存儲在A服務器,用戶ID在10-20萬存儲在B服務器,20-3-萬存儲在C服務器,以此類推。如果每個用戶訪問的服務器不足,可以構建組服務器,就是每組用戶擁有多臺服務器,比如可以在某用戶組建立兩臺MySQL服務器,一臺Master,一臺Slave,同樣分離他們的更新和查詢操作,或者可以設計成雙向同步。同時,你的應用程序必須支持跨數據庫和跨服務器的操作能力。
    優點 是服務器的負載合理的被平攤,每臺服務器都是負責一部分用戶,如果一臺服務器down掉了,不會影響其他用戶ID的用戶正常訪問。同時添加節點比較容易,如果又增加了10萬用戶,那麼又可以增加一個節點服務器,升級很方便。
    缺點 是任何一臺數據庫服務器down掉或者數據丟失,那麼這部分服務器的用戶將很鬱悶,數據都沒了,當然,這個需要良好的備份機制。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章