MYSQ海量數據優化

MySQL海量數據查詢優化策略

1.對查詢進行優化,應儘量避免全表掃描,首先應考慮在 where 及 order by 涉及的列上建立索引。


2.應儘量避免在 where 子句中對字段進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃描,如:

  select id from t where num is null

  可以在num上設置默認值0,確保表中num列沒有null值,然後這樣查詢:

  select id from t where num=0


3.應儘量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。


4.應儘量避免在 where 子句中使用 or 來連接條件,否則將導致引擎放棄使用索引而進行全表掃描,如:

  select id from t where num=10 or num=20

  可以這樣查詢:

  select id from t where num=10

  union all

  select id from t where num=20


5.in 和 not in 也要慎用,否則會導致全表掃描,如:

  select id from t where num in(1,2,3)

  對於連續的數值,能用 between 就不要用 in 了:

  select id from t where num between 1 and 3


6.下面的查詢也將導致全表掃描:

  select id from t where name like '%abc%'

  若要提高效率,可以考慮全文檢索。


7.如果在 where 子句中使用參數,也會導致全表掃描。因爲SQL只有在運行時纔會解析局部變量,但優化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進行選擇。然而,如果在編譯時建立訪問計劃,變量的值還是未知的,因而無法作爲索引選擇的輸入項。如下面語句將進行全表掃描:

  select id from t where num=@num

  可以改爲強制查詢使用索引:

  select id from t with(index(索引名)) where num=@num


8.應儘量避免在 where 子句中對字段進行表達式操作,這將導致引擎放棄使用索引而進行全表掃描。如:

  select id from t where num/2=100

  應改爲:

  select id from t where num=100*2


9.應儘量避免在where子句中對字段進行函數操作,這將導致引擎放棄使用索引而進行全表掃描。如:

  select id from t where substring(name,1,3)='abc'--name以abc開頭的id

  select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id

  應改爲:

  select id from t where name like 'abc%'

  select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'


10.不要在 where 子句中的“=”左邊進行函數、算術運算或其他表達式運算,否則系統將可能無法正確使用索引。


11.在使用索引字段作爲條件時,如果該索引是複合索引,那麼必須使用到該索引中的第一個字段作爲條件時才能保證系統使用該索引,否則該索引將不會被使用,並且應儘可能的讓字段順序與索引順序相一致。


12.不要寫一些沒有意義的查詢,如需要生成一個空表結構:

  select col1,col2 into #t from t where 1=0

  這類代碼不會返回任何結果集,但是會消耗系統資源的,應改成這樣:

  create table #t(...)


13.很多時候用 exists 代替 in 是一個好的選擇:

  select num from a where num in(select num from b)

  用下面的語句替換:

  select num from a where exists(select 1 from b where num=a.num)


14.並不是所有索引對查詢都有效,SQL是根據表中數據來進行查詢優化的,當索引列有大量數據重複時,SQL查詢可能不會去利用索引,如一表中有字段sex,male、female幾乎各一半,那麼即使在sex上建了索引也對查詢效

率起不了作用。


15.索引並不是越多越好,索引固然可以提高相應的 select 的效率,但同時也降低了 insert 及 update 的效率,因爲 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個表的索引數最好不要超過6個,若太多則應考慮一些不常使用到的列上建的索引是否有必要。


16.應儘可能的避免更新 clustered 索引數據列,因爲 clustered 索引數據列的順序就是表記錄的物理存儲順序,一旦該列值改變將導致整個表記錄的順序的調整,會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列,那麼需要考慮是否應將該索引建爲 clustered 索引。


17.儘量使用數字型字段,若只含數值信息的字段儘量不要設計爲字符型,這會降低查詢和連接的性能,並會增加存儲開銷。這是因爲引擎在處理查詢和連接時會逐個比較字符串中每一個字符,而對於數字型而言只需要比較一次就夠了。


18.儘可能的使用 varchar/nvarchar 代替 char/nchar ,因爲首先變長字段存儲空間小,可以節省存儲空間,其次對於查詢來說,在一個相對較小的字段內搜索效率顯然要高些。


19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。


20.儘量使用表變量來代替臨時表。如果表變量包含大量數據,請注意索引非常有限(只有主鍵索引)。


21.避免頻繁創建和刪除臨時表,以減少系統表資源的消耗。


22.臨時表並不是不可使用,適當地使用它們可以使某些例程更有效,例如,當需要重複引用大型表或常用表中的某個數據集時。但是,對於一次性事件,最好使用導出表。


23.在新建臨時表時,如果一次性插入數據量很大,那麼可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數據量不大,爲了緩和系統表的資源,應先create table,然後insert。


24.如果使用到了臨時表,在存儲過程的最後務必將所有的臨時表顯式刪除,先 truncate table ,然後 drop table ,這樣可以避免系統表的較長時間鎖定。


25.儘量避免使用遊標,因爲遊標的效率較差,如果遊標操作的數據超過1萬行,那麼就應該考慮改寫。


26.使用基於遊標的方法或臨時表方法之前,應先尋找基於集的解決方案來解決問題,基於集的方法通常更有效。


27.與臨時表一樣,遊標並不是不可使用。對小型數據集使用 FAST_FORWARD 遊標通常要優於其他逐行處理方法,尤其是在必須引用幾個表才能獲得所需的數據時。在結果集中包括“合計”的例程通常要比使用遊標執行的速度快。如果開發時間允許,基於遊標的方法和基於集的方法都可以嘗試一下,看哪一種方法的效果更好。


28.在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF 。無需在執行存儲過程和觸發器的每個語句後向客戶端發送 DONE_IN_PROC 消息。


29.儘量避免大事務操作,提高系統併發能力。


30.儘量避免向客戶端返回大數據量,若數據量過大,應該考慮相應需求是否合理。


> sql優化方法


1、使用索引來更快地遍歷表。

  缺省情況下建立的索引是非羣集索引,但有時它並不是最佳的。在非羣集索引下,數據在物理上隨機存放在數據頁上。         合理的索引設計要建立在對各種查詢的分析和預測上。一般來說:

  a.有大量重複值、且經常有範圍查詢( > ,< ,> =,< =)和order by、group by發生的列,可考慮建立羣集索引;

  b.經常同時存取多列,且每列都含有重複值可考慮建立組合索引;

  c.組合索引要儘量使關鍵查詢形成索引覆蓋,其前導列一定是使用最頻繁的列。索引雖有助於提高性能但不是索引越多       越好,恰好相反過多的索引會導致系統低效。用戶在表中每加進一個索引,維護索引集合就要做相應的更新工作。


2、在海量查詢時儘量少用格式轉換。


3、ORDER BY和GROPU BY:使用ORDER BY和GROUP BY短語,任何一種索引都有助於SELECT的性能提高。


4、任何對列的操作都將導致表掃描,它包括數據庫教程函數、計算表達式等等,查詢時要儘可能將操作移至等號右邊。


5、IN、OR子句常會使用工作表,使索引失效。如果不產生大量重複值,可以考慮把子句拆開。拆開的子句中應該包含索引。


6、只要能滿足你的需求,應儘可能使用更小的數據類型:例如使用MEDIUMINT代替INT


7、儘量把所有的列設置爲NOT NULL,如果你要保存NULL,手動去設置它,而不是把它設爲默認值。


8、儘量少用VARCHAR、TEXT、BLOB類型


9、如果你的數據只有你所知的少量的幾個。最好使用ENUM類型


10、正如graymice所講的那樣,建立索引。


發佈了20 篇原創文章 · 獲贊 3 · 訪問量 8萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章