sql語句優化
性能不理想的系統中除了一部分是因爲應用程序的負載確實超過了服務器的實際處理能力外,更多的是因爲系統存在大量的SQL語句需要優化。
爲了獲得穩定的執行性能，SQL語句越簡單越好。對複雜的SQL語句，要設法對之進行簡化。
常見的簡化規則如下：
1）不要有超過5個以上的表連接（JOIN）
2）考慮使用臨時表或表變量存放中間結果。
3）少用子查詢
4）視圖嵌套不要過深,一般視圖嵌套不要超過2個爲宜。
連接的表越多，其編譯的時間和連接的開銷也越大，性能越不好控制。
最好是把連接拆開成較小的幾個部分逐個順序執行。
優先執行那些能夠大量減少結果的連接。
拆分的好處不僅僅是減少SQL Server優化的時間，更使得SQL語句能夠以你可以預測的方式和順序執行。
如果一定需要連接很多表才能得到數據，那麼很可能意味着設計上的缺陷。
連接是outer join，非常不好。因爲outer join意味着必須對左表或右表查詢所有行。
如果表很大而沒有相應的where語句，那麼outer join很容易導致table scan或index scan。
要儘量使用inner join避免scan整個表。
優化建議：
1）使用臨時表存放t1表的結果,能大大減少logical reads（或返回行數）的操作要優先執行。
仔細分析語句，你會發現where中的條件全是針對表t1的，所以直接使用上面的where子句查詢表t1，然後把結果存放再臨時表＃t1中：
Select t1….. into #tt1 from t1 where…(和上面的where一樣)
2）再把＃tt1和其他表進行連接:
Select #t1…
Left outer join …
Left outer join…
3）修改 like 程序，去掉前置百分號。like語句卻因爲前置百分號而無法使用索引
4）從系統設計的角度修改語句，去掉outer join。
5）考慮組合索引或覆蓋索引消除clustered index scan。
上面1和2點建議立即消除了worktable，性能提高了幾倍以上，效果非常明顯。
1）限制結果集
要儘量減少返回的結果行，包括行數和字段列數。
返回的結果越大，意味着相應的SQL語句的logical reads 就越大，對服務器的性能影響就越甚。
一個很不好的設計就是返回表的所有數據：
Select * from tablename
即使表很小也會導致併發問題。更壞的情況是，如果表有上百萬行的話，那後果將是災難性的。
它不但可能帶來極重的磁盤IO，更有可能把數據庫緩衝區中的其他緩存數據擠出，使得這些數據下次必須再從磁盤讀取。
必須設計良好的SQL語句，使得其有where語句或TOP語句來限制結果集大小。
2）合理的表設計
SQL Server 2005將支持表分區技術。利用表分區技術可以實現數據表的流動窗口功能。
在流動窗口中可以輕易的把歷史數據移出，把新的數據加入，從而使表的大小基本保持穩定。
另外，表的設計未必需要非常範式化。有一定的字段冗餘可以增加SQL語句的效率，減少JOIN的數目，提高語句的執行速度。
3）OLAP和OLTP模塊要分開
OLAP和OLTP類型的語句是截然不同的。前者往往需要掃描整個表做統計分析，索引對這樣的語句幾乎沒有多少用處。
索引只能夠加快那些如sum，group by之類的聚合運算。因爲這個原因，幾乎很難對OLAP類型的SQL語句進行優化。
而OLTP語句則只需要訪問表的很小一部分數據，而且這些數據往往可以從內存緩存中得到。
爲了避免OLAP 和OLTP語句相互影響，這兩類模塊需要分開運行在不同服務器上。
因爲OLAP語句幾乎都是讀取數據，沒有更新和寫入操作，所以一個好的經驗是配置一臺standby 服務器，然後OLAP只訪問standby服務器。
4）使用存儲過程
可以考慮使用存儲過程封裝那些複雜的SQL語句或商業邏輯，這樣做有幾個好處。
一是存儲過程的執行計劃可以被緩存在內存中較長時間，減少了重新編譯的時間。
二是存儲過程減少了客戶端和服務器的繁複交互。
三是如果程序發佈後需要做某些改變你可以直接修改存儲過程而不用修改程序，避免需要重新安裝部署程序。
索引優化
創建索引的關鍵
不言而喻，索引的最大好處是它可以極大減少SQL語句的logical reads數目，從而極大減少語句的執行時間。
創建索引的關鍵是索引要能夠大大減少語句的logical reads。一個索引好不好，主要看它減少的logical reads多不多。
set statistics io on
如果Logical reads很大，而返回的行數很少，也即兩者相差較大，那麼往往意味者語句需要優化。
Logical reads中包含該語句從內存數據緩衝區中訪問的頁數和從物理磁盤讀取的頁數。
而physical reads表示那些沒有駐留在內存緩衝區中需要從磁盤讀取的數據頁。
Read-ahead reads是SQL Server爲了提高性能而產生的預讀。預讀可能會多讀取一些數據。
優化的時候我們主要關注Logical Reads就可以了。
注意如果physical Reads或Read-ahead reads很大，那麼往往意味着語句的執行時間（duration）裏面會有一部分耗費在等待物理磁盤IO上。
二、單字段索引，組合索引和覆蓋索引
單字段索引是指只有一個字段的索引，而組合索引指有多個字段構成的索引。
1． 對出現在where子句中的字段加索引
set statistics profile on
set statistics profile命令將輸出語句的執行計劃。
也許你會問，爲什麼不用SET SHOWPLAN_ALL呢？使用SET SHOWPLAN_ALL也是可以的。
不過set statistics profile輸出的是SQL 語句的運行時候真正使用的執行計劃，
而SET SHOWPLAN_ALL輸出的是預計（Estimate）的執行計劃。
使用SET SHOWPLAN_ALL是後面的語句並不會真正運行。
用了Table Scan，也就是對整個表進行了全表掃描。全表掃描的性能通常是很差的，要儘量避免。
如果上面的select語句是數據庫系統經常運行的關鍵語句， 那麼應該對它創建相應的索引。
創建索引的技巧之一是對經常出現在where條件中的字段創建索引
Table Scan也變成了Index Seek，性能極大提高
設法避免Table scan或Index scan是優化SQL 語句使用的常用技巧。通常Index Seek需要的logical reads比前兩者要少得多。
2．組合索引
組合索引中字段的順序是非常重要的，越是唯一的字段越是要靠前。
另外，無論是組合索引還是單個列的索引，儘量不要選擇那些唯一性很低的字段。
比如說，在只有兩個值0和1的字段上建立索引沒有多大意義。
所以如果對單字段進行索引，建議使用set statistics profile來驗證索引確實被充分使用。logical reads越少的索引越好。
3．覆蓋索引
覆蓋索引能夠使得語句不需要訪問表僅僅訪問索引就能夠得到所有需要的數據。
因爲聚集索引葉子節點就是數據所以無所謂覆蓋與否，所以覆蓋索引主要是針對非聚集索引而言。
執行計劃中除了index seek外，還有一個Bookmark Lookup關鍵字。
也就是說爲得到一行數據起碼有兩次IO，一次訪問索引，一次訪問基本表。
如果語句返回的行數很多，那麼Bookmark Lookup操作的開銷是很大的。
覆蓋索引能夠避免昂貴的Bookmark Lookup操作，減少IO的次數，提高語句的性能。
覆蓋索引需要包含select子句和WHERE子句中出現的所有字段。Where語句中的字段在前面，select中的在後面。
logical reads，是大大減少了。Bookmark Lookup操作也消失了。所以創建覆蓋索引是減少logical reads提升語句性能的非常有用的優化技巧。
實際上索引的創建原則是比較複雜的。有時候你無法在索引中包含了Where子句中所有的字段。
在考慮索引是否應該包含一個字段時，應考慮該字段在語句中的作用。
比如說如果經常以某個字段作爲where條件作精確匹配返回很少的行，那麼就絕對值得爲這個字段建立索引。
再比如說，對那些非常唯一的字段如主鍵和外鍵，經常出現在group by，order by中的字段等等都值得創建索引。
問題1，是否值得在identity字段上建立聚集索引。
答案取決於identity 字段如何在語句中使用。如果你經常根據該字段搜索返回很少的行，那麼在其上建立索引是值得的。
反之如果identity字段根本很少在語句中使用，那麼就不應該對其建立任何索引。
如果表的80％以上的語句都是讀操作，那麼索引可以多些。但是不要太多。
特別是不要對那些更新頻繁的表其建立很多的索引。很少表有超過5個以上的索引。
過多的索引不但增加其佔用的磁盤空間，也增加了SQL Server 維護索引的開銷。
一種原因是該語句返回的結果超過了表的20％數據，使得SQL Server 認爲scan比seek更有效。
你可以使用命令UPDATE STATISTICS tablename with FULLSCAN來更新它。
只有同步的準確的statistics才能保證SQL Server 產生正確的執行計劃。
過時的老的statistics常會導致SQL Server生成不夠優化的甚至愚蠢的執行計劃。
所以如果你的表頻繁更新，而你又覺得和之相關的SQL語句運行緩慢，不妨試試UPDATE STATISTIC with FULLSCAN 語句。
問題5、什麼使用聚集索引，什麼時候使用非聚集索引
《 數據庫技術內幕 》
處理百萬級以上的數據提高查詢速度的方法：
1.應儘量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。
2.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。
3.應儘量避免在 where 子句中對字段進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num is null
可以在num上設置默認值0，確保表中num列沒有null值，然後這樣查詢：
select id from t where num=0
4.應儘量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num=10 or num=20
可以這樣查詢：
select id from t where num=10
union all
select id from t where num=20
5.下面的查詢也將導致全表掃描：(不能前置百分號)
select id from t where name like ‘%abc%’
若要提高效率，可以考慮全文檢索。
6.in 和 not in 也要慎用，否則會導致全表掃描，如：
select id from t where num in(1,2,3)
對於連續的數值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
select '13891030091' phone union select '13992085916' ………… UNION SELECT '13619100234' ) b
on a.Phone=b.phone
--替代下面 很多數據隔開的時候
in('13891030091','13992085916','13619100234'…………)
7.如果在 where 子句中使用參數，也會導致全表掃描。因爲SQL只有在運行時纔會解析局部變量，但優化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進行選擇。然 而，如果在編譯時建立訪問計劃，變量的值還是未知的，因而無法作爲索引選擇的輸入項。如下面語句將進行全表掃描：
select id from t where num=@num 可以改爲強制查詢使用索引：
select id from t with(index(索引名)) where num=@num
8.應儘量避免在 where 子句中對字段進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where num/2=100
應改爲:
select id from t where num=100*2
9.應儘量避免在where子句中對字段進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where substring(name,1,3)=’abc’–name以abc開頭的id
select id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id
應改爲:
select id from t where name like ‘abc%’
select id from t where createdate>=’2005-11-30′ and createdate<’2005-12-1′
10.不要在 where 子句中的“=”左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用索引。
11.在使用索引字段作爲條件時，如果該索引是複合索引，那麼必須使用到該索引中的第一個字段作爲條件時才能保證系統使用該索引，否則該索引將不會被使 用，並且應儘可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢，如需要生成一個空表結構：
select col1,col2 into #t from t where 1=0
這類代碼不會返回任何結果集，但是會消耗系統資源的，應改成這樣：
create table #t(…)
13.很多時候用 exists 代替 in 是一個好的選擇：
select num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
14.並不是所有索引對查詢都有效，SQL是根據表中數據來進行查詢優化的，當索引列有大量數據重複時，SQL查詢可能不會去利用索引，如一表中有字段 sex，male、female幾乎各一半，那麼即使在sex上建了索引也對查詢效率起不了作用。
15.索引並不是越多越好，索引固然可以提高相應的 select 的效率，但同時也降低了 insert 及 update 的效率，因爲 insert 或 update 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個表的索引數最好不要超過6個，若太多則應考慮一些不常使用到的列上建的索引是否有 必要。
16.應儘可能的避免更新 clustered 索引數據列，因爲 clustered 索引數據列的順序就是表記錄的物理存儲順序，一旦該列值改變將導致整個表記錄的順序的調整，會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列，那麼需要考慮是否應將該索引建爲 clustered 索引。
17.儘量使用數字型字段，若只含數值信息的字段儘量不要設計爲字符型，這會降低查詢和連接的性能，並會增加存儲開銷。這是因爲引擎在處理查詢和連接時會 逐個比較字符串中每一個字符，而對於數字型而言只需要比較一次就夠了。
18.儘可能的使用 varchar/nvarchar 代替 char/nchar ，因爲首先變長字段存儲空間小，可以節省存儲空間，其次對於查詢來說，在一個相對較小的字段內搜索效率顯然要高些。
19.任何地方都不要使用 select * from t ，用具體的字段列表代替“*”，不要返回用不到的任何字段。
20.儘量使用表變量來代替臨時表。如果表變量包含大量數據，請注意索引非常有限（只有主鍵索引）。
21.避免頻繁創建和刪除臨時表，以減少系統表資源的消耗。
22.臨時表並不是不可使用，適當地使用它們可以使某些例程更有效，例如，當需要重複引用大型表或常用表中的某個數據集時。但是，對於一次性事件，最好使 用導出表。
23.在新建臨時表時，如果一次性插入數據量很大，那麼可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數據量不大，爲了緩和系統表的資源，應先create table，然後insert。
24.如果使用到了臨時表，在存儲過程的最後務必將所有的臨時表顯式刪除，先 truncate table ，然後 drop table ，這樣可以避免系統表的較長時間鎖定。
25.儘量避免使用遊標，因爲遊標的效率較差，如果遊標操作的數據超過1萬行，那麼就應該考慮改寫。
26.使用基於遊標的方法或臨時表方法之前，應先尋找基於集的解決方案來解決問題，基於集的方法通常更有效。
27.與臨時表一樣，遊標並不是不可使用。對小型數據集使用 FAST_FORWARD 遊標通常要優於其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需的數據時。在結果集中包括“合計”的例程通常要比使用遊標執行的速度快。如果開發時 間允許，基於遊標的方法和基於集的方法都可以嘗試一下，看哪一種方法的效果更好。
28.在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ，在結束時設置 SET NOCOUNT OFF 。無需在執行存儲過程和觸發器的每個語句後向客戶端發送 DONE_IN_PROC 消息。
29.儘量避免向客戶端返回大數據量，若數據量過大，應該考慮相應需求是否合理。
30.儘量避免大事務操作，提高系統併發能力。
查詢速度慢的原因：
1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題，是程序設計的缺陷)
2、I/O吞吐量小，形成了瓶頸效應。
3、沒有創建計算列導致查詢不優化。
4、內存不足
5、網絡速度慢
6、查詢出的數據量過大（可以採用多次查詢，其他的方法降低數據量）
7、鎖或者死鎖(這也是查詢慢最常見的問題，是程序設計的缺陷)
8、sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。
9、返回了不必要的行和列
10、查詢語句不好，沒有優化
可以通過如下方法來優化查詢
1、把數據、日誌、索引放到不同的I/O設備上，增加讀取速度，以前可以將Tempdb應放在RAID0上，SQL2000不在支持。數據量（尺寸）越大，提高I/O越重要.
2、縱向、橫向分割表，減少表的尺寸(sp_spaceuse)
3、升級硬件
4、根據查詢條件,建立索引,優化索引、優化訪問方式，限制結果集的數據量。注意填充因子要適當（最好是使用默認值0）。索引應該儘量小，使用字節數小的列建索引好（參照索引的創建）,不要對有限的幾個值的字段建單一索引如性別字段
5、提高網速;
6、擴大服務器的內存,Windows 2000和SQL server 2000能支持4-8G的內存。配置虛擬內存：虛擬內存大小應基於計算機上併發運行的服務進行配置。運行 Microsoft SQL Server? 2000 時，可考慮將虛擬內存大小設置爲計算機中安裝的物理內存的 1.5 倍。如果另外安裝了全文檢索功能，並打算運行 Microsoft 搜索服務以便執行全文索引和查詢，可考慮：將虛擬內存大小配置爲至少是計算機中安裝的物理內存的 3 倍。將 SQL Server max server memory 服務器配置選項配置爲物理內存的 1.5 倍（虛擬內存大小設置的一半）。
7、增加服務器CPU個數;但是必須明白並行處理串行處理更需要資源例如內存。使用並行還是串行程是MsSQL自動評估選擇的。單個任務分解成多個任務，就可以在處理器上運行。例如耽擱查詢的排序、連接、掃描和GROUP BY字句同時執行，SQL SERVER根據系統的負載情況決定最優的並行等級，複雜的需要消耗大量的CPU的查詢最適合並行處理。但是更新操作UPDATE,INSERT， DELETE還不能並行處理。
8、如果是使用like進行查詢的話，簡單的使用index是不行的，但是全文索引，耗空間。 like 'a%' 使用索引 like '%a' 不使用索引用 like '%a%' 查詢時，查詢耗時和字段值總長度成正比,所以不能用CHAR類型，而是VARCHAR。對於字段的值很長的建全文索引。
9、DB Server 和APPLication Server 分離；OLTP和OLAP分離
10、分佈式分區視圖可用於實現數據庫服務器聯合體。聯合體是一組分開管理的服務器，但它們相互協作分擔系統的處理負荷。這種通過分區數據形成數據庫服務器聯合體的機制能夠擴大一組服務器，以支持大型的多層 Web 站點的處理需要。有關更多信息，參見設計聯合數據庫服務器。（參照SQL幫助文件'分區視圖'）
a、在實現分區視圖之前，必須先水平分區表
b、在創建成員表後，在每個成員服務器上定義一個分佈式分區視圖，並且每個視圖具有相同的名稱。這樣，引用分佈式分區視圖名的查詢可以在任何一個成員服務器上運行。系統操作如同每個成員服務器上都有一個原始表的複本一樣，但其實每個服務器上只有一個成員表和一個分佈式分區視圖。數據的位置對應用程序是透明的。
11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數據和日誌 DBCC SHRINKDB,DBCC SHRINKFILE. 設置自動收縮日誌.對於大的數據庫不要設置數據庫自動增長，它會降低服務器的性能。 在T-sql的寫法上有很大的講究，下面列出常見的要點：首先，DBMS處理查詢計劃的過程是這樣的：
1、 查詢語句的詞法、語法檢查
2、 將語句提交給DBMS的查詢優化器
3、 優化器做代數優化和存取路徑的優化
4、 由預編譯模塊生成查詢規劃
5、 然後在合適的時間提交給系統處理執行
6、 最後將執行結果返回給用戶其次，看一下SQL SERVER的數據存放的結構：一個頁面的大小爲8K(8060)字節，8個頁面爲一個盤區，按照B樹存放。
12、Commit和rollback的區別 Rollback:回滾所有的事物。 Commit:提交當前的事物. 沒有必要在動態SQL裏寫事物，如果要寫請寫在外面如： begin tran exec(@s) commit trans 或者將動態SQL 寫成函數或者存儲過程。
13、在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的數據，浪費了服務器的I/O資源，加重了網絡的負擔降低性能。如果表很大，在表掃描的期間將表鎖住，禁止其他的聯接訪問表,後果嚴重。
14、SQL的註釋申明對執行沒有任何影響
15、儘可能不使用遊標，它佔用大量的資源。如果需要row-by-row地執行，儘量採用非光標技術,如：在客戶端循環，用臨時表，Table變量，用子查詢，用Case語句等等。遊標可以按照它所支持的提取選項進行分類： 只進 必須按照從第一行到最後一行的順序提取行。FETCH NEXT 是唯一允許的提取操作,也是默認方式。可滾動性 可以在遊標中任何地方隨機提取任意行。遊標的技術在SQL2000下變得功能很強大，他的目的是支持循環。
有四個併發選項
READ_ONLY：不允許通過遊標定位更新(Update)，且在組成結果集的行中沒有鎖。
OPTIMISTIC WITH valueS:樂觀併發控制是事務控制理論的一個標準部分。樂觀併發控制用於這樣的情形，即在打開遊標及更新行的間隔中，只有很小的機會讓第二個用戶更新某一行。當某個遊標以此選項打開時，沒有鎖控制其中的行，這將有助於最大化其處理能力。如果用戶試圖修改某一行，則此行的當前值會與最後一次提取此行時獲取的值進行比較。如果任何值發生改變，則服務器就會知道其他人已更新了此行，並會返回一個錯誤。如果值是一樣的，服務器就執行修改。 選擇這個併發選項