SQL優化

要提高SQL查詢效率where語句條件的先後次序應如何寫

http://blog.csdn.net/sforiz/article/details/5345359

 

我們要做到不但會寫SQL，還要做到寫出性能優良的SQL語句。


（1）選擇最有效率的表名順序(只在基於規則的優化器中有效)： 

Oracle的解析器按照從右到左的順序處理FROM子句中的表名，FROM子句中寫在最後的表(基礎表 driving table)將被最先處理，在FROM子句中包含多個表的情況下,你必須選擇記錄條數最少的表作爲基礎表。如果有3個以上的表連接查詢, 那就需要選擇交叉表(intersection table)作爲基礎表, 交叉表是指那個被其他表所引用的表。

（2）WHERE子句中的連接順序： 

Oracle採用自下而上的順序解析WHERE子句,根據這個原理,表之間的連接必須寫在其他WHERE條件之前, 那些可以過濾掉最大數量記錄的條件必須寫在WHERE子句的末尾。 中.國.站長站

（3）SELECT子句中避免使用‘*’：

Oracle在解析的過程中, 會將‘*’依次轉換成所有的列名, 這個工作是通過查詢數據字典完成的, 這意味着將耗費更多的時間。

（4）減少訪問數據庫的次數：

Oracle在內部執行了許多工作: 解析SQL語句, 估算索引的利用率, 綁定變量 , 讀數據塊等。

（5）在SQL*Plus , SQL*Forms和Pro*C中重新設置ARRAYSIZE參數, 可以增加每次數據庫訪問的檢索數據量 ,建議值爲200。


（6）使用DECODE函數來減少處理時間： 

使用DECODE函數可以避免重複掃描相同記錄或重複連接相同的表。 

（7）整合簡單,無關聯的數據庫訪問：


如果你有幾個簡單的數據庫查詢語句,你可以把它們整合到一個查詢中(即使它們之間沒有關係)。


（8）刪除重複記錄： 

最高效的刪除重複記錄方法 ( 因爲使用了ROWID)例子： 
DELETE FROM EMP E WHERE E.ROWID > (SELECT MIN(X.ROWID) FROM EMP X WHERE X.EMP_NO = E.EMP_NO);

（9）用TRUNCATE替代DELETE： 

當刪除表中的記錄時,在通常情況下, 回滾段(rollback segments ) 用來存放可以被恢復的信息. 如果你沒有COMMIT事務,ORACLE會將數據恢復到刪除之前的狀態(準確地說是恢復到執行刪除命令之前的狀況) 而當運用TRUNCATE時, 回滾段不再存放任何可被恢復的信息。當命令運行後,數據不能被恢復.因此很少的資源被調用,執行時間也會很短。（TRUNCATE只在刪除全表適 用,TRUNCATE是DDL不是DML）。 Chinaz_com

（10）儘量多使用COMMIT：

只要有可能，在程序中儘量多使用COMMIT, 這樣程序的性能得到提高,需求也會因爲COMMIT所釋放的資源而減少，COMMIT所釋放的資源:

a. 回滾段上用於恢復數據的信息。

b. 被程序語句獲得的鎖。

c. redo log buffer 中的空間。 Chinaz@com

d. Oracle爲管理上述3種資源中的內部花費。


（11）用Where子句替換HAVING子句： 

避免使用HAVING子句，HAVING 只會在檢索出所有記錄之後纔對結果集進行過濾。這個處理需要排序,總計等操作。如果能通過WHERE子句限制記錄的數目，那就能減少這方面的開銷。(非 oracle中)on、where、having這三個都可以加條件的子句中，on是最先執行，where次之，having最後，因爲on是先把不符合 條件的記錄過濾後才進行統計，它就可以減少中間運算要處理的數據，按理說應該速度是最快的，where也應該比having快點的，因爲它過濾數據後才進 行sum，在兩個表聯接時才用on的，所以在一個表的時候，就剩下where跟having比較了。在這單表查詢統計的情況下，如果要過濾的條件沒有涉及 到要計算字段，那它們的結果是一樣的，只是where可以使用rushmore技術，而having就不能，在速度上後者要慢如果要涉及到計算的字段，就 表示在沒計算之前，這個字段的值是不確定的，根據上篇寫的工作流程，where的作用時間是在計算之前就完成的，而having就是在計算後才起作用的， 所以在這種情況下，兩者的結果會不同。在多表聯接查詢時，on比where更早起作用。系統首先根據各個表之間的聯接條件，把多個表合成一個臨時表後，再 由where進行過濾，然後再計算，計算完後再由having進行過濾。由此可見，要想過濾條件起到正確的作用，首先要明白這個條件應該在什麼時候起作 用，然後再決定放在那裏。

（12）減少對錶的查詢： 
在含有子查詢的SQL語句中,要特別注意減少對錶的查詢。例子： Chinaz

SELECT TAB_NAME FROM TABLES WHERE (TAB_NAME,DB_VER) = ( SELECTTAB_NAME,DB_VER FROM TAB_COLUMNS WHERE VERSION = 604)

（13）通過內部函數提高SQL效率：

複雜的SQL往往犧牲了執行效率。能夠掌握上面的運用函數解決問題的方法在實際工作中是非常有意義的。 

（14）使用表的別名(Alias)： 
當在SQL語句中連接多個表時, 請使用表的別名並把別名前綴於每個Column上。這樣一來,就可以減少解析的時間並減少那些由Column歧義引起的語法錯誤。 Chinaz_com

（15）用EXISTS替代IN、用NOT EXISTS替代NOT IN：


在許多基於基礎表的查詢中，爲了滿足一個條件,往往需要對另一個表進行聯接。在這種情況下，使用EXISTS(或NOT EXISTS)通常將提高查詢的效率。在子查詢中，NOT IN子句將執行一個內部的排序和合並。無論在哪種情況下，NOT IN都是最低效的 (因爲它對子查詢中的表執行了一個全表遍歷)。爲了避免使用NOT IN ，我們可以把它改寫成外連接(Outer Joins)或NOT EXISTS。


例子： 
（高效）SELECT * FROM EMP (基礎表) WHERE EMPNO > 0 AND EXISTS (SELECT ‘X' FROM DEPT WHERE DEPT.DEPTNO = EMP.DEPTNO AND LOC = ‘MELB')(低效)SELECT * FROM EMP (基礎表) WHERE EMPNO > 0 AND DEPTNO IN(SELECT DEPTNO FROM DEPT WHERE LOC = ‘MELB')

（16）識別‘低效執行’的SQL語句：

雖然目前各種關於SQL優化的圖形化工具層出不窮,但是寫出自己的SQL工具來解決問題始終是一個最好的方法： 

SELECT EXECUTIONS , DISK_READS, BUFFER_GETS, ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio, ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run, SQL_TEXT FROM V$SQLAREA WHERE EXECUTIONS>0 AND BUFFER_GETS > 0 AND (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8 ORDER BY 4 DESC;

索引是表的一個概念部分，用來提高檢索數據的效率，Oracle使用了一個複雜的自平衡B-tree結構。通常,通過索引查詢數據比全表掃描要快。當 Oracle找出執行查詢和Update語句的最佳路徑時, Oracle優化器將使用索引。同樣在聯結多個表時使用索引也可以提高效率。另一個使用索引的好處是,它提供了主鍵(primary key)的唯一性驗證。那些LONG或LONG RAW數據類型, 你可以索引幾乎所有的列。通常, 在大型表中使用索引特別有效. 當然,你也會發現, 在掃描小表時，使用索引同樣能提高效率。雖然使用索引能得到查詢效率的提高,但是我們也必須注意到它的代價。索引需要空間來存儲,也需要定期維護, 每當有記錄在表中增減或索引列被修改時, 索引本身也會被修改。這意味着每條記錄的INSERT，DELETE ， UPDATE將爲此多付出4、 5次的磁盤I/O 。因爲索引需要額外的存儲空間和處理，那些不必要的索引反而會使查詢反應時間變慢。定期的重構索引是有必要的：

ALTER INDEX <INDEXNAME> REBUILD <TABLESPACENAME>

（18）用EXISTS替換DISTINCT：

當提交一個包含一對多表信息(比如部門表和僱員表)的查詢時，避免在SELECT子句中使用DISTINCT。一般可以考慮用EXIST替換， EXISTS 使查詢更爲迅速，因爲RDBMS核心模塊將在子查詢的條件一旦滿足後，立刻返回結果。例子：

(低效): SELECT DISTINCT DEPT_NO,DEPT_NAME FROM DEPT D , EMP E WHERE D.DEPT_NO = E.DEPT_NO (高效): SELECT DEPT_NO,DEPT_NAME FROM DEPT D WHERE EXISTS ( SELECT ‘X' FROM EMP E WHERE E.DEPT_NO = D.DEPT_NO);

（19）SQL語句用大寫的；因爲Oracle總是先解析SQL語句，把小寫的字母轉換成大寫的再執行。 

（20）在Java代碼中儘量少用連接符“＋”連接字符串。

（21）避免在索引列上使用NOT通常，我們要避免在索引列上使用NOT, NOT會產生在和在索引列上使用函數相同的影響。當Oracle“遇到”NOT,他就會停止使用索引轉而執行全表掃描。

（22）避免在索引列上使用計算。WHERE子句中，如果索引列是函數的一部分。優化器將不使用索引而使用全表掃描。

低效： SELECT … FROM DEPT WHERE SAL * 12 > 25000; 高效: SELECT … FROM DEPT WHERE SAL > 25000/12;

（23）用>=替代>：

高效：SELECT * FROM EMP WHERE DEPTNO >=4 低效: SELECT * FROM EMP WHERE DEPTNO >3

兩者的區別在於，前者DBMS將直接跳到第一個DEPT等於4的記錄而後者將首先定位到DEPTNO=3的記錄並且向前掃描到第一個DEPT大於3的記 錄。

（24）用UNION替換OR (適用於索引列)：

通常情況下，用UNION替換WHERE子句中的OR將會起到較好的效果。對索引列使用OR將造成全表掃描。注意，以上規則只針對多個索引列有效。如果有 column沒有被索引，查詢效率可能會因爲你沒有選擇OR而降低。在下面的例子中，LOC_ID 和REGION上都建有索引。

高效：SELECT LOC_ID 。 LOC_DESC ，REGION FROM LOCATION WHERE LOC_ID = 10 UNION SELECT LOC_ID ，LOC_DESC ，REGION FROM LOCATION WHERE REGION = “MELBOURNE” 

低效: SELECT LOC_ID ，LOC_DESC ，REGION FROM LOCATION WHERE LOC_ID = 10 OR REGION = “MELBOURNE”

（25）用IN來替換OR： 

這是一條簡單易記的規則，但是實際的執行效果還須檢驗，在Oracle8i下，兩者的執行路徑似乎是相同的:　

低效:


SELECT…. FROM LOCATION WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30


高效：

SELECT… FROM LOCATION WHERE LOC_IN IN (10,20,30);

（26）避免在索引列上使用IS NULL和IS NOT NULL：


避免在索引中使用任何可以爲空的列，Oracle將無法使用該索引。對於單列索引，如果列包含空值，索引中將不存在此記錄。對於複合索引，如果每個列都爲 空，索引中同樣不存在此記錄。如果至少有一個列不爲空，則記錄存在於索引中。舉例：如果唯一性索引建立在表的A列和B列上，並且表中存在一條記錄的A，B 值爲(123，null)， Oracle將不接受下一條具有相同A，B值（123,null）的記錄(插入)。 然而如果所有的索引列都爲空，Oracle將認爲整個鍵值爲空而空不等於空。因此你可以插入1000 條具有相同鍵值的記錄,當然它們都是空! 因爲空值不存在於索引列中,所以WHERE子句中對索引列進行空值比較將使ORACLE停用該索引。

低效: (索引失效)

SELECT … FROM DEPARTMENT WHERE DEPT_CODE IS NOT NULL; 

高效：(索引有效) 

SELECT … FROM DEPARTMENT WHERE DEPT_CODE >=0; 站長.站

（27）總是使用索引的第一個列： 
如果索引是建立在多個列上，只有在它的第一個列(leading column)被where子句引用時，優化器纔會選擇使用該索引。這也是一條簡單而重要的規則，當僅引用索引的第二個列時，優化器使用了全表掃描而忽略 了索引。 

（28）用UNION-ALL 替換UNION ( 如果有可能的話)：

當SQL語句需要UNION兩個查詢結果集合時，這兩個結果集合會以UNION-ALL的方式被合併，然後在輸出最終結果前進行排序。如果用UNION ALL替代UNION，這樣排序就不是必要了。效率就會因此得到提高。需要注意的是，UNION ALL 將重複輸出兩個結果集合中相同記錄。因此各位還是要從業務需求分析使用UNION ALL的可行性。 UNION 將對結果集合排序,這個操作會使用到SORT_AREA_SIZE這塊內存。對於這塊內存的優化也是相當重要的。下面的SQL可以用來查詢排序的消耗量： Www.Chinaz.com

低效： SELECT ACCT_NUM, BALANCE_AMT FROM DEBIT_TRANSACTIONS WHERE TRAN_DATE = '31-DEC-95' UNION SELECT ACCT_NUM, BALANCE_AMT FROM DEBIT_TRANSACTIONS WHERE TRAN_DATE = '31-DEC-95' 高效: SELECT ACCT_NUM, BALANCE_AMT FROM DEBIT_TRANSACTIONS WHERE TRAN_DATE = '31-DEC-95' UNION ALL SELECT ACCT_NUM, BALANCE_AMT FROM DEBIT_TRANSACTIONS WHERE TRAN_DATE = '31-DEC-95'

（29）用WHERE替代ORDER BY：

ORDER BY 子句只在兩種嚴格的條件下使用索引。

ORDER BY中所有的列必須包含在相同的索引中並保持在索引中的排列順序。 

ORDER BY中所有的列必須定義爲非空。 

WHERE子句使用的索引和ORDER BY子句中所使用的索引不能並列。 

例如: 表DEPT包含以下列: 

DEPT_CODE PK NOT NULL 

DEPT_DESC NOT NULL

DEPT_TYPE NULL 

低效: (索引不被使用) 

SELECT DEPT_CODE FROM DEPT ORDER BY DEPT_TYPE

高效: (使用索引) 

SELECT DEPT_CODE FROM DEPT WHERE DEPT_TYPE > 0 

（30）避免改變索引列的類型: 

當比較不同數據類型的數據時， ORACLE自動對列進行簡單的類型轉換。 假設 EMPNO是一個數值類型的索引列：SELECT … FROM EMP WHERE EMPNO = ‘123'。 實際上,經過Oracle類型轉換, 語句轉化爲: SELECT … FROM EMP WHERE EMPNO = TO_NUMBER(‘123') 。

幸運的是,類型轉換沒有發生在索引列上,索引的用途沒有被改變。現在,假設EMP_TYPE是一個字符類型的索引列：SELECT … FROM EMP WHERE EMP_TYPE = 123 。

這個語句被Oracle轉換爲: SELECT … FROM EMP WHERETO_NUMBER(EMP_TYPE)=123。因爲內部發生的類型轉換， 這個索引將不會被用到! 爲了避免Oracle對你的SQL進行隱式的類型轉換，最好把類型轉換用顯式表現出來。注意當字符和數值比較時，Oracle會優先轉換數值類型到字符類 型。

（31）需要當心的WHERE子句: 

某些SELECT 語句中的WHERE子句不使用索引。這裏有一些例子：

(1)‘!=' 將不使用索引。記住, 索引只能告訴你什麼存在於表中, 而不能告訴你什麼不存在於表中。

(2)‘||'是字符連接函數。就象其他函數那樣, 停用了索引。 

(3)‘+'是數學函數。就象其他數學函數那樣, 停用了索引。 

(4)相同的索引列不能互相比較,這將會啓用全表掃描。 

（32）a. 如果檢索數據量超過30%的表中記錄數，使用索引將沒有顯著的效率提高。 

b. 在特定情況下，使用索引也許會比全表掃描慢，但這是同一個數量級上的區別。而通常情況下,使用索引比全表掃描要塊幾倍乃至幾千倍！


（33）避免使用耗費資源的操作：

帶有DISTINCT,UNION,MINUS,INTERSECT,ORDER BY的SQL語句會啓動SQL引擎執行耗費資源的排序(SORT)功能。DISTINCT需要一次排序操作，而其他的至少需要執行兩次排序。通常，帶有 UNION, MINUS , INTERSECT的SQL語句都可以用其他方式重寫。如果你的數據庫的SORT_AREA_SIZE調配得好。使用UNION , MINUS, INTERSECT也是可以考慮的, 畢竟它們的可讀性很強。

（34）優化GROUP BY：

提高GROUP BY 語句的效率，可以通過將不需要的記錄在GROUP BY 之前過濾掉。下面兩個查詢返回相同結果但第二個明顯就快了許多。


低效: SELECT JOB , AVG(SAL) FROM EMP GROUP JOB HAVING JOB = ‘PRESIDENT' OR JOB = ‘MANAGER' 高效: SELECT JOB , AVG(SAL) FROM EMP WHERE JOB = ‘PRESIDENT' OR JOB = ‘MANAGER' GROUP JOB

 

 

 

mysql裏sql優化和表結構優化

http://blog.51cto.com/kangjunfei/2051695

開啓慢查詢日誌 計入sql

show variables like 'slow_query_log';//慢查詢查看狀態 OFF未開啓 ON開啓

show variables like '%log%';//沒有使用索引的sql計入慢查詢日誌中

set global log_queries_nor_using_indexes = on;

//開啓log_queries_nor_using_indexes 爲ON 記錄未使用索引的查詢
show variables like 'long_query_time';

//超過多少時間就記錄到慢查詢中
//開啓慢查詢
set global slow_query_log = on;
//慢查詢日誌的位置
show variables like 'slow%';

left join :eft join是以A表的記錄爲基礎的,A可以看成左表,B可以看成右表,left join是以左表爲準的.
換句話說,左表(A)的記錄將會全部表示出來,而右表(B)只會顯示符合搜索條件的記錄(例子中爲: A.aID = B.bID).
right join:和left join的結果剛好相反,這次是以右表(B)爲基礎的,A表不足的地方用NULL填充.
inner join:這裏只顯示出了 A.aID = B.bID的記錄.這說明inner join並不以誰爲基礎,它只顯示符合條件的記錄.

sql索引優化

explain select 字段 from 表名 ；

table 代表當前表
type 顯示類型 重要列 ！性能最好到最壞排序 const(主鍵唯一索引查找)，eq_reg（範圍查找）,ref（一個表基於一個索引查找）,range（基於索引範圍查找）,index（對索引的掃描）,all（表掃描）
possible_keys 當前表可用到的索引有哪些，如果爲null就是沒有可能的索引
key 實際使用的索引，爲null就是沒有可能的索引
key_len 使用索引的長度 越小越好
ref 顯示索引的哪一列被使用
rows mysql必須檢查用來返回請求的數據行數
extra 返回值
using filesort:查詢需要優化，mysql需要進行額外步驟，文件排序進行優化
using temporary ：查詢需要優化，mysql需要創建一個臨時表來存儲結果

• sql優化例子 *
  Where查詢條件，on內外連接時候用,as作爲別名,in查詢某值是否在某條件裏

max優化方法：查找最大的 最後的

select max(字段data) from 表;

優化方法：在data上建立索引

create index idx_data on 表(字段data) ;

count優化方法:全部 
查找2006-2007的數量全部的數量
優化方法：
select count(year='2006' or year='2007') from 表;

查找2006-2007的分開的數量
優化方法：
select count(year='2006' or null),count(year='2007' or null) from 表;

子查詢優化:

select * from t where t.id in (select t1.tid from t1);

優化方法： 需要把子查詢優化爲join查詢 join on 後邊的條件只針對附表

select t.id from t jion t1 on t.id = t1.tid;

去重distinct

select distinct t.id from t jion t1 on t.id = t1.tid;

group by查詢

select actor.first_name,actor.last_name, count(*) from filem_actor inner actor using(actor_id) group by filem_actor.actor_id;

優化後group by查詢

select actor.first_name,actor.last_name,c.cnt from actor inner join (select actor_id,count(*)as cnt from film_actor group by actor_id ) as c using(actor_id);

limit優化方法：

select film_id,dd from film order by title limit 600,5;//從第600行開始的5條記錄

優化後

select film_id,dd from film where film_id >600 and film_id <=605 oder by film_id limit 1,5;

索引優化例子：
1在where從句，group by從句，order by從句，on從句中出現的列
2索引字段越小越好
3離散度大的列放到聯合索引前面

優化查詢效率，對插入 修改 刪除語句有影響
索引越多查詢越慢

如何找到重複索引 
列子：
id primay key主鍵索引 unique(id)又生成一個唯一索引 這就重複索引！
如何找到zongyu索引
多個索引的前綴列是相同的
id primay key主鍵索引 又生成一個key（name,id）聯合索引！

表結構優化
如何選擇合適的數據類型：
1.可以存下數據的最小的數據類型
2.使用簡單的數據類型。 int比varchar在mysql處理上簡單
3.儘可能的使用not null定義字段
4.儘量少於text類型，非用時考慮分表

範式化優化
數據表結構
傳遞函數依賴關係 商品名稱-》分類-》分類描述

商品名稱 價格 重量 有效期 分類 分類描述

把一張表分成3張表
1商品表
商品名稱 價格 重量 有效期 
2分類表 
分類 分類描述 
3關係表 **
商品名稱 分類

反範式化優化
操作前：
用戶表：
用戶id 姓名 電話 地址 郵編 
訂單表：
訂單id 用戶id 下單時間 支付類型 訂單狀態 
訂單商品表： 
訂單id 商品id 商品數量 商品價格 
商品表：
商品id 名稱 描述 過期時間

操作後：
用戶表：
用戶id 姓名 電話 地址 郵編

訂單表：合併一個表中查詢

訂單id 用戶id 下單時間 支付類型 訂單狀態 訂單價格 用戶名 電話 地址

訂單商品表：

訂單id 商品id 商品數量 商品價格

商品表：

商品id 名稱 描述 過期時間 

執行sql查詢訂單信息：
select a.用戶名，a.電話,a.地址，a.訂單id，a.訂單價格 from 訂單表 a

表的垂直拆分：
例：

id 
title varvhar 
description text 
..字段 
如果表中有包含 title和description text數據類型的話，拆分出去
用拆分後的付加表中的表id關聯拆分前的表id
付加表：

id 
title varvhar 
description text

表的水平拆分：
解決表單的數據量過大

系統優化：
1操作系統的優化 2mysql系統本身優化
mysql服務器上關閉iptables，selinux等防火牆軟件

mysql優化：
linux下mysql配置文件位置 /etc/my.cnf 或者 /etc/mysql/my.cnf
windows下mysql配置文件位置 c：/ windows/my.ini文件

服務器硬件優化
mysql一些工作只能用到單核cpu的
選擇單核頻率更快的cpu