SQL語句優化方案
1. 高效地進行SQL語句設計:
通常情況下,可以採用下面的方法優化SQL對數據操作的表現:
(1)減少對數據庫的查詢次數,即減少對系統資源的請求,使用快照和顯形圖等分佈式數據庫對象可以減少對數據庫的查詢次數。
(2)儘量使用相同的或非常類似的SQL語句進行查詢,這樣不僅充分利用SQL共享池中的已經分析的語法樹,要查詢的數據在SGA中命中的可能性也會大大增加。
(3)避免不帶任何條件的SQL語句的執行。沒有任何條件的SQL語句在執行時,通常要進行FTS,數據庫先定位一個數據塊,然後按順序依次查找其它數據,對於大型表這將是一個漫長的過程。
(4)如果對有些表中的數據有約束,最好在建表的SQL語句用描述完整性來實現,而不是用SQL程序中實現。
一、操作符優化:
1、IN操作符
用IN寫出來的SQL的優點是比較容易寫及清晰易懂,這比較適合現代軟件開發的風格。但是用IN的SQL性能總是比較低的,從ORACLE執行的步驟來分析用IN的SQL與不用IN的SQL有以下區別:
ORACLE試圖將其轉換成多個表的連接,如果轉換不成功則先執行IN裏面的子查詢,再查詢外層的表記錄,如果轉換成功則直接採用多個表的連接方式查詢。由此可見用IN的SQL至少多了一個轉換的過程。一般的SQL都可以轉換成功,但對於含有分組統計等方面的SQL就不能轉換了。在業務密集的SQL當中儘量不採用IN操作符。
優化sql時,經常碰到使用in的語句,一定要用exists把它給換掉,因爲Oracle在處理In時是按Or的方式做的,即使使用了索引也會很慢。
2、 NOT IN操作符
強列推薦不使用的,因爲它不能應用表的索引。用NOT EXISTS或(外連接+判斷爲空)方案代替
3、IS NULL或IS NOT NULL操作
判斷字段是否爲空一般是不會應用索引的,因爲B樹索引是不索引空值的。
用其它相同功能的操作運算代替,a is not null改爲 a>0 或a>’’等。
不允許字段爲空,而用一個缺省值代替空值,如業擴申請中狀態字段不允許爲空,缺省爲申請。
避免在索引列上使用IS NULL和IS NOT NULL 避免在索引中使用任何可以爲空的列,ORACLE將無法使用該索引.對於單列索引,如果列包含空值,索引中將不存在此記錄.對於複合索引,如果每個列都爲空,索引中同樣不存在此記錄.如果至少有一個列不爲空,則記錄存在於索引中.舉例:如果唯一性索引建立在表的A 列和B 列上,並且表中存在一條記錄的A,B 值爲(123,null) , ORACLE 將不接受下一條具有相同A,B值(123,null)的記錄(插入).然而如果所有的索引列都爲空,ORACLE將認爲整個鍵值爲空而空不等於空.因此你可以插入1000 條具有相同鍵值的記錄,當然它們都是空!因爲空值不存在於索引列中,所以WHERE子句中對索引列進行空值比較將使ORACLE停用該索引.
低效: (索引失效)
SELECT …FROM DEPARTMENT WHERE DEPT_CODE ISNOTNULL;
高效: (索引有效)
SELECT …FROM DEPARTMENT WHERE DEPT_CODE >=0;
4、>及 < 操作符(大於或小於操作符)
大於或小於操作符一般情況下是不用調整的,因爲它有索引就會採用索引查找,但有的情況下可以對它進行優化,如一個表有100萬記錄,一個數值型字段 A,30萬記錄的A=0,30萬記錄的A=1,39萬記錄的A=2,1萬記錄的A=3。那麼執行A>2與A>=3的效果就有很大的區別了,因爲A>2時ORACLE會先找出爲2的記錄索引再進行比較,而A>=3時ORACLE則直接找到=3的記錄索引。
用>=替代>
高效:
SELECT …FROM DEPARTMENT WHERE DEPT_CODE >=0;
低效:
SELECT*FROM EMPWHERE DEPTNO >3
兩者的區別在於, 前者DBMS將直接跳到第一個DEPT等於4的記錄而後者將首先定位到DEPT NO=3的記錄並且向前掃描到第一個DEPT大於3的記錄.
5、LIKE操作符:
LIKE操作符可以應用通配符查詢,裏面的通配符組合可能達到幾乎是任意的查詢,但是如果用得不好則會產生性能上的問題,如LIKE ‘%5400%’這種查詢不會引用索引,而LIKE‘X5400%’則會引用範圍索引。一個實際例子:用YW_YHJBQK表中營業編號後面的戶標識號可來查詢營業編號 YY_BH
LIKE‘%5400%’ 這個條件會產生全表掃描,如果改成YY_BH LIKE ’X5400%’ OR YY_BH LIKE ’B5400%’
則會利用YY_BH的索引進行兩個範圍的查詢,性能肯定大大提高。
6、用EXISTS替換DISTINCT:
當提交一個包含一對多表信息(比如部門表和僱員表)的查詢時,避免在SELECT子句中使用DISTINCT. 一般可以考慮用EXIST 替換,
EXISTS使查詢更爲迅速,因爲RDBMS核心模塊將在子查詢的條件一旦滿足後,立刻返回結果.
例子:
(低效):
SELECTDISTINCT DEPT_NO,DEPT_NAMEFROM DEPT D , EMP EWHERE D.DEPT_NO = E.DEPT_NO
(高效):
SELECT DEPT_NO,DEPT_NAMEFROM DEPT D WHEREEXISTS
(SELECT'X'FROM EMP EWHERE E.DEPT_NO = D.DEPT_NO);
如:
用EXISTS 替代IN、用NOT EXISTS替代NOT
IN:
在許多基於基礎表的查詢中,爲了滿足一個條件,往往需要對另一個表進行聯接.在這種情況下,使用EXISTS(或NOT
EXISTS)通常將提高查詢的效率.在子查詢中,NOT IN 子句將執行一個內部的排序和合並. 無論在哪種情況下,NOT
IN都是最低效的(因爲它對子查詢中的表執行了一個全表遍歷).爲了避免使用NOT IN ,我們可以把它改寫成外連接(Outer
Joins)或NOT EXISTS.
例子:
(高效):
SELECT*FROM EMP (基礎表)WHERE EMPNO >0ANDEXISTS
(SELECT'X'FROM DEPTWHERE DEPT.DEPTNO= EMP.DEPTNO AND LOC='MELB')
(低效):
SELECT*FROM EMP (基礎表)WHERE EMPNO >0AND DEPTNOIN
(SELECT DEP TNOFROM DEPT WHERE LOC ='MELB')
7、用UNION替換OR (適用於索引列)
通常情況下, 用UNION替換WHERE 子句中的OR 將會起到較好的效果.對索引列使用OR 將造成全表掃描. 注意,以上規則只針對多個索引列有效.如果有column 沒有被索引, 查詢效率可能會因爲你沒有選擇OR而降低. 在下面的例子中,
LOC_ID和REGION 上都建有索引.
(高效):
SELECT LOC_ID,LOC_DESC,REGIONFROM LOCATION WHERE LOC_ID =10
UNIONSELECT LOC_ID , LOC_DESC , REGIONFROM LOCATION WHERE REGION ='MELBOURNE'
(低效):
SELECT LOC_ID,LOC_DESC,REGIONFROM LOCATION WHERE LOC_ID= 10OR REGION = 'MELBOURNE'
如果你堅持要用OR, 那就需要返回記錄最少的索引列寫在最前面.
8、用IN來替換OR
這是一條簡單易記的規則,但是實際的執行效果還須檢驗,在ORACLE8i下,兩者的執行路徑似乎是相同的.
低效:
SELECT….FROM LOCATION WHERE LOC_ID =10OR LOC_ID=20OR LOC_ID=30
高效:
SELECT…FROM LOCATION WHERE LOC_IN IN (10,20,30);
二、SQL語句結構優化
1、SELECT子句中避免使用‘ * ‘:
2、用TRUNCATE替代DELETE :
用TRUNCATE替代DELETE刪除全表記錄:(大數據量的表用次方法)
當刪除表中的記錄時,在通常情況下,回滾段(rollback segments )用來存放可以被恢復的信息. 如果你沒有COMMIT事務,ORACLE會將數據恢復到刪除之前的狀態(準確地說是恢復到執行刪除命令之前的狀況)而當運用TRUNCATE時, 回滾段不再存放任何可被恢復的信息.
3、用Where子句替換HAVING 子句:
避免使用HAVING 子句, HAVING 只會在檢索出所有記錄之後纔對結果集進行過濾.這個處理需要排序,總計等操作.如果能通過WHERE 子句限制記錄的數目,那就能減少這方面的開銷.
(非oracle中)on、where、having這三個都可以加條件的子句中,on是最先執行,where 次之,having 最後,因爲on是先把不符合條件的記錄過濾後才進行統計,它就可以減少中間運算要處理的數據,按理說應該速度是最快的, where 也應該比having快點的
4、sql語句用大寫
因爲oracle 總是先解析sql語句,把小寫的字母轉換成大寫的再執行。
5、在java代碼中儘量少用連接符“+”連接字符串!
6、避免改變索引列的類型.:
當比較不同數據類型的數據時, ORACLE自動對列進行簡單的類型轉換. 假設EMPNO 是一個數值類型的索引列.
SELECT … FROM EMP WHERE EMPNO = ‘123'實際上,經過ORACLE類型轉換, 語句轉化爲:
SELECT …FROM EMP WHERE EMPNO = TO_NUMBER(‘123')
幸運的是,類型轉換沒有發生在索引列上,索引的用途沒有被改變.現在,假設EMP_TYPE是一個字符類型的索引列.
SELECT …FROM EMP WHERE EMP_TYPE =123
這個語句被ORACLE轉換爲:
SELECT …FROM EMP WHERETO_NUMBER(EMP_TYPE)=123
因爲內部發生的類型轉換, 這個索引將不會被用到! 爲了避免ORACLE對你的SQL 進行隱式的類型轉換,最好把類型轉換用顯式表現出來.注意當字符和數值比較時, ORACLE會優先轉換數值類型到字符類型
7、優化GROUP BY:
提高GROUP BY 語句的效率, 可以通過將不需要的記錄在GROUP BY之前過濾掉.下面兩個
查詢返回相同結果但第二個明顯就快了許多.
低效:
1SELECT JOB,AVG(SAL)FROM EMP GROUPby JOBHAVING JOB= 'PRESIDENT' OR JOB ='MANAGER'
高效:
1SELECT JOB,AVG(SAL)FROM EMP WHERE JOB ='PRESIDENT'OR JOB='MANAGER'GROUPby JOB
數據庫優化方案
1. 利用表分區
分區將數據在物理上分隔開,不同分區的數據可以制定保存在處於不同磁盤上的數據文件裏。這樣,當對這個表進行查詢時,只需要在表分區中進行掃描,而不必進行全表掃描,明顯縮短了查詢時間,另外處於不同磁盤的分區也將對這個表的數據傳輸分散在不同的磁盤I/O,一個精心設置的分區可以將數據傳輸對磁盤I/O競爭均勻地分散開。對數據量大的時時表可採取此方法。可按月自動建表分區。
2. 別名的使用
別名是大型數據庫的應用技巧,就是表名、列名在查詢中以一個字母爲別名,查詢速度要比建連接錶快1.5倍。
3. 索引Index的優化設計
索引可以大大加快數據庫的查詢速度,索引把表中的邏輯值映射到安全的RowID,因此索引能進行快速定位數據的物理地址。對一個建有索引的大型表的查詢時,索引數據可能會用完所有的數據塊緩存空間,ORACLE不得不頻繁地進行磁盤讀寫來獲取數據,因此在對一個大型表進行分區之後,可以根據相應的分區建立分區索引。但是個人覺得不是所有的表都需要建立索引,只針對大數據量的表建立索引。
缺點: 第一,創建索引和維護索引要耗費時間,這種時間隨着數據量的增加而增加。第二,索引需要佔物理空間,除了數據表佔數據空間之外,每一個索引還要佔一定的物理空間,如果要建立聚簇索引,那麼需要的空間就會更大。第三,當對錶中的數據進行增加、刪除和修改的時候,索引也要動態的維護,這樣就降低了數據的維護速度。
索引需要維護:爲了維護系統性能,索引在創建之後,由於頻繁地對數據進行增加、刪除、修改等操作使得索引頁發生碎塊,因此,必須對索引進行維護。
4. 調整硬盤I/O
這一步是在信息系統開發之前完成的。數據庫管理員可以將組成同一個表空間的數據文件放在不同的硬盤上,做到硬盤之間I/O負載均衡。在磁盤比較富裕的情況下還應該遵循以下原則:
將表和索引分開;
創造用戶表空間,與系統表空間(system)分開磁盤;
創建表和索引時指定不同的表空間;
創建回滾段專用的表空間,防止空間競爭影響事務的完成;
創建臨時表空間用於排序操作,儘可能的防止數據庫碎片存在於多個表空間中。
我們在使用物化視圖的過程中基本可以“把它當作一個實際的數據表來看待”,不用再擔心視圖本身的基礎表的效率、優化等
物化視圖
1.對於複雜而高消耗的查詢,如果使用頻繁,應建成物化視圖
2.物化視圖是一種典型的以空間換時間的性能優化方式
3.對於更新頻繁的表慎用物化視圖
4.選擇合適的刷新方式
一般的視圖是虛擬的,而物化視圖是實實在在的數據區域,是要佔據存儲空間的。
當然,物化視圖在創建和管理上和一般的視圖有不同的地方。相比來講,物化視圖佔用了一定的存儲空間,另外系統刷新物化視圖也需要耗費一定的資源,但是它卻換來了效率和靈活性。
減少IO與網絡傳輸次數
1.儘量用較少的數據庫請求,獲取到需要的數據,能一次性取出的不分多次取出
2.對於頻繁操作數據庫的批量操作,應採用存儲過程,減少不必要的網絡傳輸
死鎖與阻塞
1.對於需要頻繁更新的數據,儘量避免放在長事務中,以免導致連鎖反應
2.不是迫不得已,最好不要在ORACLE鎖機制外再加自己設計的鎖
3.減少事務大小,及時提交事務
4.儘量避免跨數據庫的分佈式事務,因爲環境的複雜性,很容易導致阻塞
5.慎用位圖索引,更新時容易導致死鎖
自動增加表分區:
該程序可以做爲一個Oracle的JOB執行在每月的28日前執行(考慮2月28天的原因),自動爲該用戶下的分區表增加分區.
create or replace procedure guan_add_partition
/*
/*爲一個用戶下所有分區表自動增加分區.分區的列爲date類型,分區名類似:p200706.
/*create by David
*/
as
v_table_name varchar2(50);
v_partition_name varchar2(50);
v_month char(6);
v_add_month_1 char(6);
v_sql_string varchar2(2000);
v_add_month varchar2(20);
cursor cur_part is select distinct u.table_name,max(p.partition_name) max_part_name from user_tables u,user_tab_partitions p
where u.table_name=p.table_name and u.partitioned = 'YES'
group by u.table_name;
Begin
select to_char(sysdate,'yyyymm') into v_month from dual;
select to_char(add_months(sysdate,1),'yyyymm') into v_add_month_1 from dual;
select to_char(add_months(trunc(sysdate,'mm'),2),'yyyy-mm-dd') into v_add_month from dual;
open cur_part;
loop
fetch cur_part into v_table_name,v_partition_name;
exit when cur_part%notfound;
if to_number(substr(v_partition_name,2)) <=to_number(substr(v_month,1)) then
v_sql_string :='alter table '||v_table_name||' add partition p'||v_add_month_1||
' VALUES LESS THAN ( to_date('''||v_add_month||''',''yyyy-mm-dd'') ) tablespace users';
execute immediate v_sql_string;
else
null;
end if;
end loop;
close cur_part;
end;