oracle: 執行計劃 1 ---預備知識和概念

 

本篇文章主要總結了,在我們解讀oracle執行計劃之前,需要的一些預備知識和概念

1       相關概念

1.1      Rowid

 

Rowid是一個僞列,不是用戶定義的,是系統自動加上的。

對每個表都有一個rowid的僞列,但是表中並不物理存儲Rowid列的值。不過你可以像是要其它列一樣使用它,但是不能刪除該列,也不能對該列的值進行插入、修改。一旦一行數據插入數據庫,則rowid在該行的生命週期內是唯一的,即時該行產生行遷移,行的rowid也不會改變。

 

1.2      Recursive sql

 

有時爲了執行用戶發出的一個sql語句,oracle必須執行一些額外的語句,我們將這些額外的語句稱爲“recursive calls”或“recursive SQL statements”。

如當一個DDL語句發出後,oracle總是隱含的發出一些recursive sql語句,來修改數據字典,以便用戶可以成功的執行該DDL語句。當需要的數據字典信息沒有在共享內存中時,經常會發生recursive calls,這些recursive calls會將數據字典信息從硬盤讀入內存中。用戶不關心這些recursive sql語句的執行情況,在需要的時候,oracle會自動的在內部執行這些語句。當然DML語句與select都可能引起recursive sql。簡單的說,我們可以將觸發器視爲recursive sql。

 

1.3      Row source(行源)

 

用在查詢中,由上一操作返回的符合條件的行的集合,既可以是表的全部行數據的集合,也可以是表的部分行數據的集合;也可以爲對上2個row source進行連接操作後得到的行數據集合。

 

1.4      Predicate (謂詞)

 

一個查詢中的where限制條件

 

1.5      Driving table(驅動表)

 

該表又稱爲外層表。

這個概念用於嵌套與hash連接中。如果該row source返回較多的行數據,則對所有的後續操作有負面影響。此處雖翻譯爲驅動表,但實際上翻譯爲驅動行源(driving row source)更爲確切。一般來說,是應用查詢的限制條件後,返回較少行源的表做爲驅動表,所以如果一個大表在where條件有限制條件(如等值限制)。則該大表作爲驅動表也是合適的。所以並不是只有較小的表可以做爲驅動表,更進一步說,應用查詢的限制條件後,返回較少行源的做爲驅動表。在執行計劃中,應該爲靠上的那個row source,後面會給出具體說明。在我們後面的描述中,一般將該表稱爲連接操作的row source 1.

 

1.6      Probed table(被探查表)

 

該表又稱爲內層表(inner table)。

在我們從驅動表中得到具體一行的數據後,在該表中尋找符合連接條件的行。所以該表應當爲大表(實際上應該爲返回較大row source的表)且相應的列上應該有索引。在我們後面的描述中,一般將該表稱爲連接操作的row source 2.

 

1.7      組合索引(concatenated index)

 

多個列構成的索引,如 create index idx_emp on emp(col1,col2, col3),則我們稱idx_emp索引爲組合索引。

在組合索引中,有一個重要的概念:引導列(leadingcolumn),在上面的例子中,col1列爲引導列。當我們進行查詢時可以使用“where col1=?”也可以使用“where col1=?and col2=?”,這樣的限制條件都會使用索引,但是“where col2 = ?”查詢就不會使用該索引。所以限制條件中包含先導列時,該限制條件纔會使用該組合索引

 

1.8      可選擇性(selectivity)

 

比較一下列中唯一鍵的數量表中的行數,就可以判斷該列的可選擇性,如果該的“唯一鍵的數量/表中的行數”的比值越接近1,則該列的可選擇性越高,該列就越適合創建索引,同樣索引的可選擇性也越高。在可選擇性高的列上進行查詢時,返回的數據就較少,比較適合使用索引查詢。

 

2       Oracle數據庫的存取方法

 

2.1      全表掃描(Tull table scan,FTS)

 

爲實現全表掃描,oracle讀取表中所有行,並檢查每一行是否滿足語句的where限制條件,一個多塊讀操作可以使一次IO能讀取多塊數據塊(db_block_multiblock_read_count參數設定),而不是隻讀取一個數據庫,這極大的減少了IO總次數,提高了系統的吞吐量,所以利用多塊讀的方法可以十分高效地實現全表掃描,而且只有在全表掃描的情況下才能使用多塊讀操作。在這種訪問模式下,每個數據塊只被讀一次。

 

使用FTS的前提條件:在較大的表上不建議使用全表掃描,除非取出的數據比較多了,超多總量的5%--10%,或想使用並行查詢。

 

2.2      通過RowID的表存取

 

行的rowid指出了該行所在的數據文件數據塊以及行在該塊中的位置,所以通過rowId來存取數據可以快速定位到目標數據上,是oracle存取單行數據的最快方法。

         這種存取方法不會用到多塊讀操作,一次IO只能讀取一個數據塊。我們會經常在執行計劃中看到該存取方法,如通過索引查詢數據。

         使用rowid存取的方法:

SQL>explainplan for select * from dept where rowed=’AAAyhjjkll’;

 

2.3        索引掃描

 

我們先通過index 查找到數據對應的rowid值(非唯一索引可能返回多個rowid),然後根據rowid直接從表中得到具體的數據,這種查找方式成爲索引掃描或索引查找,一個rowid唯一的表示一行數據,該行對應的數據塊是通過一次IO得到的,在此情況下該次IO只會讀取一個數據塊。

在索引中,除了存儲每個索引的值外,索引還存儲具有此值的行對應的rowid值。

索引掃描由2步組成:

1) 掃描索引得到對應的rowid值

2) 通過找到的rowid從表中讀取具體的數據。

每步都是單獨的一次IO,但是對於索引,由於經常使用,絕大多數都已經cache到內存中,所以第一步IO經常是邏輯IO,即數據可以從內存中得到。但是對於第2步來說,如果表比較大,則其數據不可能全在內存中,所以其IO很有可能是物理IO,這是一個機械操作,相對於邏輯IO來說,是及其費時間的。所以如果多大表進行索引掃描,取出的數據如果大於總量的5%--10%,使用索引掃描會效率下降很多。

SQL>explainplan for select empno,ename from emp where empno=10;

 

根據索引的類型與where限制條件的不同,有4中類型的索引掃描:

索引唯一掃描

索引範圍掃描

索引全掃描

索引快速掃描

 

2.3.1        索引唯一掃描 index unique scan

 

通過唯一索引查找一個數值經常返回單個rowid,如果存在unique或primary key約束的話,oracle經常實現唯一性掃描。

使用唯一性約束的例子:

SQL>explainplan for select empno,ename from emp where empno=10;

Query Plan

SELECT STATEMENT [CHOOSE] Cost=1
TABLE ACCESS BY ROWID EMP [ANALYZED]
INDEX UNIQUE SCAN EMP_I1

 

2.3.2        索引範圍掃描 index range scan

 

使用一個索引存取多行數據,在唯一索引上使用索引範圍掃描的典型情況是在謂詞(where限制條件)中使用了範圍操作符如>、<、<>、>=、<=、between

使用索引範圍掃描的例子:

SQL>explainplan for select empno,ename from emp

Where empno >7876 order by empno;

Query Plan
--------------------------------------------------------------------------------
SELECT STATEMENT[CHOOSE] Cost=1
TABLE ACCESS BY ROWID EMP [ANALYZED]
INDEX RANGE SCAN EMP_I1 [ANALYZED]

 

在非唯一索引上,謂詞col=5可能返回多行數據,所以在非唯一索引上都使用索引範圍掃描。

總結一下,使用索引範圍掃描的3種情況:

A.    在唯一索引列上使用了range操作符

B.    在組合索引上,只使用了部分列進行查詢,導致查詢出多行

C.    對非唯一索引列上進程的任何查詢

 

2.3.3        索引全掃描 index full scan

 

與全表掃描對應,也有相應的全索引掃描。此時查詢出的數據都必須從索引中可以直接得到

全索引掃描的例子:

Index BE_IX 是一個組合索引 on big_emp(empno,ename)

SQL>explain plan for select empno,ename from big_emp order by empno,ename;

Query Plan
--------------------------------------------------------------------------------
SELECT STATEMENT[CHOOSE] Cost=26
INDEX FULL SCAN BE_IX [ANALYZED]

 

2.3.4        索引快速掃描 index fast full scan

 

掃描索引中的所有的數據塊,與indexfull scan類似,但是一個顯著的區別就是它不對查詢出的數據進行排序,即數據不是以排序順序被返回。這種存取方法,可以使用多塊讀功能,也可以使用並行讀入,以便獲得最大吞吐量與縮短執行時間。

索引快速掃描的例子:

 

BE_IX索引時一個多列索引,big_emp(empno,ename)

SQL>explain plan for select empno,enamefrom big_emp;

QueryPlan
------------------------------------------
SELECT STATEMENT[CHOOSE] Cost=1
INDEX FAST FULL SCAN BE_IX [ANALYZED]

 

只選擇多列索引的第2列:

SQL>explain plan for select ename frombig_emp;

QueryPlan
------------------------------------------
SELECT STATEMENT[CHOOSE] Cost=1
INDEX FAST FULL SCAN BE_IX [ANALYZED]

 

3       表之間的連接

 

Join是一種試圖將2個表結合在一起的謂詞,一次只能連接2個表,表連接也可以被稱爲表關聯。在後面的敘述中,我們將會使用row source 來代替表,並且將參與連接的2個row source分別稱爲row source 1和row source2

         Join過程的各個步驟經常是串行操作,即相關的row source可以被並行訪問,即可以並行的讀取做join連接的兩個row source的數據,但是在將表中符合限制條件的數據讀入到內存形成row source後,join的其它步驟一般是串行的。有多種方法可以將2個表連接起來,當然每種方法都有自己的優缺點,每種連接類型只有在特定的條件下才會發揮出最大優勢。

         Rowsource之間的連接順序對於查詢的效率有非常大的影響。通過首先存取特定的表,即將該表作爲驅動表,這樣可以先應用某些限制條件,從而得到一個較小的row source,使連接的效率較高,這也就是我們常說的要先執行限制條件的原因。一般是在將表讀入內存時,應用where子句中對該表的限制條件。

         根據2個row source的連接條件的中操作符的不同,可以將連接分爲等值連接、飛等值連接、外連接。各個連接的連接原理基本一樣,下面以等值連接爲例進行介紹。

         以以下sql爲例:

         Selecta.col1,b.col2 from a,b

         Wherea.col3 =b.col4;

 

連接類型:

目前爲止,無論連接操作符如何,典型的連接類型共用3中:

排序—合併連接

嵌套循環

哈希連接

還有笛卡爾積,一般情況下,儘量避免使用。

 

3.1      排序—合併連接(sort merge join,SMJ)

 

內部連接過程:

1) 首先生成rowsource1需要的數據,然後對這些數據按照連接操作關聯列進行排序

2) 隨後生成row source2需要的數據,對這些數據按照與sort source1對於的連接操作關聯列進行排序

3) 最後兩遍已排序的行被放在一起執行合併操作,即將2個row source 按照連接條件連接起來。

 

下面是連接步驟的圖形表示:

MERGE
  /\
  SORTSORT
  ||
  RowSource 1 Row Source 2

 

         如果row source已經在連接關聯列上被排序,則該連接操作就不需要再進行sort操作,這樣可以提高這種連接操作的連接速度,因爲排序是個極其非費資源的操作,特別對於大表。預先排序的row source包括已經被索引的列或row source已經在前面的步驟中被排序了。儘管合併兩個row source的過程是串行的,但是可以並行訪問這兩個row source(並行讀入數據,並行排序)。

 

SMJ的例子:

 

SQL>explain plan for

Select /*+ordered */e.deptno,d.deptno

From emp e, dept d

Where e.deptno = d.deptno

Order bye.deptno,d.deptno;

 

Query Plan
-------------------------------------
SELECT STATEMENT [CHOOSE] Cost=17
MERGE JOIN
SORT JOIN
TABLE ACCESS FULL EMP [ANALYZED]
SORT JOIN
TABLE ACCESS FULL DEPT [ANALYZED]

 

排序是一個費時、費資源的操作,特別大於大表。SMJ不是一個特別有效的連接方法,但是如果兩個row source都已經預先排序。則這種連接方法的效率也挺高。

 

3.2      嵌套循環(Nested loops, NL)

 

這個連接方法有驅動表的概念,其實,該連接過程就是一個2層嵌套循環,所以外層循環的次數越少越好,這也就是我們爲什麼將小表或返回較小row source的表做爲驅動表的理論依據。但是這個理論只是一般指導原則,因爲遵循這個理論並不能總保證使語句產生IO的次數最少。有時不遵守這個理論依據,反而會獲得更好的效率。如果使用這種方法,決定使用哪個表做爲驅動表很重要。有時如果驅動表選擇不正確,會導致語句的性能很差。

 

內部連接過程:

Row source1 的Row 1 ---Probe—>Rowsource2

Row source1 的Row 2---Probe—>Row source2

Row source1 的Row 3---Probe—>Row source2

……

Row source1 的Row n---Probe—>Row source2

 

從內部連接過程來看,需要用row source1每一行,去匹配row source2中的所有行,所以此時保持row source1儘可能小與高效的訪問row source2(一般通過索引實現)是影響這個連接效率的關鍵問題。這只是理論指導原則,目的是使整個連接操作產生最少的物理IO次數,而且如果遵循這個原則,一般也會使總的物理IO數最少。最終的目的都是使物理IO最少

 

在上面的連接過程中,我們稱rowsource 1爲驅動表或外部表。Row source2爲被探查表或內部表。

 

在nested loops連接中,oracle讀完row source1中的每一行,然後再rowsource2中檢查是否有匹配行,所有被匹配的行都被放到結果集中,然後處理row source1中的下一行。這個過程一直繼續,直到row source1中的所有行都被處理。這是從連接操作中可以得到第一個匹配行的最快方法之一,這種類型的連接可以用在需要快速響應的語句中,以響應速度爲主要目標。

如果driving row source比較小,並且在innerrow source上有唯一索引,或有高選擇性非唯一索引時,使用這種方法可以得到較好的效率。Nested loops有其他連接方式沒有的一個優點:可以先返回已經連接的行等待所有連接操作處理完才返回數據,這可以實現快速響應時間。

 

如果不使用並行操作,最好的驅動表是那些應用了where限制條件後,可以返回較少行數據的表。對於並行查詢,我們經常選擇大表作爲驅動表,因爲大表可以充分利用並行功能。當然,有時對查詢使用並行操作不一定比查詢不使用並行的操作效率高,因爲最後可能每個表只有很少的行符合限制條件。而且要看硬件配置是否支持並行(是否多個cpu,多個硬盤控制器)。

NL連接的例子:

         SQL>explainplan for

                  Selecta.name, b.sql

From dept a, emp b

Where a.deptno = b.deptno;

 

         Query Plan
  -------------------------
  SELECT STATEMENT [CHOOSE] Cost=5
  NESTED LOOPS
  TABLE ACCESS FULL DEPT [ANALYZED]
  TABLE ACCESS FULL EMP [ANALYZED]

3.3      哈希連接(hash join , HJ)

 

較小的row source被用來構建hashtable的bitmap,第2個row source被用來被hashed,並與第一個row source生成的hasg table進行匹配,以便進一步的連接。Bitmap被用來作爲一種比較快的查找方法,來檢查在hash table中是否有匹配的行。特別的,當hash table比較大而不能全部容納在內存中時,這種查找方法更有用。這種連接方法也有NL連接中的驅動表概念。被構建爲hash table與bitmap的表爲驅動表,當被構建的hash table與bitmap能被容納在內存中時,這種連接方式的效率極高。

 

Hash 連接的例子:

SQL>explainplan for

         Select /*+use_hash(emp) */ empno

From emp,dept

Where emp.deptno = dept.deptno;

 

QueryPlan
  ----------------------------
  SELECT STATEMENT[CHOOSE] Cost=3
  HASH JOIN
  TABLE ACCESS FULL DEPT
  TABLE ACCESS FULL EMP

 

要使哈希連接有效,需要設置hash_join_enable=true.缺省情況下,該參數爲true另外,不要忘了還要設置 hash_area_size參數,使哈希連接高效運行,因爲哈希連接會在該參數指定大小的內存中運行,過小的參數會使哈希連接的性能比其他連接方式還低。

 

3.4      笛卡爾積(cartesian product)(不常用)

 

當兩個row source做連接,但是他們之間沒有關聯條件時,會在兩個rowsource中做笛卡爾積。這通常由編寫代碼疏漏造成(程序員忘了下關聯條件)。笛卡爾積是一個表的每一行依次與另一表中的所有行匹配。在特殊情況下,我們可以使用笛卡爾積,如在星形連接中,除此之外,儘量不使用笛卡爾積

在下面的語句中,2個表之間沒有連接。

SQL>explain plan for

         Selectemp.deptno,dept,deptno

         From emp,dept

 

QueryPlan
  ------------------------
  SLECT STATEMENT [CHOOSE] Cost=5
  MERGE JOIN CARTESIAN
  TABLE ACCESS FULL DEPT
  SORT JOIN
  TABLE ACCESS FULL EMP

 

CARTESIAN關鍵字指出了2個表之間做笛卡爾積。如果employee表有n行,dept表有m行,笛卡爾積的結果就是得到n*M行結果。

 

3.5      連接方法適用情況

 

3.5.1       排序—合併連接

 

A. 對於非等值連接,這種連接方式效率高

B. 如果在管理的列上都有索引,效果更好

C. 對於將2個較大的rowsource做連接,該連接方法比NL連接好一些

D. 如果sort merge返回的row source過大,則又會導致使用過多的rowid在表中查詢數據時,數據庫性能下降,因爲過多的IO。

 

3.5.2        嵌套循環(NL)

 

A.    如果驅動表比較小,並且在內部表上有唯一索引,或有高選擇性非唯一索引時,使用這種方法可以得到較好效率。

B.    Nested loops有其它連接方法沒有的有個優點:可以先返回已經連接的行,不必等待所有的連接操作處理完才返回數據。可以實現快速的響應時間

 

3.5.3        哈希連接(HJ)

 

A.    這種連接優於其它2種連接,只能用在CBO優化器中,而且需要設置合適的hash_area_size參數,才能取得好的性能

B.    在2個較大的row source 之間連接時取得較好效率,在一個row source較小時能取得更好的效率

C.     只能用於等值連接

 

 

 摘自:

Oracle執行計劃詳解

http://blog.itpub.net/24478467/viewspace-705754/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章