Oracle調(diào)優(yōu)入門及提高篇
在過去的十年中, Oracle 已經(jīng)成為世界上最專業(yè)的數(shù)據(jù)庫之一。對于 IT 專家來說,就是要確保利用 Oracle 的強大特性來提高他們公司的生產(chǎn)力。最有效的方法之一是通過 Oracle 調(diào)優(yōu)。它有大量的調(diào)整參數(shù)和技術來改進你的 Oracle 數(shù)據(jù)庫的性能。
Oracle 調(diào)優(yōu)是一個復雜的主題。關于調(diào)優(yōu)可以寫整整一本書,不過,為了改善 Oracle 數(shù)據(jù)庫的性能,有一些基本的概念是每個 Oracle DBA 都應該遵從的。
在這篇簡介中,我們將簡要地介紹以下的 Oracle 主題:
外部調(diào)整:
我們應該記住 Oracle 并不是單獨運行的。因此我們將查看一下通過調(diào)整 Oracle 服務器以得到高的性能。
Row re-sequencing 以減少磁盤 I/O :我們應該懂得 Oracle 調(diào)優(yōu)最重要的目標是減少 I/O 。
Oracle SQL 調(diào)整。 Oracle SQL 調(diào)整是 Oracle 調(diào)整中最重要的領域之一,只要通過一些簡單的 SQL 調(diào)優(yōu)規(guī)則就可以大幅度地提升 SQL 語句的性能,這是一點都不奇怪的。
調(diào)整 Oracle 排序:排序對于 Oracle 性能也是有很大影響的。
調(diào)整 Oracle 的競爭:表和索引的參數(shù)設置對于 UPDATE 和 INSERT 的性能有很大的影響。
我們首先從調(diào)整 Oracle 外部的環(huán)境開始。如果內(nèi)存和 CPU 的資源不足的話,任何的 Oracle 調(diào)整都是沒有幫助的。
外部的性能問題
Oracle 并不是單獨運行的。 Oracle 數(shù)據(jù)庫的性能和外部的環(huán)境有很大的關系。這些外部的條件包括有:
CPUCPU 資源的不足令查詢變慢。當查詢超過了 Oracle 服務器的 CPU 性能時,你的數(shù)據(jù)庫性能就受到 CPU 的限制。
內(nèi)存 可用于 Oralce 的內(nèi)存數(shù)量也會影響 SQL 的性能,特別是在數(shù)據(jù)緩沖和內(nèi)存排序方面。
網(wǎng)絡 大量的 Net8 通信令 SQL 的性能變慢。
許多新手都錯誤的認為應該首先調(diào)整 Oracle 數(shù)據(jù)庫,而不是先確認外部資源是否足夠。實際上,如果外部環(huán)境出現(xiàn)瓶頸,再多的 Oracle 調(diào)整都是沒有幫助的。
在檢查Oracle 的外部環(huán)境時,有兩個方面是需要注意的:
1 、當運行隊列的數(shù)目超過服務器的 CPU 數(shù)量時,服務器的性能就會受到 CPU 的限制。補救的方法是為服務器增加額外的 CPU 或者關閉需要很多處理資源的組件,例如 Oracle Parallel Query 。
2 、內(nèi)存分頁。當內(nèi)存分頁時,內(nèi)存容量已經(jīng)不足,而內(nèi)存頁是與磁盤上的交換區(qū)進行交互的。補救的方法是增加更多的內(nèi)存,減少 Oracle SGA 的大小,或者關閉 Oracle 的多線程服務器。
可以使用各種標準的服務器工具來得到服務器的統(tǒng)計數(shù)據(jù),例如 vmstat,glance,top 和 sar 。 DBA 的目標是確保數(shù)據(jù)庫服務器擁有足夠的 CPU 和內(nèi)存資源來處理 Oracle 的請求。
以下讓我們來看一下 Oracle 的 row-resequencing 是如何能夠極大地減少磁盤 I/O 的。
Row-resequencing (行的重新排序)
就象我們上面提到的,有經(jīng)驗的 Oracle DBA 都知道 I/O 是響應時間的***組成部分。其中磁盤 I/O 特別厲害,因為當 Oracle 由磁盤上的一個數(shù)據(jù)文件得到一個數(shù)據(jù)塊時,讀的進程就必須等待物理 I/O 操作完成。磁盤操作要比數(shù)據(jù)緩沖慢 10,000 倍。因此,如果可以令 I/O 最小化,或者減少由于磁盤上的文件競爭而帶來的瓶頸,就可以大大地改善 Oracle 數(shù)據(jù)庫的性能。
如果系統(tǒng)響應很慢,通過減少磁盤 I/O 就可以有一個很快的改善。如果在一個事務中通過按一定的范圍搜索 primary-key 索引來訪問表,那么重新以 CTAS 的方法組織表將是你減少 I/O 的首要策略。通過在物理上將行排序為和 primary-key 索引一樣的順序,就可以加快獲得數(shù)據(jù)的速度。
就象磁盤的負載平衡一樣,行的重新排序也是很簡單的,而且也很快。通過與其它的 DBA 管理技巧一起使用,就可以在高 I/O 的系統(tǒng)中大大地減少響應的時間。
在高容量的在線事務處理環(huán)境中( online transaction processing , OLTP ),數(shù)據(jù)是由一個 primary 索引得到的,重新排序表格的行就可以令連續(xù)塊的順序和它們的 primary 索引一樣,這樣就可以在索引驅動的表格查詢中,減少物理 I/O 并且改善響應時間。這個技巧僅在應用選擇多行的時候有用,或者在使用索引范圍搜索和應用發(fā)出多個查詢來得到連續(xù)的 key 時有效。對于隨機的唯一 primary-key (主鍵)的訪問將不會由行重新排序中得到好處。
讓我們看一下它是如何工作的??紤]以下的一個 SQL 的查詢,它使用一個索引來得到 100 行:
selectsalaryfromemployeewherelast_name like 'B%';
這個查詢將會使用 last_name_index ,搜索其中的每一行來得到目標行。這個查詢將會至少使用 100 次物理磁盤的讀取,因為 employee 的行存放在不同的數(shù)據(jù)塊中。
不過,如果表中的行已經(jīng)重新排序為和 last_name_index 的一樣,同樣的查詢又會怎樣處理呢?我們可以看到這個查詢只需要三次的磁盤 I/O 就讀完全部 100 個員工的資料(一次用作索引的讀取,兩次用作數(shù)據(jù)塊的讀取),減少了 97 次的塊讀取。
重新排序帶來的性能改善的程度在于在你開始的時候行的亂序性如何,以及你需要由序列中訪問多少行。至于一個表中的行與索引的排序鍵的匹配程度,可以查看數(shù)據(jù)字典中的 dba_indexes 和 dba_tables 視圖得到。
在 dba_indexes 的視圖中,查看 clustering_factor 列。如果 clustering_factor 的值和表中的塊數(shù)目大致一樣,那么你的表和索引的順序是一樣的。不過,如果 clustering_factor 的值接近表中的行數(shù)目,那就表明表格中的行和索引的順序是不一樣的。
行重新排序的作用是不可以小看的。在需要進行大范圍的索引搜索的大表中,行重新排序可以令查詢的性能提高三倍。
一旦你已經(jīng)決定重新排序表中的行,你可以使用以下的工具之一來重新組織表格。
使用 Oracle 的 Create Table As Select (CTAS) 語法來拷貝表格
Oracle9i 自帶的表格重新組織工具
以下,我們來看以下 SQL 語句的調(diào)優(yōu)。
SQL 調(diào)優(yōu)
Oracle 的 SQL 調(diào)優(yōu)是一個復雜的主題,甚至是需要整本書來介紹 Oracle SQL 調(diào)優(yōu)的細微差別。不過有一些基本的規(guī)則是每個 Oracle DBA 都需要跟從的,這些規(guī)則可以改善他們系統(tǒng)的性能。 SQL 調(diào)優(yōu)的目標是簡單的:
消除不必要的大表全表搜索:不必要的全表搜索導致大量不必要的 I/O ,從而拖慢整個數(shù)據(jù)庫的性能。調(diào)優(yōu)專家首先會根據(jù)查詢返回的行數(shù)目來評價 SQL 。在一個有序的表中,如果查詢返回少于 40% 的行,或者在一個無序的表中,返回少于 7% 的行,那么這個查詢都可以調(diào)整為使用一個索引來代替全表搜索。對于不必要的全表搜索來說,最常見的調(diào)優(yōu)方法是增加索引??梢栽诒碇屑尤霕藴实?B 樹索引,也可以加入 bitmap 和基于函數(shù)的索引。要決定是否消除一個全表搜索,你可以仔細檢查索引搜索的 I/O 開銷和全表搜索的開銷,它們的開銷和數(shù)據(jù)塊的讀取和可能的并行執(zhí)行有關,并將兩者作對比。在一些情況下,一些不必要的全表搜索的消除可以通過強制使用一個 index 來達到,只需要在 SQL 語句中加入一個索引的提示就可以了。
在全表搜索是一個最快的訪問方法時,將小表的全表搜索放到緩存中,調(diào)優(yōu)專家應該確保有一個專門的數(shù)據(jù)緩沖用作行緩沖。在 Oracle7 中,你可以使用 alter table xxx cache 語句,在 Oracle8 或以上,小表可以被強制為放到 KEEP 池中緩沖。
確保***的索引使用 :對于改善查詢的速度,這是特別重要的。有時 Oracle 可以選擇多個索引來進行查詢,調(diào)優(yōu)專家必須檢查每個索引并且確保 Oracle 使用正確的索引。它還包括 bitmap 和基于函數(shù)的索引的使用。
確保***的 JOIN 操作:有些查詢使用 NESTED LOOP join 快一些,有些則是 HASH join 快一些,另外一些則是 sort-merge join 更快。
這些規(guī)則看來簡單,不過它們占 SQL 調(diào)優(yōu)任務的 90% ,并且它們也無需完全懂得 Oracle SQL 的內(nèi)部運作。以下我們來簡單概覽以下 Oracle SQL 的優(yōu)化。
我們首先簡要查看 Oracle 的排序,并且看一看排序操作是如何影響性能的。
調(diào)整 Oracle 的排序操作
排序是 SQL 語法中一個小的方面,但很重要,在 Oracle 的調(diào)整中,它常常被忽略。當使用 create index 、 ORDER BY 或者 GROUP BY 的語句時, Oracle 數(shù)據(jù)庫將會自動執(zhí)行排序的操作。通常,在以下的情況下 Oracle 會進行排序的操作:
使用 Order by 的 SQL 語句
使用 Group by 的 SQL 語句
在創(chuàng)建索引的時候
進行 table join 時,由于現(xiàn)有索引的不足而導致 SQL 優(yōu)化器調(diào)用 MERGE SORT
當與 Oracle 建立起一個 session 時,在內(nèi)存中就會為該 session 分配一個私有的排序區(qū)域。如果該連接是一個專用的連接 (dedicated connection) ,那么就會根據(jù) initora 中 sort_area_size 參數(shù)的大小在內(nèi)存中分配一個 Program Global Area (PGA) 。如果連接是通過多線程服務器建立的,那么排序的空間就在 large_pool 中分配。不幸的是,對于所有的 session ,用做排序的內(nèi)存量都必須是一樣的,我們不能為需要更大排序的操作分配額外的排序區(qū)域。因此,設計者必須作出一個平衡,在分配足夠的排序區(qū)域以避免發(fā)生大的排序任務時出現(xiàn)磁盤排序( disk sorts )的同時,對于那些并不需要進行很大排序的任務,就會出現(xiàn)一些浪費。當然,當排序的空間需求超出了 sort_area_size 的大小時,這時將會在 TEMP 表空間中分頁進行磁盤排序。磁盤排序要比內(nèi)存排序大概慢 14,000 倍。
上面我們已經(jīng)提到,私有排序區(qū)域的大小是有 initora 中的 sort_area_size 參數(shù)決定的。每個排序所占用的大小由 initora 中的 sort_area_retained_size 參數(shù)決定。當排序不能在分配的空間中完成時,就會使用磁盤排序的方式,即在 Oracle 實例中的臨時表空間中進行。
磁盤排序的開銷是很大的,有幾個方面的原因。首先,和內(nèi)存排序相比較,它們特別慢;而且磁盤排序會消耗臨時表空間中的資源。 Oracle 還必須分配緩沖池塊來保持臨時表空間中的塊。無論什么時候,內(nèi)存排序都比磁盤排序好,磁盤排序將會令任務變慢,并且會影響 Oracle 實例的當前任務的執(zhí)行。還有,過多的磁盤排序將會令 free buffer waits 的值變高,從而令其它任務的數(shù)據(jù)塊由緩沖中移走。
接著,讓我們看一下 Oracle 的競爭,并且看一下表的存儲參數(shù)的設置是如何影響 SQL UPDATE 和 INSERT 語句的性能的。
調(diào)整Oracle 的競爭
Oracle 的其中一個優(yōu)點時它可以管理每個表空間中的自由空間。 Oracle 負責處理表和索引的空間管理,這樣就可以讓我們無需懂得 Oracle 的表和索引的內(nèi)部運作。不過,對于有經(jīng)驗的 Oracle 調(diào)優(yōu)專家來說,他需要懂得 Oracle 是如何管理表的 extent 和空閑的數(shù)據(jù)塊。對于調(diào)整擁有高的 insert 或者 update 的系統(tǒng)來說,這是非常重要的。
要精通對象的調(diào)整,你需要懂得 freelists 和 freelist 組的行為,它們和 pctfree 及 pctused 參數(shù)的值有關。這些知識對于企業(yè)資源計劃( ERP )的應用是特別重要的,因為在這些應用中,不正確的表設置通常是 DML 語句執(zhí)行慢的原因。
對于初學者來說,最常見的錯誤是認為默認的 Oracle 參數(shù)對于所有的對象都是***的。除非磁盤的消耗不是一個問題,否則在設置表的 pctfree 和 pctused 參數(shù)時,就必須考慮平均的行長和數(shù)據(jù)庫的塊大小,這樣空的塊才會被有效地放到 freelists 中。當這些設置不正確時,那些得到的 freelists 也是 "dead" 塊,因為它們沒有足夠的空間來存儲一行,這樣將會導致明顯的處理延遲。
Freelists 對于有效地重新使用 Oracle 表空間中的空間是很重要的,它和 pctfree 及 pctused 這兩個存儲參數(shù)的設置直接相關。通過將 pctused 設置為一個高的值,這時數(shù)據(jù)庫就會盡快地重新使用塊。不過,高性能和有效地重新使用表的塊是對立的。在調(diào)整 Oracle 的表格和索引時,需要認真考慮究竟需要高性能還是有效的空間重用,并且據(jù)此來設置表的參數(shù)。以下我們來看一下這些 freelists 是如何影響 Oracle 的性能的。
當有一個請求需要插入一行到表格中時, Oracle 就會到 freelist 中尋找一個有足夠的空間來容納一行的塊。你也許知道, freelist 串是放在表格或者索引的***個塊中,這個塊也被稱為段頭( segment header )。 pctfree 和 pctused 參數(shù)的唯一目的就是為了控制塊如何在 freelists 中進出。雖然 freelist link 和 unlink 是簡單的 Oracle 功能,不過設置 freelist link (pctused) 和 unlink (pctfree) 對 Oracle 的性能確實有影響。
由 DBA 的基本知識知道, pctfree 參數(shù)是控制 freelist un-links 的(即將塊由 freelists 中移除)。設置 pctfree=10 意味著每個塊都保留 10% 的空間用作行擴展。 pctused 參數(shù)是控制 freelist re-links 的。設置 pctused=40 意味著只有在塊的使用低于 40% 時才會回到表格的 freelists 中。
許多新手對于一個塊重新回到 freelists 后的處理都有些誤解。其實,一旦由于一個刪除的操作而令塊被重新加入到 freelist 中,它將會一直保留在 freelist 中即使空間的使用超過了 60% ,只有在到達 pctfree 時才會將數(shù)據(jù)塊由 freelist 中移走。
表格和索引存儲參數(shù)設置的要求總結
以下的一些規(guī)則是用來設置 freelists, freelist groups, pctfree 和 pctused 存儲參數(shù)的。你也知道, pctused 和 pctfree 的值是可以很容易地通過 alter table 命令修改的,一個好的 DBA 應該知道如何設置這些參數(shù)的***值。
有效地使用空間和高性能之間是有矛盾的,而表格的存儲參數(shù)就是控制這個方面的矛盾:
對于需要有效地重新使用空間,可以設置一個高的 pctused 值,不過副作用是需要額外的 I/O 。一個高的 pctused 值意味著相對滿的塊都會放到 freelist 中。因此,這些塊在再次滿之前只可以接受幾行記錄,從而導致更多的 I/O 。
追求高性能的話,可以將 pctused 設置為一個低的值,這意味著 Oracle 不會將數(shù)據(jù)塊放到 freelists 中直到它幾乎是空的。那么塊將可以在滿之前接收更多的行,因此可以減少插入操作的 I/O 。要記住 Oracle 擴展新塊的性能要比重新使用現(xiàn)有的塊高。對于 Oracle 來說,擴展一個表比管理 freelists 消耗更少的資源。
讓我們來回顧一下設置對象存儲參數(shù)的一些常見規(guī)則:
經(jīng)常將 pctused 設置為可以接收一條新行。對于不能接受一行的 free blocks 對于我們來說是沒有用的。如果這樣做,將會令 Oracle 的性能變慢,因為 Oracle 將在擴展表來得到一個空的塊之前,企圖讀取 5 個 "dead" 的 free block 。
表格中 chained rows 的出現(xiàn)意味著 pctfree 太低或者是 db_block_size 太少。在很多情況下, RAW 和 LONG RAW 列都很巨大,以至超過了 Oracle 的***塊的大小,這時 chained rows 是不可以避免的。
如果一個表有同時插入的 SQL 語句,那么它需要有同時刪除的語句。運行單一個一個清除的工作將會把全部的空閑塊放到一個 freelist 中,而沒有其它包含有任何空閑塊的 freelists 出現(xiàn)。
freelist 參數(shù)應該設置為表格同時更新的***值。例如,如果在任何時候,某個表最多有 20 個用戶執(zhí)行插入的操作,那么該表的參數(shù)應該設置為 freelists=20 。
應記住的是 freelist groups 參數(shù)的值只是對于 Oracle Parallel Server 和 Real Application Clusters 才是有用的。對于這類 Oracle , freelist groups 應該設置為訪問該表格的 Oracle Parallel Server 實例的數(shù)目。
Oracle數(shù)據(jù)庫調(diào)優(yōu)是Oracle數(shù)據(jù)庫優(yōu)化的重要組成部分,是改進Oracle數(shù)據(jù)庫性能的途徑之一,希望上文中涉及到的內(nèi)容對大家能夠有所幫助。