Oracle服務(wù)進程如何處理用戶進程的請求?
Oracle服務(wù)器進程在完成用戶進程的請求過程中,主要完成如下7個任務(wù):0.sql語句的解析;1.數(shù)據(jù)塊的讀入db buffer(寫入數(shù)據(jù)緩存);2.記日志;3.為事務(wù)建立回滾段;4.本事務(wù)修改數(shù)據(jù)塊;5.放入dirty list;6.用戶commit或rollback。接下來我們就分別來介紹一下這7個任務(wù)的相關(guān)知識,希望能夠?qū)δ兴鶐椭?/p>
0.sql語句的解析
下面要講oracle服務(wù)器進程如可處理用戶進程的請求,當(dāng)一用戶進程提交一個sql時:update temp set a=a*2;首先oracle服務(wù)器進程從用戶進程把信息接收到后,在PGA中就要此進程分配所需內(nèi)存,存儲相關(guān)的信息,如在會話內(nèi)存存儲相關(guān)的登錄信息等;
服務(wù)器進程把這個sql語句的字符轉(zhuǎn)化為ASCII等效數(shù)字碼,接著這個ASCII碼被傳遞給一個HASH函數(shù),并返回一個hash值,然后服務(wù)器進程將到shared pool中的library cache中去查找是否存在相同的hash值,如果存在,服務(wù)器進程將使用這條語句已高速緩存在SHARED POOL的library cache中的已分析過的版本來執(zhí)行,如果不存在,服務(wù)器進程將在CGA中,配合UGA內(nèi)容對sql,進行語法分析,首先檢查語法的正確性,接著對語句中涉及的表,索引,視圖等對象進行解析,并對照數(shù)據(jù)字典檢查這些對象的名稱以及相關(guān)結(jié)構(gòu),并根據(jù)ORACLE選用的優(yōu)化模式以及數(shù)據(jù)字典中是否存在相應(yīng)對象的統(tǒng)計數(shù)據(jù)和是否使用了存儲大綱來生成一個執(zhí)行計劃或從存儲大綱中選用一個執(zhí)行計劃,然后再用數(shù)據(jù)字典核對此用戶對相應(yīng)對象的執(zhí)行權(quán)限,***生成一個編譯代碼。
ORACLE將這條sql語句的本身實際文本、HASH值、編譯代碼、與此語名相關(guān)聯(lián)的任何統(tǒng)計數(shù)據(jù)和該語句的執(zhí)行計劃緩存在SHARED POOL的library cache中。服務(wù)器進程通過SHARED POOL 鎖存器(shared pool latch)來申請可以向哪些共享PL/SQL區(qū)中緩存這此內(nèi)容,也就是說被SHARED POOL鎖存器鎖定的PL/SQL區(qū)中的塊不可被覆蓋,因為這些塊可能被其它進程所使用。在SQL分析階段將用到LIBRARY CACHE,從數(shù)據(jù)字典中核對表、視圖等結(jié)構(gòu)的時候,需要將數(shù)據(jù)字典從磁盤讀入LIBRARY CACHE,因此,在讀入之前也要使用LIBRARY CACHE鎖存器(library cache pin,library cache lock)來申請用于緩存數(shù)據(jù)字典。
到現(xiàn)在為止,這個sql語句已經(jīng)被編譯成可執(zhí)行的代碼了,但還不知道要操作哪些數(shù)據(jù),所以服務(wù)器進程還要為這個sql準(zhǔn)備預(yù)處理數(shù)據(jù)。
1.數(shù)據(jù)塊的讀入db buffer
Oracle處理數(shù)據(jù),都需要把數(shù)據(jù)讀取到內(nèi)存中(即db buffer中),首先服務(wù)器進程要判斷所需數(shù)據(jù)是否在db buffer存在,如果存在且可用,則直接獲取該數(shù)據(jù),同時根據(jù)LRU算法增加其訪問計數(shù);如果buffer不存在所需數(shù)據(jù),則要從數(shù)據(jù)文件上讀取。首先服務(wù)器進程將在表頭部請求TM鎖(保證此事務(wù)執(zhí)行過程其他用戶不能修改表的結(jié)構(gòu)),如果成功加TM鎖,再請求一些行級鎖(TX鎖),如果TM、TX鎖都成功加鎖,那么才開始從數(shù)據(jù)文件讀數(shù)據(jù),在讀數(shù)據(jù)之前,要先為讀取的文件準(zhǔn)備好buffer空間。服務(wù)器進程需要掃面LRU list尋找free db buffer,掃描的過程中,服務(wù)器進程會把發(fā)現(xiàn)的所有已經(jīng)被修改過的db buffer注冊到dirty list中,
這些dirty buffer會通過dbwr的觸發(fā)條件,隨后會被寫出到數(shù)據(jù)文件,找到了足夠的空閑buffer,就可以把請求的數(shù)據(jù)行所在的數(shù)據(jù)塊放入到db buffer的空閑區(qū)域或者覆蓋已經(jīng)被擠出LRU list的非臟數(shù)據(jù)塊緩沖區(qū),并排列在LRU list的頭部,也就是在數(shù)據(jù)塊放入DB BUFFER之前也是要先申請db buffer中的鎖存器,成功加鎖后,才能讀數(shù)據(jù)到db buffer。
2.記日志
現(xiàn)在數(shù)據(jù)已經(jīng)被讀入到db buffer了,現(xiàn)在服務(wù)器進程將該語句所影響的并被讀入db buffer中的這些行數(shù)據(jù)的rowid及要更新的原值和新值及scn等信息從PGA逐條的寫入redo log buffer中。在寫入redo log buffer之前也要事先請求redo log buffer的鎖存器,成功加鎖后才開始寫入,當(dāng)寫入達到redo log buffer大小的三分之一或?qū)懭肓窟_到1M或超過三秒后或發(fā)生檢查點時或者dbwr之前發(fā)生,都會觸發(fā)lgwr進程把redo log buffer的數(shù)據(jù)寫入磁盤上的redo file文件中(這個時候會產(chǎn)生log file sync等待事件),已經(jīng)被寫入redo file的redo log buffer所持有的鎖存器會被釋放,并可被后來的寫入信息覆蓋,redo log buffer是循環(huán)使用的。Redo file也是循環(huán)使用的,當(dāng)一個redo file 寫滿后,lgwr進程會自動切換到下一redo file(這個時候可能出現(xiàn)log file switch(checkpoint complete)等待事件)。如果是歸檔模式,歸檔進程還要將前一個寫滿的redo file文件的內(nèi)容寫到歸檔日志文件中(這個時候可能出現(xiàn)log file switch(archiving needed))。
3.為事務(wù)建立回滾段
在完成本事務(wù)所有相關(guān)的redo log buffer之后,服務(wù)器進程開始改寫這個db buffer的塊頭部事務(wù)列表并寫入scn,然后copy包含這個塊的頭部事務(wù)列表及scn信息的數(shù)據(jù)副本放入回滾段中,將這時回滾段中的信息稱為數(shù)據(jù)塊的“前映像“,這個”前映像“用于以后的回滾、恢復(fù)和一致性讀。(回滾段可以存儲在專門的回滾表空間中,這個表空間由一個或多個物理文件組成,并專用于回滾表空間,回滾段也可在其它表空間中的數(shù)據(jù)文件中開辟。)
4.本事務(wù)修改數(shù)據(jù)塊
準(zhǔn)備工作都已經(jīng)做好了,現(xiàn)在可以改寫db buffer塊的數(shù)據(jù)內(nèi)容了,并在塊的頭部寫入回滾段的地址。
5. 放入dirty list
如果一個行數(shù)據(jù)多次update而未commit,則在回滾段中將會有多個“前映像“,除了***個”前映像“含有scn信息外,其他每個“前映像“的頭部都有scn信息和“前前映像”回滾段地址。一個update只對應(yīng)一個scn,然后服務(wù)器進程將在dirty list中建立一條指向此db buffer塊的指針(方便dbwr進程可以找到dirty list的db buffer數(shù)據(jù)塊并寫入數(shù)據(jù)文件中)。
接著服務(wù)器進程會從數(shù)據(jù)文件中繼續(xù)讀入第二個數(shù)據(jù)塊,重復(fù)前一數(shù)據(jù)塊的動作,數(shù)據(jù)塊的讀入、記日志、建立回滾段、修改數(shù)據(jù)塊、放入dirty list。當(dāng)dirty queue的長度達到閥值(一般是25%),服務(wù)器進程將通知dbwr把臟數(shù)據(jù)寫出,就是釋放db buffer上的鎖存器,騰出更多的free db buffer。前面一直都是在說明oracle一次讀一個數(shù)據(jù)塊,其實oracle可以一次讀入多個數(shù)據(jù)塊(db_file_multiblock_read_count來設(shè)置一次讀入塊的個數(shù))
說明:
在預(yù)處理的數(shù)據(jù)已經(jīng)緩存在db buffer或剛剛被從數(shù)據(jù)文件讀入到db buffer中,就要根據(jù)sql語句的類型來決定接下來如何操作。
1>如果是select語句,則要查看db buffer塊的頭部是否有事務(wù),如果有事務(wù),則從回滾段中讀取數(shù)據(jù);如果沒有事務(wù),則比較select的scn和db buffer塊頭部的scn,如果前者小于后者,仍然要從回滾段中讀取數(shù)據(jù);如果前者大于后者,說明這是一非臟緩存,可以直接讀取這個db buffer塊的中內(nèi)容。
2>如果是DML操作,則即使在db buffer中找到一個沒有事務(wù),而且SCN比自己小的非臟緩存數(shù)據(jù)塊,服務(wù)器進程仍然要到表的頭部對這條記錄申請加鎖,加鎖成功才能進行后續(xù)動作,如果不成功,則要等待前面的進程解鎖后才能進行動作(這個時候阻塞是tx鎖阻塞)。
6.用戶commit或rollback
到現(xiàn)在為止,數(shù)據(jù)已經(jīng)在db buffer或數(shù)據(jù)文件中修改完成,但是否要***寫到數(shù)文件中,要由用戶來決定commit(保存更改到數(shù)據(jù)文件)和rollback(撤銷數(shù)據(jù)的更改),下面來看看在commit和rollback時,oracle都在做什么。
用戶執(zhí)行commit命令
只有當(dāng)sql語句所影響的所有行所在的***一個塊被讀入db buffer并且重做信息被寫入redo log buffer(僅指日志緩沖區(qū),而不包括日志文件)之后,用戶才可以發(fā)去commit命令,commit觸發(fā)lgwr進程,但不強制立即dbwr來釋放所有相應(yīng)db buffer塊的鎖(也就是no-force-at-commit,即提交不強制寫),也就是說有可能雖然已經(jīng)commit了,但在隨后的一段時間內(nèi)dbwr還在寫這條sql語句所涉及的數(shù)據(jù)塊。表頭部的行鎖并不在commit之后立即釋放,而是要等dbwr進程完成之后才釋放,這就可能會出現(xiàn)一個用戶請求另一用戶已經(jīng)commit的資源不成功的現(xiàn)象。
A .從Commit和dbwr進程結(jié)束之間的時間很短,如果恰巧在commit之后,dbwr未結(jié)束之前斷電,因為commit之后的數(shù)據(jù)已經(jīng)屬于數(shù)據(jù)文件的內(nèi)容,但這部分文件沒有完全寫入到數(shù)據(jù)文件中。所以需要前滾。由于commit已經(jīng)觸發(fā)lgwr,這些所有未來得及寫入數(shù)據(jù)文件的更改會在實例重啟后,由smon進程根據(jù)重做日志文件來前滾,完成之前commit未完成的工作(即把更改寫入數(shù)據(jù)文件)。
B.如果未commit就斷電了,因為數(shù)據(jù)已經(jīng)在db buffer更改了,沒有commit,說明這部分?jǐn)?shù)據(jù)不屬于數(shù)據(jù)文件,由于dbwr之前觸發(fā)lgwr(也就是只要數(shù)據(jù)更改,肯定要先有l(wèi)og),所有DBWR在數(shù)據(jù)文件上的修改都會被先一步記入重做日志文件,實例重啟后,SMON進程再根據(jù)重做日志文件來回滾。其實smon的前滾回滾是根據(jù)檢查點來完成的,當(dāng)一個全部檢查點發(fā)生的時候,首先讓LGWR進程將redo log buffer中的所有緩沖(包含未提交的重做信息)寫入重做日志文件,然后讓dbwr進程將db buffer已提交的緩沖寫入數(shù)據(jù)文件(不強制寫未提交的)。然后更新控制文件和數(shù)據(jù)文件頭部的SCN,表明當(dāng)前數(shù)據(jù)庫是一致的,在相鄰的兩個檢查點之間有很多事務(wù),有提交和未提交的。像前面的前滾回滾比較完整的說法是如下的說明:
A.發(fā)生檢查點之前斷電,并且當(dāng)時有一個未提交的改變正在進行,實例重啟之后,SMON進程將從上一個檢查點開始核對這個檢查點之后記錄在重做日志文件中已提交的和未提交改變,因為dbwr之前會觸發(fā)lgwr,所以dbwr對數(shù)據(jù)文件的修改一定會被先記錄在重做日志文件中。因此,斷電前被DBWN寫進數(shù)據(jù)文件的改變將通過重做日志文件中的記錄進行還原,叫做回滾,
B. 如果斷電時有一個已提交,但dbwr動作還沒有完全完成的改變存在,因為已經(jīng)提交,提交會觸發(fā)lgwr進程,所以不管dbwr動作是否已完成,該語句將要影響的行及其產(chǎn)生的結(jié)果一定已經(jīng)記錄在重做日志文件中了,則實例重啟后,SMON進程根據(jù)重做日志文件進行前滾.
實例失敗后用于恢復(fù)的時間由兩個檢查點之間的間隔大小來決定,可以通個四個參數(shù)設(shè)置檢查點執(zhí)行的頻率:
Log_checkpoint_interval:決定兩個檢查點之間寫入重做日志文件的系統(tǒng)物理塊(redo blocks)的大小,默認(rèn)值是0,無限制。
log_checkpoint_timeout: 決定了兩個檢查點之間的時間長度(秒),默認(rèn)值是1800s。
fast_start_io_target:決定了用于恢復(fù)時需要處理的塊的多少,默認(rèn)值是0,無限制。
fast_start_mttr_target:直接決定了用于恢復(fù)的時間的長短,默認(rèn)值是0,無限制(SMON進程執(zhí)行的前滾和回滾與用戶的回滾是不同的,SMON是根據(jù)重做日志文件進行前滾或回滾,而用戶的回滾一定是根據(jù)回滾段的內(nèi)容進行回滾的。在這里要說一下回滾段存儲的數(shù)據(jù),假如是delete操作,則回滾段將會記錄整個行的數(shù)據(jù),假如是update,則回滾段只記錄被修改了的字段的變化前的數(shù)據(jù)(前映像),也就是沒有被修改的字段是不會被記錄的,假如是insert,則回滾段只記錄插入記錄的rowid。
這樣假如事務(wù)提交,那回滾段中簡單標(biāo)記該事務(wù)已經(jīng)提交;假如是回退,則如果操作是delete,回退的時候把回滾段中數(shù)據(jù)重新寫回數(shù)據(jù)塊,操作如果是update,則把變化前數(shù)據(jù)修改回去,操作如果是insert,則根據(jù)記錄的rowid 把該記錄刪除。)
用戶執(zhí)行rollback
如果用戶rollback,則服務(wù)器進程會根據(jù)數(shù)據(jù)文件塊和DB BUFFER中塊的頭部的事務(wù)列表和SCN以及回滾段地址找到回滾段中相應(yīng)的修改前的副本,并且用這些原值來還原當(dāng)前數(shù)據(jù)文件中已修改但未提交的改變。如果有多個“前映像”,服務(wù)器進程會在一個“前映像”的頭部找到“前前映像”的回滾段地址,一直找到同一事務(wù)下的最早的一個“前映像”為止。一旦發(fā)出了COMMIT,用戶就不能rollback,這使得COMMIT后DBWR進程還沒有全部完成的后續(xù)動作得到了保障。到現(xiàn)在為例一個事務(wù)已經(jīng)結(jié)束了。
說明:
TM鎖:符合lock機制的,用于保護對象的定義不被修改。
TX鎖:這個鎖代表一個事務(wù),是行級鎖,用數(shù)據(jù)塊頭、數(shù)據(jù)記錄頭的一些字段表示,也是符合lock機制,有resource structure、lock structure、enqueue算法。
關(guān)于Oracle事務(wù)的完整流程分析的相關(guān)知識就介紹到這里了,希望本次的介紹能夠?qū)δ兴斋@!
【編輯推薦】


2010-09-01 15:40:10




