一篇了解全MVCC
一、什么是MVCC
MVCC,全稱Multi-Version Concurrency Control,即多版本并發(fā)控制,是一種并發(fā)控制的方法,一般用在數(shù)據(jù)庫管理系統(tǒng)中,實現(xiàn)對數(shù)據(jù)庫的并發(fā)訪問,比如在MySQL InnoDB中主要是為了提高數(shù)據(jù)庫并發(fā)性能,不用加鎖,非阻塞并發(fā)讀。MVCC多版本并發(fā)控制指的是維持一個數(shù)據(jù)的多個版本,使得讀寫操作沒有沖突,快照讀是MySQL為實現(xiàn)MVCC的一個非阻塞讀功能。
二、解決的問題是什么
1.三種數(shù)據(jù)庫并發(fā)場景:
讀讀:不會有問題,也不需要并發(fā)控制
讀寫:有線程安全問題,可能會造成事務(wù)隔離性問題,可能遇到臟讀、幻讀、不可重復(fù)讀
寫寫:有線程安全問題,可能存在更新丟失問題
2.解決問題
MVCC是一種用來解決讀寫沖突的無鎖并發(fā)控制,也就是為事務(wù)分配單項增長的時間戳,為每個修改保存一個版本,版本與事務(wù)時間戳關(guān)聯(lián),讀操作只讀該事務(wù)開始前的數(shù)據(jù)庫的快照(隔離級別RC下),所以MVCC為數(shù)據(jù)庫解決了以下問題:
在并發(fā)讀寫數(shù)據(jù)庫時,可以做到在讀操作時不用阻塞寫操作,寫操作也不用阻塞讀操作,提高了數(shù)據(jù)庫并發(fā)讀寫的性能
解決臟讀、幻讀、不可重復(fù)讀等事務(wù)隔離問題,但是不能解決更新丟失問題
三、實現(xiàn)原理
主要依賴于記錄中的三個隱藏字段、undolog,read view來實現(xiàn)的。
1.隱藏字段
每行記錄,除了我們自定義的字段外,還有數(shù)據(jù)庫隱式定義的DB_TRX_ID,DB_ROLL_PTR,DB_ROW_ID等字段:
DB_ROW_ID:6字節(jié),隱藏的主鍵,如果數(shù)據(jù)表沒有主鍵,那么innodb會自動生成一個6字節(jié)的row_id
DB_TRX_ID:6字節(jié),最近修改事務(wù)id,記錄創(chuàng)建這條記錄或者最后一次修改該記錄的事務(wù)id
DB_ROLL_PTR:7字節(jié),回滾指針,用于配合undo日志,指向上一個舊版本
假設(shè)記錄如圖所示:
2.undolog
1)概念
回滾日志,表示在進行insert,delete,update操作的時候產(chǎn)生的方便回滾的日志。
2)說明
當進行insert操作的時候,產(chǎn)生的undolog,只在事務(wù)回滾的時候需要用到,并且在事務(wù)提交之后可以被立刻丟棄。
當進行update和delete操作的時候,產(chǎn)生的undolog,不僅僅在事務(wù)回滾的時候需要,在快照讀的時候也需要,所以不能隨便刪除,只有在快照讀或事務(wù)回滾不涉及該日志時,對應(yīng)的日志才會被purge線程統(tǒng)一清除。
當數(shù)據(jù)發(fā)生更新和刪除操作的時候,實際只是設(shè)置了舊記錄的deleted_bit,并不是將過時的記錄刪除,因為為了節(jié)省磁盤空間,innodb有專門的purge線程來清除deleted_bit為true的記錄,如果某個記錄的deleted_id為true,并且DB_TRX_ID相對于purge線程的read view 可見,那么這條記錄就是可以被清除的。
3)undolog生成的記錄鏈表
(1)假設(shè)有一個事務(wù)編號為1的事務(wù)向表中插入一條記錄,那么此時行數(shù)據(jù)如下,主鍵id=1,事務(wù)id=1
(2)假設(shè)有第二個事務(wù)(編號為2)對該記錄的name做出修改,改為lisi
底層操作:在事務(wù)2修改該行記錄數(shù)據(jù)時1、對該數(shù)據(jù)行加排他鎖2、把該行數(shù)據(jù)拷貝到undolog中,作為舊記錄3、修改該行name為lisi,并且修改事務(wù)id=2,回滾指針指向拷貝到undolog的副本記錄中4、提交事務(wù),釋放鎖。
(3)假設(shè)有第三個事務(wù)(編號為3)對該記錄的age做了修改,改為32。
底層操作:在事務(wù)3修改該行記錄數(shù)據(jù)時1、對該數(shù)據(jù)行加排他鎖2、把該行數(shù)據(jù)拷貝到undolog中,作為舊記錄,發(fā)現(xiàn)該行記錄已經(jīng)有undolog了,那么最新的舊數(shù)據(jù)作為鏈表的表頭,插在該行記錄的undolog最前面3、修改該行age為32歲,并且修改事務(wù)id=3,回滾指針指向剛剛拷貝的undolog的副本記錄4、提交事務(wù),釋放鎖。
。從上述的一系列圖中,可以發(fā)現(xiàn),不同事務(wù)或者相同事務(wù)的對同一記錄的修改,會導(dǎo)致該記錄的undolog生成一條記錄版本鏈表,undolog的表頭就是最新的舊記錄,表尾就是最早的舊記錄。
3.read view
Read View是事務(wù)進行快照讀操作的時候生產(chǎn)的讀視圖,在該事務(wù)執(zhí)行快照讀的那一刻,系統(tǒng)會生成一個此刻的快照,記錄并維護系統(tǒng)此刻活躍事務(wù)的id,用來做可見性判斷的,也就是說當某個事務(wù)在執(zhí)行快照讀的時候,對該記錄創(chuàng)建一個Read View的視圖,把它當作條件去判斷當前事務(wù)能夠看到哪個版本的數(shù)據(jù),有可能讀取到的是最新的數(shù)據(jù),也有可能讀取到的是當前行記錄的undolog中某個版本的數(shù)據(jù)。
1)可見性算法
將要被修改的數(shù)據(jù)的最新記錄中的DB_TRX_ID(當前事務(wù)id)取出來,與系統(tǒng)此刻其他活躍事務(wù)的id去對比,如果DB_TRX_ID跟Read View的屬性做了比較,不符合可見性,那么就通過DB_ROLL_PTR回滾指針去取出undolog中的DB_TRX_ID做比較,即遍歷鏈表中的DB_TRX_ID,直到找到滿足條件的DB_TRX_ID,這個DB_TRX_ID所在的舊記錄就是當前事務(wù)能看到的數(shù)據(jù)。
2)可見性規(guī)則
首先要知道Read View中的三個全局屬性:
- trx_list:一個數(shù)值列表,用來維護Read View生成時刻系統(tǒng)正活躍的事務(wù)ID(1,2,3)
- up_limit_id:記錄trx_list列表中事務(wù)ID最小的ID(1)
- low_limit_id:Read View生成時,系統(tǒng)即將分配的下一個事務(wù)ID(4)
具體的比較規(guī)則如下:
首先比較DB_TRX_ID < up_limit_id如果小于,則當前事務(wù)能看到DB_TRX_ID所在的記錄如果大于等于,則進入下一個判斷。
接下來判斷DB_TRX_ID >= low_limit_id如果大于等于,則代表DB_TRX_ID所在的記錄在Read View生成后才出現(xiàn)的,那么對于當前事務(wù)不可見如果小于,則進入下一步判斷。
判斷DB_TRX_ID是否在活躍事務(wù)中,trx_list包含DB_TRX_ID如果包含,則代表在Read View生成的時候,這個事務(wù)還是活躍狀態(tài),未commit的數(shù)據(jù),當前事務(wù)也是看不到如果不包含,則說明這個事務(wù)在Read View生成之前就已經(jīng)開始commit,那么修改的結(jié)果是能夠看見的。
流程圖如下:
總結(jié):兩種情況可見
- DB_TRX_ID < up_limit_id
- DB_TRX_ID不在trx_list范圍內(nèi),且小于low_limit_id
四、整個流程
假設(shè)有四個事務(wù)同時在執(zhí)行,如下圖所示:
事務(wù)1 | 事務(wù)2 | 事務(wù)3 | 事務(wù)4 |
事務(wù)開始 | 事務(wù)開始 | 事務(wù)開始 | 事務(wù)開始 |
… | … | … | 修改且已提交 |
進行中 | 快照讀 | 進行中 | |
… | … | … |
從上述表格中,我們可以看到,當事務(wù)2對某行數(shù)據(jù)執(zhí)行了快照讀,數(shù)據(jù)庫為該行數(shù)據(jù)生成一個Read View視圖,可以看到事務(wù)1和事務(wù)3還在活躍狀態(tài),事務(wù)4在事務(wù)2快照讀的前一刻提交了更新,所以在Read View中記錄了系統(tǒng)當前活躍事務(wù)1,3,維護在一個列表中。同時可以看到up_limit_id的值為1,而low_limit_id為5,如下圖所示:
在上述的例子中,只有事務(wù)4修改過該行記錄,并且在事務(wù)2進行快照讀前,就提交了事務(wù),所以該行當前數(shù)據(jù)的undolog如下所示:
當事務(wù)2在快照讀該行記錄時,會拿著該行記錄的DB_TRX_ID去跟up_limit_id、lower_limit_id和活躍事務(wù)列表進行比較,從而判讀事務(wù)2能看到該行記錄的版本是哪個。具體流程如下:
拿該行記錄的事務(wù)ID(4)去跟Read View中的up_limit_id(1)相比較,判斷是否小于,通過對比發(fā)現(xiàn)不小于,所以不符合條件
繼續(xù)判斷4是否大于等于low_limit_id(5),通過比較發(fā)現(xiàn)也不大于,所以不符合條件。
判斷事務(wù)4是否處理trx_list列表中,發(fā)現(xiàn)不在列表中,那么符合可見性條件。
所以事務(wù)4修改后提交的最新結(jié)果對事務(wù)2的快照是可見的,因此事務(wù)2讀取到的最新數(shù)據(jù)記錄是事務(wù)4所提交的版本,而事務(wù)4提交的版本也是全局角度的最新版本。
五、拓展
1、當前讀
讀取的是最新版本的記錄,讀取時還要保證其它并發(fā)事務(wù)不能修改當前記錄,會對讀取的記錄進行加鎖。
共享鎖:select lock in share mode。
排它鎖:select for update 、update、 insert 、delete。
2、快照/普通讀
1)概念
像不加鎖的select操作,就是快照讀,即非阻塞讀。
2)為什么會出現(xiàn)快照讀?
是基于提高并發(fā)性能的考慮,快照讀是基于多版本并發(fā)控制,即MVCC,可以認為MVCC是行鎖的一個變種,但它在很多情況下,避免了加鎖操作,降低了開銷;
3)存在問題
基于多版本,讀到的并不一定是數(shù)據(jù)的最新版本,可能是之前的歷史版本。
串行級別下的快照讀會退化成當前讀
3、RC、RR級別下的InnoDB快照讀有什么不同
因為Read View生成時機的不同,從而造成RC、RR級別下快照讀的結(jié)果的不同。
在RC級別下,事務(wù)中,每次快照讀都會新生成一個快照和Read View,這就是我們在RC級別下的事務(wù)中可以看到別的事務(wù)提交的更新的原因。
在RR級別下,某個事務(wù)的對某條記錄的第一次快照讀會創(chuàng)建一個快照(Read View),將當前系統(tǒng)活躍的其他事務(wù)記錄起來,此后在調(diào)用快照讀的時候,還是使用的是同一個Read View,所以只要當前事務(wù)在其他事務(wù)提交更新之前使用過快照讀,那么之后的快照讀使用的都是同一個Read View,之后的修改對其不可見。
總結(jié):在RC隔離級別下,是每個快照讀都會生成并獲取最新的Read View,而在RR隔離級別下,則是同一個事務(wù)中的第一個快照讀才會創(chuàng)建Read View,之后的快照讀獲取的都是同一個Read View。
4、 RR級別下怎么避免幻讀
快照讀,和避免不可重復(fù)讀原理一樣,可以避免幻讀。
當前讀,因為每次都是讀取新的快照,如果需要避免,可以通過加鎖限制新增或刪除相同條件的數(shù)據(jù)?