深入剖析 MySQL 某條執(zhí)行過程
在當(dāng)今的信息技術(shù)領(lǐng)域,MySQL 作為廣泛應(yīng)用的數(shù)據(jù)庫管理系統(tǒng),其重要性不言而喻。當(dāng)我們執(zhí)行一條 MySQL 語句時,看似簡單的操作背后,實則隱藏著一個嚴(yán)謹(jǐn)而有序的執(zhí)行過程。深入探究這一過程,對于理解數(shù)據(jù)庫的運作原理以及優(yōu)化數(shù)據(jù)庫性能都具有至關(guān)重要的意義。本文將以專業(yè)且深入的視角,對一條 MySQL 執(zhí)行過程展開全面而細(xì)致的解析,旨在揭示其中蘊含的關(guān)鍵步驟和邏輯,帶領(lǐng)讀者一同領(lǐng)略 MySQL 執(zhí)行機制的精妙與嚴(yán)謹(jǐn)。
一、詳解MySQL基本架構(gòu)
從宏觀角度來說MySQL架構(gòu)可以分為server層和存儲引擎層,其中Server層核心組件如下:
- 連接器:進(jìn)行身份認(rèn)證和權(quán)限相關(guān)校驗。
- 查詢緩存:查詢緩存主要是用于提高查詢效率而加的一層緩存,但在MySQL8.0已廢棄。
- 分析器:對SQL執(zhí)行動作、語法、詞法進(jìn)行分析。
- 優(yōu)化器:對要被執(zhí)行的SQL進(jìn)行優(yōu)化。
- 執(zhí)行器:執(zhí)行SQL查詢語句,然后從存儲引擎返回結(jié)果。
接下來說說存儲引擎,對于MySQL而言存儲引擎是支持插拔的,常見的存儲引擎有myisam、innodb、memory,而MySQL默認(rèn)的使用的是innodb。
二、詳解MySQL各層的組件分工內(nèi)容與職責(zé)
1. MySQL客戶端和服務(wù)端的通信協(xié)議
對于MySQL而言,客戶端和服務(wù)端之間采用的是一種半雙工的通信協(xié)議,這樣就意味著同一時刻要么客戶端向服務(wù)端發(fā)送數(shù)據(jù),要么服務(wù)端向客戶端發(fā)送數(shù)據(jù)。所以客戶端必須完整的收到服務(wù)端響應(yīng)的數(shù)據(jù)才能斷開連接。
這個交互流程也在告訴我們,進(jìn)行大量數(shù)據(jù)查詢的時候,若無必要盡可能使用limit進(jìn)行分頁查詢,避免這種半雙工的通信方式導(dǎo)致客戶端接收導(dǎo)致資源長時間的占用。
2. 連接器
主要判斷用戶登錄的賬戶密碼是否正確,如果賬戶密碼都正確,則進(jìn)行權(quán)限查詢,注意在本次連接期間只要不斷開,無論外界如何修改權(quán)限,這個會話的權(quán)限都是以連接器查詢到的為主。
3. 查詢緩存
MySQL8已經(jīng)廢棄的功能,這個功能常用于結(jié)果的緩存復(fù)用以提高查詢性能,例如我們進(jìn)行select * from table where id=1的查詢。第一次發(fā)現(xiàn)緩存中沒有,就從數(shù)據(jù)庫中查出來并放到緩存中下次可以在復(fù)用。 MySQL8之所以廢棄是因為數(shù)據(jù)庫中的數(shù)據(jù)經(jīng)常更新導(dǎo)致緩存失效,就需要清空這個緩存,這期間和開銷是非常沒必要的,所以索性廢掉這個功能。
這里筆者也補充一下MySQL8廢棄查詢緩存的原因:
- 鎖競爭:為了保存查詢緩存正確性,我們必須在多線程讀寫操作時針對特定緩存進(jìn)行鎖定保證臨界資源的線程安全,這勢必導(dǎo)致高并發(fā)場景下因為緩存鎖競爭而出現(xiàn)性能瓶頸。
- 緩存失效:在進(jìn)行insert或者update修改時,MySQL都會將表級緩存清空,所以針對寫多的場景下查詢緩存命中率不高。
- 內(nèi)存負(fù)擔(dān):為緩存數(shù)據(jù)就需要一定的內(nèi)存空間,如果查詢和表的量級都十分龐大的話,那么就需要占用較大的內(nèi)存資源。
- 維護(hù)成本:查詢緩存的存在增加了MySQL的復(fù)雜性,為保存緩存一致性,針對緩存添加、刪除等邏輯都需要有更加完善且復(fù)雜的舉措,這勢必增加開發(fā)和維護(hù)的成本,容易導(dǎo)致各種潛在的錯誤和性能問題。
4. 分析器
分析器主要是負(fù)責(zé)SQL解析和預(yù)處理,它會將客戶端發(fā)來的查詢一句進(jìn)行解析生成一顆解析樹,然后解析器根據(jù)自定義規(guī)則對SQL語句進(jìn)行詞法和語法分析和語義分析。
- 詞法分析:分析關(guān)鍵字是否拼寫有誤,并通過關(guān)鍵字判斷這條SQL做什么。
- 語法分析:對這條SQL語句的語法進(jìn)行檢查。
- 語義分析:完成上述步驟后,分析器會解析出對應(yīng)的表名和查詢條件,將其放到MySQL服務(wù)器內(nèi)部的特定數(shù)據(jù)結(jié)構(gòu)上開始后續(xù)的步驟。
5. 優(yōu)化器
分析器分析無誤之后,說明這條語句是可以正常執(zhí)行的。MySQL優(yōu)化器就會通過分析找出成本最小的一種方式生成執(zhí)行計劃,交由執(zhí)行器執(zhí)行。
對此,我們這里不妨補充一下MySQL能夠自己處理的一些優(yōu)化類型:
將外連接轉(zhuǎn)為內(nèi)連接:某些場景之下,我們可能會用到外連接,但是在where或者庫表結(jié)構(gòu)的調(diào)整之后,我們的左外連接后者右外連接可能不存在null的連接。 例如下面這段sql,我們對table2進(jìn)行左外連接,但是我們條件關(guān)聯(lián)之后,table1對應(yīng)的id值在table2中都有,那么查詢優(yōu)化器可能就會對其進(jìn)行優(yōu)化,會將其轉(zhuǎn)換為內(nèi)連接,更加精確的去匹配索要查詢的行避免沒必要的掃描。
SELECT *
FROM table1
LEFT JOIN table2
ON table1.id = table2.id;
舉個例子,上面的sql如果table1對應(yīng)的id在table2中都有,那么sql語句就會變成這樣
SELECT *
FROM table1
LEFT JOIN table2
ON table1.id = table2.id
WHERE table2.id IS NOT NULL;
然后優(yōu)化器就會將其優(yōu)化成這樣,直接通過inner join進(jìn)行查詢,讓優(yōu)化器根據(jù)兩個表的量級讓小表驅(qū)動大表:
SELECT *
FROM table1
inner JOIN table2
ON table1.id = table2.id;
使用代數(shù)等價變換規(guī)則,例如我們的查詢條件是5=5 and a>5,那么MySQL就會將其優(yōu)化為:a>5,再比如說我們有這樣一條SQL,條件語句為(a<b and b=c) and a=5,那么MySQL就會將其優(yōu)化為: b > 5 and b=c。
優(yōu)化min、max,對于建立索引的數(shù)據(jù)表來說,使用索引所在列的進(jìn)行最大值和最小值查詢時,MySQL優(yōu)化器會將這種sql判定為常數(shù)查詢,例如筆者建立的下面這張表,我們將table1的id設(shè)置為索引。 然后查詢下面這句sql:
SELECT min(id)
FROM table1;
使用explain查看其執(zhí)行計劃,可以看到執(zhí)行計劃顯示Select tables optimized away,原因很簡單,這句查詢僅僅是需要table1表的id最小值即通過索引就可以直接定位到數(shù)據(jù)列,本質(zhì)上通過b+樹最左端即可:
這就意味查詢不需要通過表的維度進(jìn)行查詢,而是用一個常數(shù)查詢來代替。
預(yù)估并轉(zhuǎn)為為常數(shù)表達(dá)式:最典型的例子就select * from table1 where id=1+2,MySQL優(yōu)化器就會將其轉(zhuǎn)為select * fromt table1 where id=3。
索引掃描:這個無需多說,當(dāng)要查詢的列都包含在索引中時,無需進(jìn)行回表查詢,避免沒必要的IO操作。
提前終止查詢:對于limit查詢而言,MySQL優(yōu)化器會在查詢到需要的數(shù)據(jù)時直接終止查詢,還有一些比較特殊的,例如對于某些不可能的條件,MySQL優(yōu)化器也會提前將其終止,例如我們將tbale1的id設(shè)置為主鍵,然后鍵入下面這句查詢語句。
selct * from table1 where id is null
那么執(zhí)行計劃就會顯示Impossible WHERE從而提前終止查詢:
6. 執(zhí)行器
對用戶進(jìn)行權(quán)限校驗,若權(quán)限校驗不通過則報錯,然后執(zhí)行器就會根據(jù)優(yōu)化器優(yōu)化后的執(zhí)行計劃(這里的執(zhí)行計劃是一個數(shù)據(jù)結(jié)構(gòu)),執(zhí)行器根據(jù)這個數(shù)據(jù)結(jié)構(gòu)順序調(diào)用存儲引擎提供的API進(jìn)行數(shù)據(jù)查詢,并將查詢結(jié)果返回給客戶端,從而完成一次完整的SQL查詢。
三、用兩條完整的sql走一遍上述的流程
了解SQL執(zhí)行過程之后,我們不妨通過一個實際的例子帶入一下了解全過程。
1. 查詢語句的執(zhí)行流程
sql如下所示:
select * from table where b=1 and a=2;
按照我們上文所說的過程:
- 校驗用戶賬戶密碼是否正確,查詢權(quán)限
- 查詢緩存(mysql8.0之前),若有數(shù)據(jù)則直接返回,反之下一步
- 分析器進(jìn)行詞法、語法分析。
- MySQL優(yōu)化器進(jìn)行優(yōu)化,以本SQL為例,假如我們創(chuàng)建了一個聯(lián)合索引(a,b),那么優(yōu)化器就會遵循最左匹配原則將a,b條件進(jìn)行調(diào)換。
- 進(jìn)行權(quán)限校驗,若有權(quán)限執(zhí)行器進(jìn)行查詢,將結(jié)果從引擎取出返回。
2. 更新語句的執(zhí)行流程
更新語句我們示例SQL如下:
update table set a=1 where b=1;
步驟還是一樣:
- 連接器的工作,不多贅述
- 查詢緩存,若有則直接操作這條數(shù)據(jù)(mysql8不走這一步)
- 分析器的工作,不多贅述
- 進(jìn)行更新操作,首先調(diào)用引擎API,將這個修改寫入內(nèi)存中,同時記錄redo log,此時redo log是prepare狀態(tài),然后執(zhí)行器執(zhí)行操作,完成后提交事務(wù)成功,寫入bin log,最后redo log更新為commit。
- 更新完成。
小結(jié)
通過對這條 MySQL 執(zhí)行過程的詳盡剖析,我們清晰地了解到從語句輸入到最終結(jié)果輸出所經(jīng)歷的各個關(guān)鍵階段。我們看到了查詢優(yōu)化器如何智能地選擇最優(yōu)執(zhí)行計劃,索引在加速數(shù)據(jù)檢索方面的關(guān)鍵作用,以及數(shù)據(jù)存儲和讀取的具體機制。這不僅讓我們對 MySQL 的內(nèi)部工作原理有了更深入的認(rèn)知,也為我們在實際應(yīng)用中更好地利用 MySQL 、優(yōu)化性能提供了堅實的理論基礎(chǔ)。然而,MySQL 的奧秘遠(yuǎn)不止于此,這僅僅是一個開始,未來我們還需不斷探索和學(xué)習(xí),以更好地駕馭這一強大的數(shù)據(jù)庫工具。