自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

數(shù)據(jù)庫(kù)索引,終于懂了

數(shù)據(jù)庫(kù) MySQL
不少朋友留言問MySQL索引底層的實(shí)現(xiàn),讓我講講B+樹。知其然,知其所以然,講懂B+樹其實(shí)不難,今天更多聊聊“數(shù)據(jù)庫(kù)索引,為什么設(shè)計(jì)成這樣”。

不少朋友留言問MySQL索引底層的實(shí)現(xiàn),讓我講講B+樹。知其然,知其所以然,講懂B+樹其實(shí)不難,今天更多聊聊“數(shù)據(jù)庫(kù)索引,為什么設(shè)計(jì)成這樣”。

問題1. 數(shù)據(jù)庫(kù)為什么要設(shè)計(jì)索引?

圖書館存了1000W本圖書,要從中找到《架構(gòu)師之路》,一本本查,要查到什么時(shí)候去?于是,圖書管理員設(shè)計(jì)了一套規(guī)則:

  • 一樓放歷史類,二樓放文學(xué)類,三樓放IT類…
  • IT類,又分軟件類,硬件類…
  • 軟件類,又按照書名排序…

以便快速找到一本書。 與之類比,數(shù)據(jù)庫(kù)存儲(chǔ)了1000W條數(shù)據(jù),要從中找到name=”shenjian”的記錄,一條條查,要查到什么時(shí)候去?

于是,要有索引,用于提升數(shù)據(jù)庫(kù)的查找速度。

問題2. 哈希(hash)比樹(tree)更快,索引結(jié)構(gòu)為什么要設(shè)計(jì)成樹型?

加速查找速度的數(shù)據(jù)結(jié)構(gòu),常見的有兩類:

  • 哈希,例如HashMap,查詢/插入/修改/刪除的平均時(shí)間復(fù)雜度都是O(1);
  • 樹,例如平衡二叉搜索樹,查詢/插入/修改/刪除的平均時(shí)間復(fù)雜度都是O(lg(n));

可以看到,不管是讀請(qǐng)求,還是寫請(qǐng)求,哈希類型的索引,都要比樹型的索引更快一些,那為什么,索引結(jié)構(gòu)要設(shè)計(jì)成樹型呢?

畫外音:80%的同學(xué),面試都答不出來。

索引設(shè)計(jì)成樹形,和SQL的需求相關(guān)。

對(duì)于這樣一個(gè)單行查詢的SQL需求:

  1. select * from t where name=”shenjian”; 

確實(shí)是哈希索引更快,因?yàn)槊看味贾徊樵円粭l記錄。

畫外音:所以,如果業(yè)務(wù)需求都是單行訪問,例如passport,確實(shí)可以使用哈希索引。

但是對(duì)于排序查詢的SQL需求:

  • 分組:group by
  • 排序:order by
  • 比較:<、>

哈希型的索引,時(shí)間復(fù)雜度會(huì)退化為O(n),而樹型的“有序”特性,依然能夠保持O(log(n)) 的高效率。

任何脫離需求的設(shè)計(jì)都是耍流氓。

多說一句,InnoDB并不支持手動(dòng)建立哈希索引。

畫外音:自適應(yīng)hash索引,是InnoDB內(nèi)核機(jī)制。

問題3. 數(shù)據(jù)庫(kù)索引為什么使用B+樹?

為了保持知識(shí)體系的完整性,簡(jiǎn)單介紹下幾種樹。

第一種:二叉搜索樹

二叉搜索樹,如上圖,是最為大家所熟知的一種數(shù)據(jù)結(jié)構(gòu),就不展開介紹了,它為什么不適合用作數(shù)據(jù)庫(kù)索引?

  • 當(dāng)數(shù)據(jù)量大的時(shí)候,樹的高度會(huì)比較高,數(shù)據(jù)量大的時(shí)候,查詢會(huì)比較慢;
  • 每個(gè)節(jié)點(diǎn)只存儲(chǔ)一個(gè)記錄,可能導(dǎo)致一次查詢有很多次磁盤IO;

畫外音:這個(gè)樹經(jīng)常出現(xiàn)在大學(xué)課本里,所以最為大家所熟知。

第二種:B樹

B樹,如上圖,它的特點(diǎn)是:

  • 不再是二叉搜索,而是m叉搜索;
  • 葉子節(jié)點(diǎn),非葉子節(jié)點(diǎn),都存儲(chǔ)數(shù)據(jù);
  • 中序遍歷,可以獲得所有節(jié)點(diǎn);

畫外音,實(shí)在不想介紹這個(gè)特性:非根節(jié)點(diǎn)包含的關(guān)鍵字個(gè)數(shù)j滿足,(┌m/2┐)-1 <= j <= m-1,節(jié)點(diǎn)分裂時(shí)要滿足這個(gè)條件。

B樹被作為實(shí)現(xiàn)索引的數(shù)據(jù)結(jié)構(gòu)被創(chuàng)造出來,是因?yàn)樗軌蛲昝赖睦?ldquo;局部性原理”。

(1) 什么是局部性原理?

局部性原理的邏輯是這樣的:

  • 內(nèi)存讀寫塊,磁盤讀寫慢,而且慢很多;
  • 磁盤預(yù)讀:磁盤讀寫并不是按需讀取,而是按頁(yè)預(yù)讀,一次會(huì)讀一頁(yè)的數(shù)據(jù),每次加載更多的數(shù)據(jù),如果未來要讀取的數(shù)據(jù)就在這一頁(yè)中,可以避免未來的磁盤IO,提高效率;

畫外音:通常,操作系統(tǒng)一頁(yè)數(shù)據(jù)是4K,MySQL的一頁(yè)是16K。

  • 局部性原理:軟件設(shè)計(jì)要盡量遵循“數(shù)據(jù)讀取集中”與“使用到一個(gè)數(shù)據(jù),大概率會(huì)使用其附近的數(shù)據(jù)”,這樣磁盤預(yù)讀能充分提高磁盤IO;

(2) B樹為何適合做索引?

  • 由于是m分叉的,高度能夠大大降低;
  • 每個(gè)節(jié)點(diǎn)可以存儲(chǔ)j個(gè)記錄,如果將節(jié)點(diǎn)大小設(shè)置為頁(yè)大小,例如4K,能夠充分的利用預(yù)讀的特性,極大減少磁盤IO;

第三種:B+樹

B+樹,如上圖,仍是m叉搜索樹,在B樹的基礎(chǔ)上,做了一些改進(jìn):

(1)非葉子節(jié)點(diǎn)不再存儲(chǔ)數(shù)據(jù),數(shù)據(jù)只存儲(chǔ)在同一層的葉子節(jié)點(diǎn)上;

畫外音:B+樹中根到每一個(gè)節(jié)點(diǎn)的路徑長(zhǎng)度一樣,而B樹不是這樣。

(2)葉子之間,增加了鏈表,獲取所有節(jié)點(diǎn),不再需要中序遍歷;

這些改進(jìn)讓B+樹比B樹有更優(yōu)的特性:

  • 范圍查找,定位min與max之后,中間葉子節(jié)點(diǎn),就是結(jié)果集,不用中序回溯;畫外音:范圍查詢?cè)赟QL中用得很多,這是B+樹比B樹最大的優(yōu)勢(shì)。
  • 葉子節(jié)點(diǎn)存儲(chǔ)實(shí)際記錄行,記錄行相對(duì)比較緊密的存儲(chǔ),適合大數(shù)據(jù)量磁盤存儲(chǔ);非葉子節(jié)點(diǎn)存儲(chǔ)記錄的PK,用于查詢加速,適合內(nèi)存存儲(chǔ);
  • 非葉子節(jié)點(diǎn),不存儲(chǔ)實(shí)際記錄,而只存儲(chǔ)記錄的KEY的話,那么在相同內(nèi)存的情況下,B+樹能夠存儲(chǔ)更多索引;

最后,量化說下,為什么m叉的B+樹比二叉搜索樹的高度大大大大降低?

大概計(jì)算一下:

(1)局部性原理,將一個(gè)節(jié)點(diǎn)的大小設(shè)為一頁(yè),一頁(yè)4K,假設(shè)一個(gè)KEY有8字節(jié),一個(gè)節(jié)點(diǎn)可以存儲(chǔ)500個(gè)KEY,即j=500;

(2)m叉樹,大概m/2<= j <=m,即可以差不多是1000叉樹;

(3)那么:

一層樹:1個(gè)節(jié)點(diǎn),1*500個(gè)KEY,大小4K

二層樹:1000個(gè)節(jié)點(diǎn),1000*500=50W個(gè)KEY,大小1000*4K=4M

三層樹:1000*1000個(gè)節(jié)點(diǎn),1000*1000*500=5億個(gè)KEY,大小1000*1000*4K=4G

畫外音:額,幫忙看下有沒有算錯(cuò)。

可以看到,存儲(chǔ)大量的數(shù)據(jù)(5億),并不需要太高樹的深度(高度3),索引也不是太占內(nèi)存(4G)。

總結(jié)

(1)數(shù)據(jù)庫(kù)索引用于加速查詢;

(2)雖然哈希索引是O(1),樹索引是O(log(n)),但SQL有很多“有序”需求,故數(shù)據(jù)庫(kù)使用樹型索引;

(3)InnoDB不支持手動(dòng)創(chuàng)建哈希索引;

(4)數(shù)據(jù)預(yù)讀的思路是:磁盤讀寫并不是按需讀取,而是按頁(yè)預(yù)讀,一次會(huì)讀一頁(yè)的數(shù)據(jù),每次加載更多的數(shù)據(jù),以便未來減少磁盤IO

(5)局部性原理:軟件設(shè)計(jì)要盡量遵循“數(shù)據(jù)讀取集中”與“使用到一個(gè)數(shù)據(jù),大概率會(huì)使用其附近的數(shù)據(jù)”,這樣磁盤預(yù)讀能充分提高磁盤IO

(6)數(shù)據(jù)庫(kù)的索引最常用B+樹:

  • 很適合磁盤存儲(chǔ),能夠充分利用局部性原理,磁盤預(yù)讀;
  • 很低的樹高度,能夠存儲(chǔ)大量數(shù)據(jù);
  • 索引本身占用的內(nèi)存很小;
  • 能夠很好的支持單點(diǎn)查詢,范圍查詢,有序性查詢;

【本文為51CTO專欄作者“58沈劍”原創(chuàng)稿件,轉(zhuǎn)載請(qǐng)聯(lián)系原作者】

戳這里,看該作者更多好文

 

責(zé)任編輯:趙寧寧 來源: 51CTO專欄
相關(guān)推薦

2021-04-12 10:52:10

InnoDB索引數(shù)據(jù)庫(kù)

2011-03-16 08:54:45

Oracle數(shù)據(jù)庫(kù)索引

2024-07-17 09:32:19

2024-09-23 09:12:20

2024-10-16 07:58:48

2024-12-03 08:16:57

2021-11-01 23:57:03

數(shù)據(jù)庫(kù)哈希索引

2021-04-09 08:21:25

數(shù)據(jù)庫(kù)索引數(shù)據(jù)

2023-12-20 12:49:05

索引數(shù)據(jù)檢索數(shù)據(jù)庫(kù)

2020-08-10 07:52:30

MySQL數(shù)據(jù)庫(kù)

2021-11-30 21:10:19

數(shù)據(jù)庫(kù)B樹索引

2022-03-22 15:05:15

MySQL緩沖池

2017-02-08 11:00:50

數(shù)據(jù)庫(kù)索引類型

2024-09-12 08:28:32

2024-10-17 13:05:35

神經(jīng)網(wǎng)絡(luò)算法機(jī)器學(xué)習(xí)深度學(xué)習(xí)

2022-03-30 09:23:15

MySQL緩沖

2010-06-22 10:17:15

Oracle數(shù)據(jù)庫(kù)

2021-11-11 17:34:54

數(shù)據(jù)庫(kù)索引面試

2021-11-12 05:00:00

數(shù)據(jù)庫(kù)索引技術(shù)

2018-06-26 15:58:06

數(shù)據(jù)庫(kù)MySQL索引優(yōu)化
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)