硬盤(pán)的原理以及SQL Server如何利用硬盤(pán)原理減少I(mǎi)O
簡(jiǎn)介
硬盤(pán)作為現(xiàn)在計(jì)算機(jī)內(nèi)部***的機(jī)械存儲(chǔ)部件,速度相比較內(nèi)存和Cache而言會(huì)慢好幾個(gè)數(shù)量級(jí)。但所幸的是,硬盤(pán)的成本是遠(yuǎn)遠(yuǎn)低于內(nèi)存的。因此硬盤(pán)作為***存儲(chǔ)器是比較合適的,所幸的是為了克服硬盤(pán)慢速帶來(lái)的問(wèn)題,操作系統(tǒng)會(huì)對(duì)硬盤(pán)的使用有一個(gè)優(yōu)化,下面讓我們先來(lái)看硬盤(pán)的原理。
硬盤(pán)的原理簡(jiǎn)介
一個(gè)典型的硬盤(pán)如圖1所示。
圖1.一個(gè)典型的硬盤(pán)
由圖1可以看到,硬盤(pán)上磁盤(pán)進(jìn)行高速旋轉(zhuǎn),磁頭臂在磁盤(pán)上來(lái)回移動(dòng)進(jìn)行數(shù)據(jù)的讀取和寫(xiě)入。這也是為什么我們說(shuō)硬盤(pán)是一個(gè)機(jī)械部件的原因。通過(guò)圖2我們可以更抽象的來(lái)看磁盤(pán)讀取數(shù)據(jù)的方式。磁盤(pán)由圓心向外被劃分為多個(gè)磁道,所謂擺臂在磁道上來(lái)回移動(dòng)也就是擺臂在磁道間的來(lái)回移動(dòng),
圖2.更抽象的硬盤(pán)原理
除了磁道之外,一個(gè)磁道還會(huì)被劃分為多個(gè)扇區(qū),如圖3所示。
圖3.磁道,扇區(qū)和簇
我們可以看到,扇區(qū)是硬盤(pán)尋址的最小單位,但實(shí)際上分配空間時(shí)最小的單位是簇(Clusters)。這也就是為什么硬盤(pán)上文件的實(shí)際大小和占用空間不同的原因。
磁盤(pán)讀寫(xiě)數(shù)據(jù)所花費(fèi)的時(shí)間
在了解了硬盤(pán)的基本原理之后,不難推算出,磁盤(pán)上數(shù)據(jù)讀取和寫(xiě)入所花費(fèi)的時(shí)間可以分為三個(gè)部分。
1.尋道時(shí)間
所謂尋道時(shí)間,其實(shí)就是磁臂移動(dòng)到指定磁道所需要的時(shí)間,這部分時(shí)間又可以分為兩部分:
尋道時(shí)間=啟動(dòng)磁臂的時(shí)間+常數(shù)*所需移動(dòng)的磁道數(shù)
其中常數(shù)和驅(qū)動(dòng)器的的硬件相關(guān),啟動(dòng)磁臂的時(shí)間也和驅(qū)動(dòng)器的硬件相關(guān)
2.旋轉(zhuǎn)延遲
旋轉(zhuǎn)延遲指的是把扇區(qū)移動(dòng)到磁頭下面的時(shí)間。這個(gè)時(shí)間和驅(qū)動(dòng)器的轉(zhuǎn)數(shù)有關(guān),我們通常所說(shuō)的7200轉(zhuǎn)的硬盤(pán)的轉(zhuǎn)就是這個(gè)。
平均旋轉(zhuǎn)延遲=1/(2*轉(zhuǎn)數(shù)每秒)
比如7200轉(zhuǎn)的硬盤(pán)的平均旋轉(zhuǎn)延遲等于1/2*120≈4.17ms
旋轉(zhuǎn)延遲只和硬件有關(guān)。
3.傳輸時(shí)間
傳輸時(shí)間指的是從磁盤(pán)讀出或?qū)?shù)據(jù)寫(xiě)入磁盤(pán)的時(shí)間。
這個(gè)時(shí)間等于:所需要讀寫(xiě)的字節(jié)數(shù)/每秒轉(zhuǎn)速*每扇區(qū)的字節(jié)數(shù)
磁盤(pán)調(diào)度算法
通過(guò)上面硬盤(pán)讀寫(xiě)數(shù)據(jù)所分的三部分時(shí)間不難看出,大部分參數(shù)是和硬件相關(guān)的,操作系統(tǒng)無(wú)力優(yōu)化。只有所需移動(dòng)的磁道數(shù)是可以通過(guò)操作系統(tǒng)來(lái)進(jìn)行控制的,所以減少所需移動(dòng)的磁道數(shù)是減少整個(gè)硬盤(pán)的讀寫(xiě)時(shí)間的唯一辦法。
因?yàn)椴僮飨到y(tǒng)內(nèi)可能會(huì)有很多進(jìn)程需要調(diào)用磁盤(pán)進(jìn)行讀寫(xiě),因此合理的安排磁頭的移動(dòng)以減少尋道時(shí)間就是磁盤(pán)調(diào)度算法的目的所在,幾種常見(jiàn)的磁盤(pán)調(diào)度算法如下。
1.先來(lái)先服務(wù)算法(FCFS)
這種算法將對(duì)磁盤(pán)的IO請(qǐng)求進(jìn)行排隊(duì),按照先后順序依次調(diào)度磁頭。這種算法的特點(diǎn)是簡(jiǎn)單,合理,但沒(méi)有減少尋道時(shí)間
2.最短尋道時(shí)間算法(SSFT)
這種算法優(yōu)先執(zhí)行所需讀寫(xiě)的磁道離當(dāng)前磁頭最近的請(qǐng)求。這保證了平均尋道時(shí)間的最短,但缺點(diǎn)顯而易見(jiàn):離當(dāng)前磁頭比較遠(yuǎn)的尋道請(qǐng)求有可能一直得不到執(zhí)行,這也就是所謂的“饑餓現(xiàn)象”。
3.掃描算法(SCAN)
這種算法在磁頭的移動(dòng)方向上選擇離當(dāng)前磁頭所在磁道最近的請(qǐng)求作為下一次服務(wù)對(duì)象,這種改進(jìn)有效避免了饑餓現(xiàn)象,并且減少了尋道時(shí)間。但缺點(diǎn)依然存在,那就是不利于最遠(yuǎn)一端的磁道訪問(wèn)請(qǐng)求。
3.循環(huán)掃描算法(CSCAN)
也就是俗稱(chēng)的電梯算法,這種算法是對(duì)最短尋道時(shí)間算法的改進(jìn)。這種算法就像電梯一樣,只能從1樓上到15樓,然后再?gòu)?5樓下到1樓。這種算法的磁頭調(diào)度也是如此,磁頭只能從最里磁道到磁盤(pán)最外層磁道。然后再由最外層磁道移動(dòng)到最里層磁道,磁頭是單向移動(dòng)的,在此基礎(chǔ)上,才執(zhí)行和最短尋道時(shí)間算法一樣的,離當(dāng)前磁頭最近的尋道請(qǐng)求。這種算法改善了SCAN算法,消除了對(duì)兩端磁道請(qǐng)求的不公平。
其它優(yōu)化手段以及SQL Server是如何利用這些手段
除去上面通過(guò)磁盤(pán)調(diào)度算法來(lái)減少尋道時(shí)間之外。還有一些其它的手段同樣可以利用,在開(kāi)始之前,我首先想講一下局部性原理。
局部性原理
所謂的局部性原理分為時(shí)間和空間上的。由于程序是順序執(zhí)行的,因此當(dāng)前數(shù)據(jù)段附近的數(shù)據(jù)有可能在接下來(lái)的時(shí)間被訪問(wèn)到。這就是所謂的空間局部性。而程序中還存在著循環(huán),因此當(dāng)前被訪問(wèn)的數(shù)據(jù)有可能在短時(shí)間內(nèi)被再次訪問(wèn),這就是所謂的時(shí)間局部性原理。
因此在了解了局部性原理之后,我們可以通過(guò)以下幾個(gè)手段來(lái)減少磁盤(pán)的IO。
提前讀(Read-Ahead)
提前讀也被稱(chēng)為預(yù)讀。根據(jù)磁盤(pán)原理我們不難看出,在磁盤(pán)讀取數(shù)據(jù)的過(guò)程中,真正讀取數(shù)據(jù)的時(shí)間只占了很小一部分,而大部分時(shí)間花在了旋轉(zhuǎn)延遲和尋道時(shí)間上,因此根據(jù)空間局部性原理,SQL Server每次讀取數(shù)據(jù)的時(shí)間不僅僅讀取所需要的數(shù)據(jù),還將所請(qǐng)求數(shù)據(jù)附近的數(shù)據(jù)進(jìn)行讀取。這在SQL Server中被稱(chēng)為預(yù)讀。SQL Server通過(guò)預(yù)讀可以有效的減少I(mǎi)O請(qǐng)求。
延遲寫(xiě)(Delayed write)
同樣,根據(jù)時(shí)間局部性原理,最近被訪問(wèn)的數(shù)據(jù)有可能再次被訪問(wèn),因此當(dāng)數(shù)據(jù)更改之后不馬上寫(xiě)回磁盤(pán),而是繼續(xù)放在內(nèi)存中,以備接下來(lái)的請(qǐng)求讀取或者修改,是減少磁盤(pán)IO的另一個(gè)有效手段,在SQL Server中,實(shí)現(xiàn)延遲寫(xiě)是buffer pool,當(dāng)一個(gè)修改請(qǐng)求被commit之后,并不會(huì)立刻寫(xiě)回磁盤(pán),而是將修改的頁(yè)標(biāo)記為“臟”,然后根據(jù)某種機(jī)制通過(guò)checkpoint或lazy writer寫(xiě)回磁盤(pán),關(guān)于checkpoint和lazy writer的原理,可以參考我之前的文章:淺談SQL Server中的事務(wù)日志(二)----事務(wù)日志在修改數(shù)據(jù)時(shí)的角色.
優(yōu)化物理分布
根據(jù)磁盤(pán)原理不難看出,如果所請(qǐng)求的數(shù)據(jù)在磁盤(pán)物理磁道之間是連續(xù)的,那么會(huì)減少磁頭的移動(dòng)距離,從而減少了尋道時(shí)間。因此相關(guān)的數(shù)據(jù)放在連續(xù)的物理空間上會(huì)減少尋道時(shí)間。SQL Server中,通過(guò)聚集索引使得數(shù)據(jù)根據(jù)主鍵在物理磁盤(pán)上連續(xù),從而減少了尋道時(shí)間。
總結(jié)
本文談了硬盤(pán)的原理,讀寫(xiě)數(shù)據(jù)所花費(fèi)的時(shí)間以及如何減少讀寫(xiě)數(shù)據(jù)所花的時(shí)間,并且簡(jiǎn)單概述了SQL Server是如何利用這些特性減少I(mǎi)O的占用。理解磁盤(pán)的原理是進(jìn)行性能調(diào)優(yōu)的基礎(chǔ)之一。