調(diào)度和調(diào)度器

　　Solaris的調(diào)度單位是kthread_t，FreeBSd是thread，Linux是task_struct。抬高一級(jí)，Solaris的進(jìn)程是proc_t，當(dāng)然每個(gè)進(jìn)程里的線程就是kthread_t；Linux的進(jìn)程和線程都由task_struct 表示，單線程的進(jìn)程在Linux里是一個(gè)task_struct。單線程的進(jìn)程在Solaris里有一個(gè)proc_t，一個(gè)kthread_t，還有一個(gè)klwp_t表示。klwp_t提供了用戶和內(nèi)核模式線程切換的存儲(chǔ)區(qū)。FreeBSD里的單線程進(jìn)程有一個(gè)proc ，一個(gè)thread 和一個(gè)ksegrp 。ksegrp 是“內(nèi)核調(diào)度的實(shí)體組kernel scheduling entity group”。三個(gè)系統(tǒng)的線程表示結(jié)構(gòu)不同，不過(guò)都支持調(diào)度線程。

　　和大家熟悉的基本一樣，調(diào)度是基于優(yōu)先級(jí)的。小小的數(shù)學(xué)問(wèn)題是，在Linux和FreeBSD里，數(shù)字越小，優(yōu)先級(jí)越高；而SUN的寶貝卻喜歡數(shù)字越大，優(yōu)先級(jí)越高。參考下表

表1　　

　　三個(gè)系統(tǒng)都更推崇interactive 線程/進(jìn)程（下面會(huì)提到interactive怎么回事）。Interactive 線程比compute-bound 線程優(yōu)先級(jí)要高，不過(guò)得到的時(shí)間片要少一些。Solaris，F(xiàn)reeBSD和Linux都使用每CPU的“運(yùn)行隊(duì)列 runqueue”。FreeBSD和Linux有一個(gè)active隊(duì)列和一個(gè)expired隊(duì)列。名字說(shuō)得很清楚了－－系統(tǒng)從active上按照優(yōu)先級(jí)選擇線程進(jìn)行調(diào)度。用完自己時(shí)間片的線程就從active搬到expired上（或者為了避免“餓死”的其他情況），active空以后，內(nèi)核交換active和expired。FreeBSD還多一個(gè)idle 隊(duì)列－－其他兩個(gè)queue都空的時(shí)候才輪到這個(gè)。Solaris的概念是每CPU“調(diào)度隊(duì)列 dispatch queue”。線程用完時(shí)間片后，內(nèi)核給其一個(gè)新優(yōu)先級(jí)然后放回調(diào)度隊(duì)列。所有3個(gè)系統(tǒng)的runqueue，對(duì)不同優(yōu)先級(jí)的可運(yùn)行線程都分別有鏈表。

　　FreeBSD四個(gè)優(yōu)先級(jí)共享一個(gè)鏈表，Solaris和Linux則每個(gè)優(yōu)先級(jí)一個(gè)鏈表Linux和FreeBSD結(jié)合運(yùn)行時(shí)間和睡眠時(shí)間計(jì)算線程的interactive-ness，Solaris查表。他們都不支持“gang scheduling”（有興趣查Google即知，并行計(jì)算上的調(diào)度算法，大白話說(shuō)就是一組任務(wù)一把disptach到各個(gè)CPU上。勞倫斯.利弗莫爾那幫造原子彈的家伙最喜歡了，他們有世界上最昂貴的玩具，可以理解）每個(gè)OS都調(diào)度下一個(gè)線程而不是N個(gè)線程開(kāi)始運(yùn)行。這3個(gè)OS都有利用CACHE（warm affinity）和負(fù)載均衡的機(jī)制。對(duì)超線程CPU，F(xiàn)reeBSD能盡量將多個(gè)線程保持在一個(gè)CPU節(jié)點(diǎn)上（當(dāng)然可能是不同的CPU超線程上）。Solaris也有類似機(jī)制，不過(guò)是在用戶和應(yīng)用的控制下，而且并不限于CPU的超線程，他們的術(shù)語(yǔ)是processor sets，F(xiàn)reeBSD的叫法是processor groups和其他2個(gè)OS最大的不同是，Solaris同時(shí)支持多個(gè)“scheduling classes”。3個(gè)OS都支持POSIX的SCHED_FIFO，SCHED_RR和SCHED_OTHER （或者SCHED_NORMAL）。SCHED_FIFO 和SCHED_RR通常支持實(shí)時(shí)線程（我不同意。。。但是照翻。。。）。

　　Solaris和Linux為支持實(shí)時(shí)線程都支持了內(nèi)核搶占。Solaris支持fixed priority類，system class的是系統(tǒng)線程（比如換頁(yè)線程），interactive的是在X控制下運(yùn)行窗口環(huán)境的線程，還有一個(gè)Fair Share Scheduler 用于資源管理。具體可以參考Solaris資料。FreeBSD的調(diào)度器是在編譯時(shí)決定的，Linux的調(diào)度？－－要看版本了。

　　支持在系統(tǒng)中加入新的調(diào)度類是要付出代價(jià)的。內(nèi)核中每個(gè)可能決定調(diào)度的地方都得有一個(gè)間接得函數(shù)調(diào)用去call調(diào)度類相關(guān)的代碼。比如，當(dāng)一個(gè)線程將要sleep時(shí)，內(nèi)核調(diào)用調(diào)度類相關(guān)代碼，完成該類中線程sleep需要完成工作。在Linux和FreeBSD上，調(diào)度已經(jīng)完成了所有工作。不需要再來(lái)一個(gè)間接調(diào)用。額外的層次，就意味著Solaris的調(diào)度要占用稍微多一點(diǎn)的系統(tǒng)開(kāi)銷－－不過(guò)提供了更多的功能?！　?/P>

　　內(nèi)存管理和分頁(yè)　　

　　Solaris的進(jìn)程地址空間由邏輯段segment組成。進(jìn)程地址中的這些段可以通過(guò)pmap訪問(wèn)。Solaris將其內(nèi)存管理代碼和數(shù)據(jù)結(jié)構(gòu)分為平臺(tái)無(wú)關(guān)和平臺(tái)相關(guān)部分（這不跟沒(méi)說(shuō)一樣嘛。。。）。平臺(tái)相關(guān)部分位于HAT（hardware address translation）層。FreeBSD用vmspace描述進(jìn)程地址空間，將其劃分為邏輯塊region。硬件相關(guān)部分在pmap（physical map）模塊，而vmap 例程處理硬件無(wú)關(guān)部分和數(shù)據(jù)結(jié)構(gòu)。Linux使用內(nèi)存描述符劃分進(jìn)程地址空間，邏輯單位是memory areas。Linux也由pmap來(lái)examine 進(jìn)程地址空間。

　　Linux將機(jī)器相關(guān)層從更高層次的機(jī)器無(wú)關(guān)層中劃分出來(lái)。Solaris和FreeBSD中大多數(shù)類似代碼比如page fault處理是機(jī)器無(wú)關(guān)的，而Linux處理page fault的代碼則非常機(jī)器相關(guān)－－從fault處理開(kāi)始就是這樣了。由此下來(lái)的結(jié)果是，Linux能很快地完成大多數(shù)分頁(yè)相關(guān)代碼－－因?yàn)閿?shù)據(jù)抽象更少。不過(guò)，代價(jià)是，下層硬件的改變需要大量修改代碼－－Solaris和FreeBSD則分別把這樣的工作堵截在HAT和pmap層搞定。

　　Segment，region和meory area的分割是：區(qū)域的虛擬地址segmetn/region/memory area映射的object/文件的位置權(quán)限map的大小

　　例如，程序的text（text段，即代碼）在一個(gè)segmetn/region/memory area中，OS管理地址空間的機(jī)制是類似的，不過(guò)數(shù)據(jù)結(jié)構(gòu)名字完全不同。

　　分頁(yè)3個(gè)系統(tǒng)都使用了最近最少使用least recently used算法的變種完成頁(yè)替換。他們都有一個(gè)守護(hù)daemon進(jìn)程/線程完成頁(yè)替換。FreeBSD的是vm_pageout daemon，它周期性地，或者當(dāng)free的內(nèi)存不多時(shí)，被喚醒。當(dāng)可用內(nèi)存低于某個(gè)限制時(shí)，vm_pageout 運(yùn)行例程vm_pageout_scan掃描內(nèi)存并釋放一些頁(yè)面。vm_pageout_scan例程可能需要異步地將更改過(guò)的頁(yè)面寫回到磁盤，在釋放他們之前。不論由多少顆CPU，只有一個(gè)這樣的daemon。Solaris的是pageout daemon，它也周期性地運(yùn)行，處理空閑內(nèi)存不多的情況。Solaris中的分頁(yè)限制值在系統(tǒng)啟動(dòng)時(shí)自動(dòng)校準(zhǔn)，這樣可以避免該守護(hù)進(jìn)程過(guò)渡占用CPU或者向磁盤發(fā)出洪水般的換頁(yè)請(qǐng)求（嗯，flood這么翻正好 ;P ）。

　　FreeBSD的daemon在大多數(shù)情況下使用的值是固定的－－不過(guò)也可以調(diào)整。Linux的LRU算法可以在運(yùn)行時(shí)動(dòng)態(tài)調(diào)整，而且可以有多個(gè)kswapd daemon，每CPU最多一個(gè)。這3個(gè)系統(tǒng)都使用global working set策略，而不是per process working set。FreeBSD有多個(gè)頁(yè)面鏈表來(lái)追蹤最近使用頁(yè)。包括active，inactive，cached和feee頁(yè)。根據(jù)使用情況，頁(yè)面在這些?幢砑渥呃醋呷?。荆穳?mèng)實(shí)囊趁婊嵩赼ctive上。退出的進(jìn)程的數(shù)據(jù)頁(yè)面將被馬上放到free上。

　　如果因?yàn)樨?fù)載原因vm_pageout_scan 來(lái)不及掃描全部?jī)?nèi)存的話，F(xiàn)reeBSD內(nèi)核可能將整個(gè)進(jìn)程全部換出。如果內(nèi)存短缺十分嚴(yán)重，vm_pageout_scan 可能會(huì)kill系統(tǒng)中最大的進(jìn)程。Linux也使用不同的頁(yè)面鏈表。物理內(nèi)存被分為（多個(gè)）3重zone：一個(gè)DMA頁(yè)面，一個(gè)普通頁(yè)面，一個(gè)動(dòng)態(tài)分配內(nèi)存頁(yè)面。zone的實(shí)現(xiàn)很像由于x86架構(gòu)限制而很產(chǎn)生的。頁(yè)面在hot，cold和free鏈表間移動(dòng)－－機(jī)制和FreeBSD的類似。經(jīng)常用的頁(yè)面在hot上?？捎庙?yè)面則在cold或者free上。

　　SUN的大佬使用free鏈，哈希鏈，vnode頁(yè)面鏈支持自己的LRU實(shí)現(xiàn)。后兩者大致相當(dāng)于FreeBSD和Linux的active/hot鏈－－也是FreeBSD和Linux要掃描的鏈。Solaris要掃描的不是這兩個(gè)對(duì)象，它用two-handed clock算法掃描全部頁(yè)面（見(jiàn)Solaris Internals 或其他什么地方隨你便）。大致方法是，兩只手相隔固定舉例，前面的手將page的引用位清空以作為標(biāo)識(shí)，如果自此開(kāi)始沒(méi)有進(jìn)程引用這個(gè)頁(yè)，后面的手就釋放這個(gè)頁(yè)面（當(dāng)然如果需要就寫回磁盤）。

　　3個(gè)系統(tǒng)在分頁(yè)時(shí)都考慮了NUMA本地性。他們都把IO buffer cache和虛擬內(nèi)存頁(yè)面的cache合并到一個(gè)系統(tǒng)頁(yè)cache中。系統(tǒng)頁(yè)cache用于讀寫文件已經(jīng)被mmap了文件，還有應(yīng)用的text段和data段。

#p#

　　文件系統(tǒng)　

　　3個(gè)系統(tǒng)都使用數(shù)據(jù)抽象層向應(yīng)用隱藏文件系統(tǒng)實(shí)現(xiàn)細(xì)節(jié)。就是用大家熟悉的open，close，read，write，stat，等等系統(tǒng)調(diào)用訪問(wèn)文件，無(wú)論下層的文件數(shù)據(jù)的實(shí)現(xiàn)和組織如何。Solaris和FreeBSD把這種機(jī)制稱為VFS（virtual file system），基本數(shù)據(jù)結(jié)構(gòu)是vnode（virtual node）。Solaris和FreeBSD里每個(gè)被訪問(wèn)的文件都有一個(gè)賦給他們的vnode。除了generic 的文件信息外，vnode還包含到file-system-specific 信息的指針。Linux采用了詳細(xì)的機(jī)制，也叫VFS（virtual file switch），文件系統(tǒng)無(wú)關(guān)的數(shù)據(jù)結(jié)構(gòu)是inode。這個(gè)機(jī)構(gòu)和vnode類似（小心：Solaris和FreeBSD也另有自己的inode－－是UFS文件系統(tǒng)里file-system-dependent 的數(shù)據(jù)）。Linux還有兩個(gè)不同的結(jié)構(gòu)，一個(gè)用于文件操作，另一個(gè)用于inode操作。Solaris和FreeBSD將他們合并為vnode操作。

　　VFS允許在系統(tǒng)里實(shí)現(xiàn)多種文件系統(tǒng)。這意味著他們相互訪問(wèn)對(duì)方的文件系統(tǒng)沒(méi)問(wèn)題。只要相關(guān)的文件系統(tǒng)例程和數(shù)據(jù)結(jié)構(gòu)已經(jīng)被移植到VFS上。所有這3個(gè)系統(tǒng)都允許文件系統(tǒng)堆疊stacking。下表列出了每個(gè)OS實(shí)現(xiàn)的文件系統(tǒng)類型，不是全部哈。

表2　　

　　結(jié)論

　　Solaris，F(xiàn)reeBSD和Linux顯然都在從對(duì)方身上獲益。隨著Solaris的開(kāi)源，這種相互促進(jìn)有望更快。Max個(gè)人已經(jīng)感覺(jué)到Linux的變化是最快的。新技術(shù)被快速地集成進(jìn)系統(tǒng)，只是文檔和健壯性可能有點(diǎn)落后。Linux有很多－－或者有時(shí)是看上去有很多－－開(kāi)發(fā)者。FreeBSD則大概是（從某種意義上）3個(gè)系統(tǒng)中歷史最長(zhǎng)的。Solaris來(lái)自BSD Unix和AT&T Bell實(shí)驗(yàn)室Unix的結(jié)合，使用了更多數(shù)據(jù)抽象層，因而一般說(shuō)來(lái)能更簡(jiǎn)便地支持更多功能。不過(guò)，內(nèi)核中大多數(shù)這樣的分層都沒(méi)有文檔描述?？赡茈S著代碼的開(kāi)放這一點(diǎn)會(huì)有所改善。

　　至于他們的差別，最大的地方之一是page fault處理了。在Solaris中，發(fā)生page fault時(shí)，代碼是從平臺(tái)相關(guān)的trap handler開(kāi)始執(zhí)行的（以大家的智商，這好像不用說(shuō)了吧。。。），然后會(huì)調(diào)用generic的as_fault例程，這個(gè)例程判斷發(fā)生page fault的segment，然后調(diào)用segment driver處理page fault。segment driver調(diào)用文件系統(tǒng)代碼，后者再調(diào)用進(jìn)驅(qū)動(dòng)程序，換入頁(yè)面。換入完成后，segment driver 調(diào)用HAT層來(lái)更新頁(yè)表項(xiàng)。在Linux上，發(fā)生page fault后，內(nèi)核調(diào)用的代碼在會(huì)馬上進(jìn)入平臺(tái)相關(guān)部分，這些處理可能更快，不過(guò)可能不太容易擴(kuò)展和移植（后半段說(shuō)得太省，不知道作者有沒(méi)有真的研究過(guò)Linux下對(duì)應(yīng)的處理過(guò)程）。

　　內(nèi)核觀察和調(diào)試工具對(duì)正確理解系統(tǒng)行為有關(guān)鍵意義。在這方面，Solaris有kmdb，mdb和DTrace 。在開(kāi)源之前，Max就對(duì)Solaris做過(guò)多年“反向工程”－－他發(fā)現(xiàn)解決問(wèn)題的時(shí)候使用工具總比閱讀代碼來(lái)得快－－我也知道，不過(guò)得看什么場(chǎng)合，大家可不要被他誤導(dǎo)。Linux嘛，我看作者M(jìn)ax不太熟，所以認(rèn)為沒(méi)有太多工具。對(duì)FreeBSD，他也認(rèn)為只是可以用GDB調(diào)試內(nèi)核的dump－－Linux也可以。
 

通過(guò)上文描述，Solaris，F(xiàn)reeBSD和Linux3個(gè)系統(tǒng)有差別，但他們也有很多相似之處。除了那些不同的命名習(xí)慣，這些OS在實(shí)現(xiàn)不同概念的時(shí)候采用了非常相似的方法。他們都支持線程的分時(shí)調(diào)度，支持最近未使用頁(yè)面替換算法實(shí)現(xiàn)請(qǐng)求調(diào)頁(yè)，支持虛擬文件系統(tǒng)層允許不同文件系統(tǒng)架構(gòu)。

【編輯推薦】

1. 能在Linux系統(tǒng)下運(yùn)行Windows軟件的Wine
2. Linux下使用刻錄機(jī)的具體方法
3. 從頭學(xué)習(xí)Linux基礎(chǔ)的8大建議
4. Linux就這樣被黑客入侵
5. Oracle Solaris 10系統(tǒng)管理基礎(chǔ)教程
6. OpenSolaris后繼者初探：OpenIndiana的無(wú)線網(wǎng)絡(luò)管理
7. 甲骨文發(fā)布Solaris 11 Express（附下載）
8. 實(shí)路出真知 FreeBSD8下Bridge配置openVPN
9. 64位FreeBSD 8.1下搭建SVN服務(wù)器