在Linux上使用ZFS
本文探究了在 Linux 中使用 ZFS 的兩種方法。第一種使用了用戶空間文件系統(tǒng)(Filesystem in Userspace，F(xiàn)USE)系統(tǒng)來推動 ZFS 文件系統(tǒng)到用戶空間以便避免許可問題。第二種方法是一個 ZFS 本機端口，用于集成到 Linux 內(nèi)核，同時避免知識產(chǎn)權(quán)問題。
Linux 與文件系統(tǒng)具有有趣的關(guān)系。因為 Linux 是開放式的，所以它往往是下一代文件系統(tǒng)和創(chuàng)新文件系統(tǒng)理念的關(guān)鍵開發(fā)平臺。兩個有趣的最新示例包括可大規(guī)模擴(kuò)展的 Ceph 和連續(xù)快照文件系統(tǒng) nilfs2(當(dāng)然，主力文件系統(tǒng)，比如第四個擴(kuò)展文件系統(tǒng) [ext4] 的演化)。它還是舊有文件系統(tǒng)的考古遺址 — DOS VFAT、Macintosh(HPFS)、VMS ODS-2 和 Plan-9 的遠(yuǎn)程文件系統(tǒng)協(xié)議。但是對于您發(fā)現(xiàn)在 Linux 內(nèi)受支持的所有文件系統(tǒng)，有一個因其實現(xiàn)的功能會讓人產(chǎn)生相當(dāng)大的興趣：Oracle 的 Zettabyte 文件系統(tǒng)(Zettabyte File System，ZFS)。
ZFS 是由 Sun Microsystems(在 Jeff Bonwick 下)設(shè)計和開發(fā)的，在 2004 年首次公布，并在 2005 年融入 Sun Solaris)。雖然將最流行的開放式操作系統(tǒng)與談?wù)撟疃嗟?、功能最豐富的文件系統(tǒng)配對在一起是最理想的匹配，但是許可問題制約了集成。Linux 通過 GNU 公共許可證(General Public License，GPL)獲得保護(hù)，而 ZFS 是由 Sun 的通用開發(fā)和發(fā)布許可(Common Development and Distribution License，CDDL)涵蓋的。這些許可協(xié)議具有不同的目標(biāo)并引入了沖突的限制。所幸，這并不意味著您作為 Linux 用戶不能享受 ZFS 及其提供的功能。
ZFS 簡介
將 ZFS 稱為文件系統(tǒng)有點名不副實，因為它在傳統(tǒng)意義上不僅僅是個文件系統(tǒng)。ZFS 將邏輯卷管理器的概念與功能豐富的和可大規(guī)模擴(kuò)展的文件系統(tǒng)結(jié)合起來。讓我們開始先探索一些 ZFS 所基于的原則。首先，ZFS 使用池存儲模型，而不是傳統(tǒng)的基于卷的模型。這意味著 ZFS 視存儲為可根據(jù)需要動態(tài)分配(和縮減)的共享池。這優(yōu)于傳統(tǒng)模型，在傳統(tǒng)模型中，文件系統(tǒng)位于卷上，使用獨立卷管理器來管理這些資產(chǎn)。ZFS 內(nèi)嵌入的是重要功能集(如快照、即寫即拷克隆、連續(xù)完整性檢查和通過 RAID-Z 的數(shù)據(jù)保護(hù))的實現(xiàn)。更進(jìn)一步，可以在 ZFS 卷的頂端使用您自己最喜愛的文件系統(tǒng)(如 ext4)。這意味著您可以獲得那些 ZFS 的功能，如獨立文件系統(tǒng)中的快照(該文件系統(tǒng)可能并不直接支持它們)。
但是 ZFS 不只是組成有用文件系統(tǒng)的功能集合。相反，它是構(gòu)建出色文件系統(tǒng)的集成和補充功能的集合。讓我們來看看其中的一些功能，然后再看看它們的一些實際應(yīng)用。
存儲池
正如前面所討論的，ZFS 合并了卷管理功能來提取底層物理存儲設(shè)備到文件系統(tǒng)。ZFS 對存儲池(稱為 zpools)進(jìn)行操作，而不是直接查看物理塊設(shè)備，存儲池構(gòu)建自虛擬驅(qū)動器，可由驅(qū)動器或驅(qū)動器的一部分物理地進(jìn)行表示。此外，可以動態(tài)構(gòu)造這些池，甚至這些池正在活躍地使用時也可以。
即寫即拷
ZFS 使用即寫即拷模型來管理存儲中的數(shù)據(jù)。雖然這意味著數(shù)據(jù)永遠(yuǎn)不會寫入到位(從來沒有被覆蓋)，而是寫入新塊并更新元數(shù)據(jù)來引用數(shù)據(jù)。即寫即拷有利的原因有多個(不僅僅是因為它可以啟用的快照和克隆等一些功能)。由于從來不覆蓋數(shù)據(jù)，這可以更簡單地確保存儲永遠(yuǎn)不會處于不一致的狀態(tài)(因為在新的寫入操作完成以后較早的數(shù)據(jù)仍保留)。這允許 ZFS 基于事務(wù)，且更容易實現(xiàn)類似原子操作等的功能。
即寫即拷設(shè)計的一個有趣的副作用是文件系統(tǒng)的所有寫入都成為順序?qū)懭?因為始終進(jìn)行重新映射)。此行為避免存儲中的熱點并利用順序?qū)懭氲男阅?比隨機寫入更快)。
數(shù)據(jù)保護(hù)
可以使用 ZFS 的眾多保護(hù)方案之一來保護(hù)由虛擬設(shè)備組成的存儲池。您不但可以跨兩個或多個設(shè)備(RAID 1)來對池進(jìn)行鏡像，通過奇偶校驗來保護(hù)該池(類似于 RAID 5)，而且還可以跨動態(tài)帶區(qū)寬度(后面詳細(xì)介紹)來鏡像池。基于池中設(shè)備數(shù)量，ZFS 支持各種不同的的奇偶校驗方案。例如，您可以通過 RAID-Z (RAID-Z 1) 來保護(hù)三個設(shè)備;對于四個設(shè)備，您可以使用 RAID-Z 2(雙重奇偶校驗，類似于 RAID6)。對于更大的保護(hù)來說，您可以將 RAID-Z 3 用于更大數(shù)量的磁盤進(jìn)行三重奇偶校驗。
為提高速度(不存在錯誤檢測以外的數(shù)據(jù)保護(hù))，您可以跨設(shè)備進(jìn)行條帶化(RAID 0)。您還可以創(chuàng)建條帶化鏡像(來鏡像條帶化設(shè)備)，類似于 RAID 10。
ZFS 的一個有趣屬性隨 RAID-Z、即寫即拷事務(wù)和動態(tài)條帶寬度的組合而來。在傳統(tǒng)的 RAID 5 體系結(jié)構(gòu)中，所有磁盤都必須在條帶內(nèi)具有其自己的數(shù)據(jù)，或者條帶不一致。因為沒有方法自動更新所有磁盤，所以這可能產(chǎn)生眾所周知的 RAID 5 寫入漏洞問題(其中在 RAID 集的驅(qū)動器中條帶是不一致的)。假設(shè) ZFS 處理事務(wù)且從不需要寫入到位，則寫入漏洞問題就消除了。此方法的另外一個便捷性體現(xiàn)在磁盤出現(xiàn)故障且需要重建時。傳統(tǒng)的 RAID 5 系統(tǒng)使用來自該集中其他磁盤的數(shù)據(jù)來重建新驅(qū)動器的數(shù)據(jù)。RAID-Z 遍歷可用的元數(shù)據(jù)以便只讀取有關(guān)幾何學(xué)的數(shù)據(jù)并避免讀取磁盤上未使用的空間。隨著磁盤變得更大以及重建次數(shù)的增加，此行為變得更加重要。
校驗和
雖然數(shù)據(jù)保護(hù)提供了在故障時重新生成數(shù)據(jù)的能力，但是這并不涉及處于第一位的數(shù)據(jù)的有效性。ZFS 通過為寫入的每個塊的元數(shù)據(jù)生成 32 位校驗和(或 256 位散列)解決了此問題。在讀取塊時，將驗證此校驗和以避免靜默數(shù)據(jù)損壞問題。在有數(shù)據(jù)保護(hù)(鏡像或 AID-Z)的卷中，可自動讀取或重新生成備用數(shù)據(jù)。
在 ZFS 上校驗和與元數(shù)據(jù)存儲在一起，所以可以檢測并更正錯位寫入 — 如果提供數(shù)據(jù)保護(hù)(RAID-Z)—。
快照和克隆
由于 ZFS 的即寫即拷性質(zhì)，類似快照和克隆的功能變得易于提供。因為 ZFS 從不覆蓋數(shù)據(jù)而是寫入到新的位置，所以可以保護(hù)較早的數(shù)據(jù)(但是在不重要的情況下被標(biāo)記為刪除以逆轉(zhuǎn)磁盤空間)?？煺? 就是舊塊的保存以便及時維護(hù)給定實例中的文件系統(tǒng)狀態(tài)。這種方法也是空間有效的，因為無需復(fù)制(除非重新寫入文件系統(tǒng)中的所有數(shù)據(jù))?？寺∈且环N快照形式，在其中獲取可寫入的快照。在這種情況下，由每一個克隆共享初始的未寫入塊，且被寫入的塊僅可用于特定文件系統(tǒng)克隆。
可變塊大小
傳統(tǒng)的文件系統(tǒng)由匹配后端存儲(512 字節(jié))的靜態(tài)大小的塊組成。ZFS 為各種不同的使用實現(xiàn)了可變塊大小(通常大小達(dá)到 128KB，但是您可以變更此值)?？勺儔K大小的一個重要使用是壓縮(因為壓縮時的結(jié)果塊大小理想情況下將小于初始大小)。除了提供更好的存儲網(wǎng)絡(luò)利用外，此功能也使存儲系統(tǒng)中的浪費最小化(因為傳輸更好的數(shù)據(jù)到存儲需要更少的時間)。
在壓縮以外，支持可變塊大小還意味著您可以針對所期望的特定工作量優(yōu)化塊大小，以便改進(jìn)性能。
其他功能
ZFS 并入了許多其他功能，如重復(fù)數(shù)據(jù)刪除(最小化數(shù)據(jù)重復(fù))、可配置的復(fù)制、加密、緩存管理的自適應(yīng)更換緩存以及在線磁盤清理(標(biāo)識并修復(fù)在不使用保護(hù)時可以修復(fù)的潛在錯誤)。它通過巨大的可擴(kuò)展性來實現(xiàn)該功能，支持 16 千兆兆個字節(jié)的可尋址存儲(264 字節(jié))。#p#
在 Linux 上使用 ZFS
現(xiàn)在您已經(jīng)了解了 ZFS 背后的一些抽象概念，讓我們在實踐中看看其中的一些概念。本演示使用了 ZFS-FUSE。FUSE 是一種機制，允許您在沒有內(nèi)核代碼(除 FUSE 內(nèi)核模塊和現(xiàn)有的文件系統(tǒng)代碼以外)情況下在用戶空間中實現(xiàn)文件系統(tǒng)。該模塊為用戶和文件系統(tǒng)實現(xiàn)提供從內(nèi)核文件系統(tǒng)接口到用戶空間的橋梁。首先，安裝 ZFS-FUSE 包(下面的演示針對 Ubuntu)。
安裝 ZFS-FUSE
安裝 ZFS-FUSE 很簡單，尤其是在使用 apt 的 Ubuntu 上。下面的命令行安裝了您開始使用 ZFS-FUSE 所需的一切：
$ sudo apt-get install zfs-fuse
此命令行安裝 ZFS-FUSE 和所有其他依賴包( 我的也需要 libaiol)，為新的程序包執(zhí)行必要的設(shè)置并啟動 zfs-fuse 守護(hù)進(jìn)程。
使用 ZFS-FUSE
在此演示中，您使用環(huán)回設(shè)備以便在主機操作系統(tǒng)內(nèi)將磁盤仿真為文件。要開始此操作，請通過 dd 實用程序(參見清單 1)創(chuàng)建這些文件(使用 /dev/zero 作為源)。在創(chuàng)建了四個磁盤映像之后，使用 losetup 將磁盤映像與環(huán)路設(shè)備關(guān)聯(lián)在一起。
清單 1. 使用 ZFS-FUSE 的設(shè)置
$ mkdir zfstest $ cd zfstest $ dd if=/dev/zero of=disk1.img bs=64M count=1 1+0 records in 1+0 records out 67108864 bytes (67 MB) copied, 1.235 s, 54.3 MB/s $ dd if=/dev/zero of=disk2.img bs=64M count=1 1+0 records in 1+0 records out 67108864 bytes (67 MB) copied, 0.531909 s, 126 MB/s $ dd if=/dev/zero of=disk3.img bs=64M count=1 1+0 records in 1+0 records out 67108864 bytes (67 MB) copied, 0.680588 s, 98.6 MB/s $ dd if=/dev/zero of=disk4.img bs=64M count=1 1+0 records in 1+0 records out 67108864 bytes (67 MB) copied, 0.429055 s, 156 MB/s $ ls disk1.img disk2.img disk3.img disk4.img $ sudo losetup /dev/loop0 ./disk1.img $ sudo losetup /dev/loop1 ./disk2.img $ sudo losetup /dev/loop2 ./disk3.img $ sudo losetup /dev/loop3 ./disk4.img $
有了四臺設(shè)備作為您的 ZFS 塊設(shè)備(總大小 256MB)，使用 zpool 命令來創(chuàng)建您的池。您可以使用 zpool 命令來管理 ZFS 存儲池，不過您將看到，您可以將其用于各種其他目的。下面的命令要求通過四個設(shè)備創(chuàng)建 ZFS 存儲池并通過 RAID-Z 提供數(shù)據(jù)保護(hù)。在此命令后為一個列表請求，以便提供您池中的數(shù)據(jù)(參見清單 2)。
清單 2. 創(chuàng)建 ZFS 池
$ sudo zpool create myzpool raidz /dev/loop0 /dev/loop1 /dev/loop2 /dev/loop3 $ sudo zfs list NAME USED AVAIL REFER MOUNTPOINT myzpool 96.5K 146M 31.4K /myzpool $
您還可以研究池的一些屬性，如清單 3 所示，其代表默認(rèn)值。對于其他事項，您可以查看可用容量和已使用的部分。(為了簡潔，此代碼已經(jīng)被壓縮。)
清單 3. 查看存儲池的屬性
$ sudo zfs get all myzpool NAME PROPERTY VALUE SOURCE myzpool type filesystem - myzpool creation Sat Nov 13 22:43 2010 - myzpool used 96.5K - myzpool available 146M - myzpool referenced 31.4K - myzpool compressratio 1.00x - myzpool mounted yes - myzpool quota none default myzpool reservation none default myzpool recordsize 128K default myzpool mountpoint /myzpool default myzpool sharenfs off default myzpool checksum on default myzpool compression off default myzpool atime on default myzpool copies 1 default myzpool version 4 - ... myzpool primarycache all default myzpool secondarycache all default myzpool usedbysnapshots 0 - myzpool usedbydataset 31.4K - myzpool usedbychildren 65.1K - myzpool usedbyrefreservation 0 - $
現(xiàn)在，讓我們實際使用 ZFS 池。首先，在您的池中創(chuàng)建目錄，然后在該目錄中啟用壓縮(使用 zfs set 命令)。其次，將文件復(fù)制到其中。我已經(jīng)選擇了大小 120KB 左右的文件來查看 ZFS 壓縮的效果。請注意您的池掛載在根目錄上，因此就像您的根文件系統(tǒng)內(nèi)的目錄一樣加以處理。一旦復(fù)制該文件，您就可以列出它來表示文件已存在(但與原來同樣大小)。通過使用 dh 命令，您可以看到文件大小為原來的一半，這說明 ZFS 已經(jīng)將其壓縮。您還可以查看 compressratio 屬性，了解您的池有多少已經(jīng)被壓縮(使用默認(rèn)壓縮程序，gzip)。清單 4 顯示了該壓縮。
清單 4. 演示 ZFS 壓縮
$ sudo zfs create myzpool/myzdev $ sudo zfs list NAME USED AVAIL REFER MOUNTPOINT myzpool 139K 146M 31.4K /myzpool myzpool/myzdev 31.4K 146M 31.4K /myzpool/myzdev $ sudo zfs set compression=on myzpool/myzdev $ ls /myzpool/myzdev/ $ sudo cp ../linux-2.6.34/Documentation/devices.txt /myzpool/myzdev/ $ ls -la ../linux-2.6.34/Documentation/devices.txt -rw-r--r-- 1 mtj mtj 118144 2010-05-16 14:17 ../linux-2.6.34/Documentation/devices.txt $ ls -la /myzpool/myzdev/ total 5 drwxr-xr-x 2 root root 3 2010-11-20 22:59 . drwxr-xr-x 3 root root 3 2010-11-20 22:55 .. -rw-r--r-- 1 root root 118144 2010-11-20 22:59 devices.txt $ du -ah /myzpool/myzdev/ 60K /myzpool/myzdev/devices.txt 62K /myzpool/myzdev/ $ sudo zfs get compressratio myzpool NAME PROPERTY VALUE SOURCE myzpool compressratio 1.55x - $
最后，讓我們看看 ZFS 的自修復(fù)功能。請回想在您創(chuàng)建池時，您要求四個設(shè)備具有 RAID-Z。通過使用 zpool status 命令您可以檢查池的狀態(tài), 如清單 5 所示。如清單所示，您可以看到池的元素(RAID-Z 1 以及四個設(shè)備)。
清單 5. 檢查池狀態(tài)
$ sudo zpool status myzpool pool: myzpool state: ONLINE scrub: none requested config: NAME STATE READ WRITE CKSUM myzpool ONLINE 0 0 0 raidz1 ONLINE 0 0 0 loop0 ONLINE 0 0 0 loop1 ONLINE 0 0 0 loop2 ONLINE 0 0 0 loop3 ONLINE 0 0 0 errors: No known data errors $
現(xiàn)在，讓我們強制執(zhí)行一個錯誤到池中。對于此演示來說，轉(zhuǎn)到后臺并損壞組成設(shè)備的磁盤文件(disk4.img，通過 loop3 設(shè)備顯示在 ZFS 中)。使用 dd 命令將整個設(shè)備清零(參見清單 6)。
清單 6. 損壞 ZFS 池
$ dd if=/dev/zero of=disk4.img bs=64M count=1 1+0 records in 1+0 records out 67108864 bytes (67 MB) copied, 1.84791 s, 36.3 MB/s $
ZFS 目前未意識到損壞，但是您可以通過請求池的清理，強制池發(fā)現(xiàn)問題。如清單 7 所示，ZFS 現(xiàn)在認(rèn)識到(loop3 設(shè)備的)損壞并建議操作以便替換該設(shè)備。還請注意在 ZFS 通過 RAID-Z 自我更正時，池仍然在線，您仍然可以訪問您的數(shù)據(jù)。
清單 7. 清理并檢查池
$ sudo zpool scrub myzpool $ sudo zpool status myzpool pool: myzpool state: ONLINE status: One or more devices could not be used because the label is missing or invalid. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the device using 'zpool replace'. see: http://www.sun.com/msg/ZFS-8000-4J scrub: scrub completed after 0h0m with 0 errors on Sat Nov 20 23:15:03 2010 config: NAME STATE READ WRITE CKSUM myzpool ONLINE 0 0 0 raidz1 ONLINE 0 0 0 loop0 ONLINE 0 0 0 loop1 ONLINE 0 0 0 loop2 ONLINE 0 0 0 loop3 UNAVAIL 0 0 0 corrupted data errors: No known data errors $ wc -l /myzpool/myzdev/devices.txt 3340 /myzpool/myzdev/devices.txt $
根據(jù)建議，引入新的設(shè)備到您的 RAID-Z 集以便充當(dāng)新的容器。首先創(chuàng)建新的磁盤映像并通過 losetup 將其表示為設(shè)備。請注意此過程類似于將新的物理磁盤添加到集。然后，您使用 zpool replace 用新的設(shè)備(loop4)交換已損壞的設(shè)備(loop3)。檢查池狀態(tài)，您可以看到新設(shè)備具有一條消息，指示其上重新構(gòu)建了數(shù)據(jù)(稱為 resilvering)以及移到那里的數(shù)據(jù)量。還請注意池仍保持在線，沒有錯誤(對用戶可見)。最后，再次清理池;在檢查其狀態(tài)以后，您將看不到存在問題，如清單 8 所示。
清單 8. 使用 zpool replace 修復(fù)池
$ dd if=/dev/zero of=disk5.img bs=64M count=1 1+0 records in 1+0 records out 67108864 bytes (67 MB) copied, 0.925143 s, 72.5 MB/s $ sudo losetup /dev/loop4 ./disk5.img $ sudo zpool replace myzpool loop3 loop4 $ sudo zpool status myzpool pool: myzpool state: ONLINE scrub: resilver completed after 0h0m with 0 errors on Sat Nov 20 23:23:12 2010 config: NAME STATE READ WRITE CKSUM myzpool ONLINE 0 0 0 raidz1 ONLINE 0 0 0 loop0 ONLINE 0 0 0 loop1 ONLINE 0 0 0 loop2 ONLINE 0 0 0 loop4 ONLINE 0 0 0 59.5K resilvered errors: No known data errors $ sudo zpool scrub myzpool $ sudo zpool status myzpool pool: myzpool state: ONLINE scrub: scrub completed after 0h0m with 0 errors on Sat Nov 20 23:23:23 2010 config: NAME STATE READ WRITE CKSUM myzpool ONLINE 0 0 0 raidz1 ONLINE 0 0 0 loop0 ONLINE 0 0 0 loop1 ONLINE 0 0 0 loop2 ONLINE 0 0 0 loop4 ONLINE 0 0 0 errors: No known data errors $
此簡短演示探究了通過文件系統(tǒng)進(jìn)行的卷管理的整合，并展示了管理 ZFS(即使是故障時)有多簡單。#p#
其他 Linux-ZFS 可能性
FUSE 中 ZFS 的優(yōu)點是易于開始使用 ZFS，但是它的缺點是效率低。這種效率上的缺點是每個 I/O 都要求多個用戶內(nèi)核轉(zhuǎn)換的結(jié)果。但是考慮到 ZFS 的流行，有另外一種提供更好性能的選項。
針對 Linux 內(nèi)核的 ZFS 本地端口正在 Lawrence Livermore 國家實驗室中處于順利開發(fā)當(dāng)中。雖然此端口仍然缺乏一些元素，如 ZFS 便攜式操作系統(tǒng)接口(適用于 UNIX®) 層，但是這正在開發(fā)中。其端口提供大量有用的功能，尤其是當(dāng)您有興趣與 Lustre 一起使用 ZFS 時。(要了解更多細(xì)節(jié)，參閱 參考資料。)
前景展望
希望本文已經(jīng)引起您進(jìn)一步挖掘 ZFS 的欲望。從早前的演示中，您可以容易地設(shè)置 ZFS 并在大多數(shù) Linux 發(fā)行版中運行 — 甚至是在擁有一些限制的內(nèi)核中。雖然快照和克隆等主題并未在此處演示，但是 參考資料 部分提供了有關(guān)此主題的有趣的文章的鏈接。最后，Linux 和 ZFS 是最先進(jìn)的技術(shù)，很難將它們分開。
原文連接：http://www.ibm.com/developerworks/cn/linux/l-zfs/index.html?ca=drs-
【編輯推薦】
- ZFS文件系統(tǒng)團(tuán)隊領(lǐng)導(dǎo)者宣布離開Oracle
- Oracle SPARC、Solaris和ZFS的核心功能分析
- ZFS文件系統(tǒng)：Linux，讓我們約會在9月
- 輕松玩轉(zhuǎn)Solaris ZFS文件系統(tǒng)的備份恢復(fù)
