Google GFS文件系統(tǒng)深入分析
51CTO編輯注：本文是一篇論文，英文原文標(biāo)題為The Google File System，在Google Labs上公布，由blademaster.ixiezi.com的博主Alex翻譯為中文，Google GFS文件系統(tǒng)?，F(xiàn)在云計算漸成潮流，對大規(guī)模數(shù)據(jù)應(yīng)用、可伸縮、高容錯的分布式文件系統(tǒng)的需求日漸增長。Google根據(jù)自身的經(jīng)驗(yàn)打造的這套針對大量廉價客戶機(jī)的分布式文件系統(tǒng)已經(jīng)廣泛的在Google內(nèi)部進(jìn)行部署，對于有類似需求的企業(yè)而言有相當(dāng)?shù)膮⒖純r值。
摘要
我們設(shè)計并實(shí)現(xiàn)了Google GFS文件系統(tǒng)，一個面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可伸縮的分布式文件系統(tǒng)。GFS雖然運(yùn)行在廉價的普遍硬件設(shè)備上，但是它依然了提供災(zāi)難冗余的能力，為大量客戶機(jī)提供了高性能的服務(wù)。
雖然GFS的設(shè)計目標(biāo)與許多傳統(tǒng)的分布式文件系統(tǒng)有很多相同之處，但是，我們的設(shè)計還是以我們對自己的應(yīng)用的負(fù)載情況和技術(shù)環(huán)境的分析為基礎(chǔ)的，不管現(xiàn)在還是將來，GFS和早期的分布式文件系統(tǒng)的設(shè)想都有明顯的不同。所以我們重新審視了傳統(tǒng)文件系統(tǒng)在設(shè)計上的折衷選擇，衍生出了完全不同的設(shè)計思路。
GFS完全滿足了我們對存儲的需求。GFS作為存儲平臺已經(jīng)被廣泛的部署在Google內(nèi)部，存儲我們的服務(wù)產(chǎn)生和處理的數(shù)據(jù)，同時還用于那些需要大規(guī)模數(shù)據(jù)集的研究和開發(fā)工作。目前為止，最大的一個集群利用數(shù)千臺機(jī)器的數(shù)千個硬盤，提供了數(shù)百TB的存儲空間，同時為數(shù)百個客戶機(jī)服務(wù)。
在本論文中，我們展示了能夠支持分布式應(yīng)用的文件系統(tǒng)接口的擴(kuò)展，討論我們設(shè)計的許多方面，最后列出了小規(guī)模性能測試以及真實(shí)生產(chǎn)系統(tǒng)中性能相關(guān)數(shù)據(jù)。
常用術(shù)語
設(shè)計，可靠性，性能，測量
關(guān)鍵詞
容錯，可伸縮性，數(shù)據(jù)存儲，集群存儲
1. 簡介
為了滿足Google迅速增長的數(shù)據(jù)處理需求，我們設(shè)計并實(shí)現(xiàn)了Google文件系統(tǒng)(Google File System – GFS)。GFS與傳統(tǒng)的分布式文件系統(tǒng)有著很多相同的設(shè)計目標(biāo)，比如，性能、可伸縮性、可靠性以及可用性。但是，我們的設(shè)計還基于我們對我們自己的應(yīng)用的負(fù)載情況和技術(shù)環(huán)境的觀察的影響，不管現(xiàn)在還是將來，GFS和早期文件系統(tǒng)的假設(shè)都有明顯的不同。所以我們重新審視了傳統(tǒng)文件系統(tǒng)在設(shè)計上的折衷選擇，衍生出了完全不同的設(shè)計思路。
首先，組件失效被認(rèn)為是常態(tài)事件，而不是意外事件。GFS包括幾百甚至幾千臺普通的廉價設(shè)備組裝的存儲機(jī)器，同時被相當(dāng)數(shù)量的客戶機(jī)訪問。GFS組件的數(shù)量和質(zhì)量導(dǎo)致在事實(shí)上，任何給定時間內(nèi)都有可能發(fā)生某些組件無法工作，某些組件無法從它們目前的失效狀態(tài)中恢復(fù)。我們遇到過各種各樣的問題，比如應(yīng)用程序bug、操作系統(tǒng)的bug、人為失誤，甚至還有硬盤、內(nèi)存、連接器、網(wǎng)絡(luò)以及電源失效等造成的問題。所以，持續(xù)的監(jiān)控、錯誤偵測、災(zāi)難冗余以及自動恢復(fù)的機(jī)制必須集成在GFS中。
其次，以通常的標(biāo)準(zhǔn)衡量，我們的文件非常巨大。數(shù)GB的文件非常普遍。每個文件通常都包含許多應(yīng)用程序?qū)ο螅热鐆eb文檔。當(dāng)我們經(jīng)常需要處理快速增長的、并且由數(shù)億個對象構(gòu)成的、數(shù)以TB的數(shù)據(jù)集時，采用管理數(shù)億個KB大小的小文件的方式是非常不明智的，盡管有些文件系統(tǒng)支持這樣的管理方式。因此，設(shè)計的假設(shè)條件和參數(shù)，比如I/O操作和Block的尺寸都需要重新考慮。
第三，絕大部分文件的修改是采用在文件尾部追加數(shù)據(jù)，而不是覆蓋原有數(shù)據(jù)的方式。對文件的隨機(jī)寫入操作在實(shí)際中幾乎不存在。一旦寫完之后，對文件的操作就只有讀，而且通常是按順序讀。大量的數(shù)據(jù)符合這些特性，比如：數(shù)據(jù)分析程序掃描的超大的數(shù)據(jù)集；正在運(yùn)行的應(yīng)用程序生成的連續(xù)的數(shù)據(jù)流；存檔的數(shù)據(jù)；由一臺機(jī)器生成、另外一臺機(jī)器處理的中間數(shù)據(jù)，這些中間數(shù)據(jù)的處理可能是同時進(jìn)行的、也可能是后續(xù)才處理的。對于這種針對海量文件的訪問模式，客戶端對數(shù)據(jù)塊緩存是沒有意義的，數(shù)據(jù)的追加操作是性能優(yōu)化和原子性保證的主要考量因素。
第四，應(yīng)用程序和文件系統(tǒng)API的協(xié)同設(shè)計提高了整個系統(tǒng)的靈活性。比如，我們放松了對GFS一致性模型的要求，這樣就減輕了文件系統(tǒng)對應(yīng)用程序的苛刻要求，大大簡化了GFS的設(shè)計。我們引入了原子性的記錄追加操作，從而保證多個客戶端能夠同時進(jìn)行追加操作，不需要額外的同步操作來保證數(shù)據(jù)的一致性。本文后面還有對這些問題的細(xì)節(jié)的詳細(xì)討論。
Google已經(jīng)針對不同的應(yīng)用部署了多套GFS集群。最大的一個集群擁有超過1000個存儲節(jié)點(diǎn)，超過300TB的硬盤空間，被不同機(jī)器上的數(shù)百個客戶端連續(xù)不斷的頻繁訪問。
#p#
2.設(shè)計概述
2.1設(shè)計預(yù)期
在設(shè)計滿足我們需求的文件系統(tǒng)時候，我們的設(shè)計目標(biāo)既有機(jī)會、又有挑戰(zhàn)。之前我們已經(jīng)提到了一些需要關(guān)注的關(guān)鍵點(diǎn)，這里我們將設(shè)計的預(yù)期目標(biāo)的細(xì)節(jié)展開討論。
◆ 系統(tǒng)由許多廉價的普通組件組成，組件失效是一種常態(tài)。系統(tǒng)必須持續(xù)監(jiān)控自身的狀態(tài)，它必須將組件失效作為一種常態(tài)，能夠迅速地偵測、冗余并恢復(fù)失效的組件。
◆ 系統(tǒng)存儲一定數(shù)量的大文件。我們預(yù)期會有幾百萬文件，文件的大小通常在100MB或者以上。數(shù)個GB大小的文件也是普遍存在，并且要能夠被有效的管理。系統(tǒng)也必須支持小文件，但是不需要針對小文件做專門的優(yōu)化。
◆ 系統(tǒng)的工作負(fù)載主要由兩種讀操作組成：大規(guī)模的流式讀取和小規(guī)模的隨機(jī)讀取。大規(guī)模的流式讀取通常一次讀取數(shù)百KB的數(shù)據(jù)，更常見的是一次讀取1MB甚至更多的數(shù)據(jù)。來自同一個客戶機(jī)的連續(xù)操作通常是讀取同一個文件中連續(xù)的一個區(qū)域。小規(guī)模的隨機(jī)讀取通常是在文件某個隨機(jī)的位置讀取幾個KB數(shù)據(jù)。如果應(yīng)用程序?qū)π阅芊浅ｊP(guān)注，通常的做法是把小規(guī)模的隨機(jī)讀取操作合并并排序，之后按順序批量讀取，這樣就避免了在文件中前后來回的移動讀取位置。
◆ 系統(tǒng)的工作負(fù)載還包括許多大規(guī)模的、順序的、數(shù)據(jù)追加方式的寫操作。一般情況下，每次寫入的數(shù)據(jù)的大小和大規(guī)模讀類似。數(shù)據(jù)一旦被寫入后，文件就很少會被修改了。系統(tǒng)支持小規(guī)模的隨機(jī)位置寫入操作，但是可能效率不彰。
◆ 系統(tǒng)必須高效的、行為定義明確的（alex注：well-defined）實(shí)現(xiàn)多客戶端并行追加數(shù)據(jù)到同一個文件里的語意。我們的文件通常被用于”生產(chǎn)者-消費(fèi)者“隊(duì)列，或者其它多路文件合并操作。通常會有數(shù)百個生產(chǎn)者，每個生產(chǎn)者進(jìn)程運(yùn)行在一臺機(jī)器上，同時對一個文件進(jìn)行追加操作。使用最小的同步開銷來實(shí)現(xiàn)的原子的多路追加數(shù)據(jù)操作是必不可少的。文件可以在稍后讀取，或者是消費(fèi)者在追加的操作的同時讀取文件。
◆ 高性能的穩(wěn)定網(wǎng)絡(luò)帶寬遠(yuǎn)比低延遲重要。我們的目標(biāo)程序絕大部分要求能夠高速率的、大批量的處理數(shù)據(jù)，極少有程序?qū)我坏淖x寫操作有嚴(yán)格的響應(yīng)時間要求。
2.2 接口
GFS提供了一套類似傳統(tǒng)文件系統(tǒng)的API接口函數(shù)，雖然并不是嚴(yán)格按照POSIX等標(biāo)準(zhǔn)API的形式實(shí)現(xiàn)的。文件以分層目錄的形式組織，用路徑名來標(biāo)識。我們支持常用的操作，如創(chuàng)建新文件、刪除文件、打開文件、關(guān)閉文件、讀和寫文件。
另外，GFS提供了快照和記錄追加操作?？煺找院艿偷某杀緞?chuàng)建一個文件或者目錄樹的拷貝。記錄追加操作允許多個客戶端同時對一個文件進(jìn)行數(shù)據(jù)追加操作，同時保證每個客戶端的追加操作都是原子性的。這對于實(shí)現(xiàn)多路結(jié)果合并，以及”生產(chǎn)者-消費(fèi)者”隊(duì)列非常有用，多個客戶端可以在不需要額外的同步鎖定的情況下，同時對一個文件追加數(shù)據(jù)。我們發(fā)現(xiàn)這些類型的文件對于構(gòu)建大型分布應(yīng)用是非常重要的。快照和記錄追加操作將在3.4和3.3節(jié)分別討論。
2.3 架構(gòu)
一個GFS集群包含一個單獨(dú)的Master節(jié)點(diǎn)（alex注：這里的一個單獨(dú)的Master節(jié)點(diǎn)的含義是GFS系統(tǒng)中只存在一個邏輯上的Master組件。后面我們還會提到Master節(jié)點(diǎn)復(fù)制，因此，為了理解方便，我們把Master節(jié)點(diǎn)視為一個邏輯上的概念，一個邏輯的Master節(jié)點(diǎn)包括兩臺物理主機(jī)，即兩臺Master服務(wù)器）、多臺Chunk服務(wù)器，并且同時被多個客戶端訪問，如圖1所示。所有的這些機(jī)器通常都是普通的Linux機(jī)器，運(yùn)行著用戶級別(user-level)的服務(wù)進(jìn)程。我們可以很容易的把Chunk服務(wù)器和客戶端都放在同一臺機(jī)器上，前提是機(jī)器資源允許，并且我們能夠接受不可靠的應(yīng)用程序代碼帶來的穩(wěn)定性降低的風(fēng)險。
GFS存儲的文件都被分割成固定大小的Chunk。在Chunk創(chuàng)建的時候，Master服務(wù)器會給每個Chunk分配一個不變的、全球唯一的64位的Chunk標(biāo)識。Chunk服務(wù)器把Chunk以linux文件的形式保存在本地硬盤上，并且根據(jù)指定的Chunk標(biāo)識和字節(jié)范圍來讀寫塊數(shù)據(jù)。出于可靠性的考慮，每個塊都會復(fù)制到多個塊服務(wù)器上。缺省情況下，我們使用3個存儲復(fù)制節(jié)點(diǎn)，不過用戶可以為不同的文件命名空間設(shè)定不同的復(fù)制級別。
Master節(jié)點(diǎn)管理所有的文件系統(tǒng)元數(shù)據(jù)。這些元數(shù)據(jù)包括名字空間、訪問控制信息、文件和Chunk的映射信息、以及當(dāng)前Chunk的位置信息。Master節(jié)點(diǎn)還管理著系統(tǒng)范圍內(nèi)的活動，比如，Chunk租用管理(alex注：BDB也有關(guān)于lease的描述，不知道是否相同)、孤兒Chunk(alex注：orphaned chunks)的回收、以及Chunk在Chunk服務(wù)器之間的遷移。Master節(jié)點(diǎn)使用心跳信息周期地和每個Chunk服務(wù)器通訊，發(fā)送指令到各個Chunk服務(wù)器并接收Chunk服務(wù)器的狀態(tài)信息。
GFS客戶端代碼以庫的形式被鏈接到客戶程序里?？蛻舳舜a實(shí)現(xiàn)了GFS文件系統(tǒng)的API接口函數(shù)、應(yīng)用程序與Master節(jié)點(diǎn)和Chunk服務(wù)器通訊、以及對數(shù)據(jù)進(jìn)行讀寫操作?？蛻舳撕蚆aster節(jié)點(diǎn)的通信只獲取元數(shù)據(jù)，所有的數(shù)據(jù)操作都是由客戶端直接和Chunk服務(wù)器進(jìn)行交互的。我們不提供POSIX標(biāo)準(zhǔn)的API的功能，因此，GFS API調(diào)用不需要深入到Linux vnode級別。
無論是客戶端還是Chunk服務(wù)器都不需要緩存文件數(shù)據(jù)?？蛻舳司彺鏀?shù)據(jù)幾乎沒有什么用處，因?yàn)榇蟛糠殖绦蛞匆粤鞯姆绞阶x取一個巨大文件，要么工作集太大根本無法被緩存。無需考慮緩存相關(guān)的問題也簡化了客戶端和整個系統(tǒng)的設(shè)計和實(shí)現(xiàn)。（不過，客戶端會緩存元數(shù)據(jù)。）Chunk服務(wù)器不需要緩存文件數(shù)據(jù)的原因是，Chunk以本地文件的方式保存，Linux操作系統(tǒng)的文件系統(tǒng)緩存會把經(jīng)常訪問的數(shù)據(jù)緩存在內(nèi)存中。
2.4 單一Master節(jié)點(diǎn)
單一的Master節(jié)點(diǎn)的策略大大簡化了我們的設(shè)計。單一的Master節(jié)點(diǎn)可以通過全局的信息精確定位Chunk的位置以及進(jìn)行復(fù)制決策。另外，我們必須減少對Master節(jié)點(diǎn)的讀寫，避免Master節(jié)點(diǎn)成為系統(tǒng)的瓶頸?？蛻舳瞬⒉煌ㄟ^Master節(jié)點(diǎn)讀寫文件數(shù)據(jù)。反之，客戶端向Master節(jié)點(diǎn)詢問它應(yīng)該聯(lián)系的Chunk服務(wù)器。客戶端將這些元數(shù)據(jù)信息緩存一段時間，后續(xù)的操作將直接和Chunk服務(wù)器進(jìn)行數(shù)據(jù)讀寫操作。
我們利用圖1解釋一下一次簡單讀取的流程。首先，客戶端把文件名和程序指定的字節(jié)偏移，根據(jù)固定的Chunk大小，轉(zhuǎn)換成文件的Chunk索引。然后，它把文件名和Chunk索引發(fā)送給Master節(jié)點(diǎn)。Master節(jié)點(diǎn)將相應(yīng)的Chunk標(biāo)識和副本的位置信息發(fā)還給客戶端?？蛻舳擞梦募虲hunk索引作為key緩存這些信息。
之后客戶端發(fā)送請求到其中的一個副本處，一般會選擇最近的。請求信息包含了Chunk的標(biāo)識和字節(jié)范圍。在對這個Chunk的后續(xù)讀取操作中，客戶端不必再和Master節(jié)點(diǎn)通訊了，除非緩存的元數(shù)據(jù)信息過期或者文件被重新打開。實(shí)際上，客戶端通常會在一次請求中查詢多個Chunk信息，Master節(jié)點(diǎn)的回應(yīng)也可能包含了緊跟著這些被請求的Chunk后面的Chunk的信息。在實(shí)際應(yīng)用中，這些額外的信息在沒有任何代價的情況下，避免了客戶端和Master節(jié)點(diǎn)未來可能會發(fā)生的幾次通訊。
2.5 Chunk尺寸
Chunk的大小是關(guān)鍵的設(shè)計參數(shù)之一。我們選擇了64MB，這個尺寸遠(yuǎn)遠(yuǎn)大于一般文件系統(tǒng)的Block size。每個Chunk的副本都以普通Linux文件的形式保存在Chunk服務(wù)器上，只有在需要的時候才擴(kuò)大。惰性空間分配策略避免了因內(nèi)部碎片造成的空間浪費(fèi)，內(nèi)部碎片或許是對選擇這么大的Chunk尺寸最具爭議一點(diǎn)。
選擇較大的Chunk尺寸有幾個重要的優(yōu)點(diǎn)。首先，它減少了客戶端和Master節(jié)點(diǎn)通訊的需求，因?yàn)橹恍枰淮魏蚆ater節(jié)點(diǎn)的通信就可以獲取Chunk的位置信息，之后就可以對同一個Chunk進(jìn)行多次的讀寫操作。這種方式對降低我們的工作負(fù)載來說效果顯著，因?yàn)槲覀兊膽?yīng)用程序通常是連續(xù)讀寫大文件。即使是小規(guī)模的隨機(jī)讀取，采用較大的Chunk尺寸也帶來明顯的好處，客戶端可以輕松的緩存一個數(shù)TB的工作數(shù)據(jù)集所有的Chunk位置信息。其次，采用較大的Chunk尺寸，客戶端能夠?qū)σ粋€塊進(jìn)行多次操作，這樣就可以通過與Chunk服務(wù)器保持較長時間的
另一方面，即使配合惰性空間分配，采用較大的Chunk尺寸也有其缺陷。小文件包含較少的Chunk，甚至只有一個Chunk。當(dāng)有許多的客戶端對同一個小文件進(jìn)行多次的訪問時，存儲這些Chunk的Chunk服務(wù)器就會變成熱點(diǎn)。在實(shí)際應(yīng)用中，由于我們的程序通常是連續(xù)的讀取包含多個Chunk的大文件，熱點(diǎn)還不是主要的問題。
然而，當(dāng)我們第一次把GFS用于批處理隊(duì)列系統(tǒng)的時候，熱點(diǎn)的問題還是產(chǎn)生了：一個可執(zhí)行文件在GFS上保存為single-chunk文件，之后這個可執(zhí)行文件在數(shù)百臺機(jī)器上同時啟動。存放這個可執(zhí)行文件的幾個Chunk服務(wù)器被數(shù)百個客戶端的并發(fā)請求訪問導(dǎo)致系統(tǒng)局部過載。我們通過使用更大的復(fù)制參數(shù)來保存可執(zhí)行文件，以及錯開批處理隊(duì)列系統(tǒng)程序的啟動時間的方法解決了這個問題。一個可能的長效解決方案是，在這種的情況下，允許客戶端從其它客戶端讀取數(shù)據(jù)。
2.6 元數(shù)據(jù)
Master服務(wù)器（alex注：注意邏輯的Master節(jié)點(diǎn)和物理的Master服務(wù)器的區(qū)別。后續(xù)我們談的是每個Master服務(wù)器的行為，如存儲、內(nèi)存等等，因此我們將全部使用物理名稱）存儲3種主要類型的元數(shù)據(jù)，包括：文件和Chunk的命名空間、文件和Chunk的對應(yīng)關(guān)系、每個Chunk副本的存放地點(diǎn)。所有的元數(shù)據(jù)都保存在Master服務(wù)器的內(nèi)存中。前兩種類型的元數(shù)據(jù)（命名空間、文件和Chunk的對應(yīng)關(guān)系）同時也會以記錄變更日志的方式記錄在操作系統(tǒng)的系統(tǒng)日志文件中，日志文件存儲在本地磁盤上，同時日志會被復(fù)制到其它的遠(yuǎn)程Master服務(wù)器上。采用保存變更日志的方式，我們能夠簡單可靠的更新Master服務(wù)器的狀態(tài)，并且不用擔(dān)心Master服務(wù)器崩潰導(dǎo)致數(shù)據(jù)不一致的風(fēng)險。Master服務(wù)器不會持久保存Chunk位置信息。Master服務(wù)器在啟動時，或者有新的Chunk服務(wù)器加入時，向各個Chunk服務(wù)器輪詢它們所存儲的Chunk的信息。
2.6.1 內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)
因?yàn)樵獢?shù)據(jù)保存在內(nèi)存中，所以Master服務(wù)器的操作速度非?？?。并且，Master服務(wù)器可以在后臺簡單而高效的周期性掃描自己保存的全部狀態(tài)信息。這種周期性的狀態(tài)掃描也用于實(shí)現(xiàn)Chunk垃圾收集、在Chunk服務(wù)器失效的時重新復(fù)制數(shù)據(jù)、通過Chunk的遷移實(shí)現(xiàn)跨Chunk服務(wù)器的負(fù)載均衡以及磁盤使用狀況統(tǒng)計等功能。4.3和4.4章節(jié)將深入討論這些行為。
將元數(shù)據(jù)全部保存在內(nèi)存中的方法有潛在問題：Chunk的數(shù)量以及整個系統(tǒng)的承載能力都受限于Master服務(wù)器所擁有的內(nèi)存大小。但是在實(shí)際應(yīng)用中，這并不是一個嚴(yán)重的問題。Master服務(wù)器只需要不到64個字節(jié)的元數(shù)據(jù)就能夠管理一個64MB的Chunk。由于大多數(shù)文件都包含多個Chunk，因此絕大多數(shù)Chunk都是滿的，除了文件的最后一個Chunk是部分填充的。同樣的，每個文件的在命名空間中的數(shù)據(jù)大小通常在64字節(jié)以下，因?yàn)楸４娴奈募怯们熬Y壓縮算法壓縮過的。
即便是需要支持更大的文件系統(tǒng)，為Master服務(wù)器增加額外內(nèi)存的費(fèi)用是很少的，而通過增加有限的費(fèi)用，我們就能夠把元數(shù)據(jù)全部保存在內(nèi)存里，增強(qiáng)了系統(tǒng)的簡潔性、可靠性、高性能和靈活性。
2.6.2 Chunk位置信息
Master服務(wù)器并不保存持久化保存哪個Chunk服務(wù)器存有指定Chunk的副本的信息。Master服務(wù)器只是在啟動的時候輪詢Chunk服務(wù)器以獲取這些信息。Master服務(wù)器能夠保證它持有的信息始終是最新的，因?yàn)樗刂屏怂械腃hunk位置的分配，而且通過周期性的心跳信息監(jiān)控Chunk服務(wù)器的狀態(tài)。
最初設(shè)計時，我們試圖把Chunk的位置信息持久的保存在Master服務(wù)器上，但是后來我們發(fā)現(xiàn)在啟動的時候輪詢Chunk服務(wù)器，之后定期輪詢更新的方式更簡單。這種設(shè)計簡化了在有Chunk服務(wù)器加入集群、離開集群、更名、失效、以及重啟的時候，Master服務(wù)器和Chunk服務(wù)器數(shù)據(jù)同步的問題。在一個擁有數(shù)百臺服務(wù)器的集群中，這類事件會頻繁的發(fā)生。
可以從另外一個角度去理解這個設(shè)計決策：只有Chunk服務(wù)器才能最終確定一個Chunk是否在它的硬盤上。我們從沒有考慮過在Master服務(wù)器上維護(hù)一個這些信息的全局視圖，因?yàn)镃hunk服務(wù)器的錯誤可能會導(dǎo)致Chunk自動消失(比如，硬盤損壞了或者無法訪問了)，亦或者操作人員可能會重命名一個Chunk服務(wù)器。
2.6.3 操作日志
操作日志包含了關(guān)鍵的元數(shù)據(jù)變更歷史記錄。這對GFS非常重要。這不僅僅是因?yàn)椴僮魅罩臼窃獢?shù)據(jù)唯一的持久化存儲記錄，它也作為判斷同步操作順序的邏輯時間基線（alex注：也就是通過邏輯日志的序號作為操作發(fā)生的邏輯時間，類似于事務(wù)系統(tǒng)中的LSN）。文件和Chunk，連同它們的版本(參考4.5節(jié))，都由它們創(chuàng)建的邏輯時間唯一的、永久的標(biāo)識。
操作日志非常重要，我們必須確保日志文件的完整，確保只有在元數(shù)據(jù)的變化被持久化后，日志才對客戶端是可見的。否則，即使Chunk本身沒有出現(xiàn)任何問題，我們?nèi)杂锌赡軄G失整個文件系統(tǒng)，或者丟失客戶端最近的操作。所以，我們會把日志復(fù)制到多臺遠(yuǎn)程機(jī)器，并且只有把相應(yīng)的日志記錄寫入到本地以及遠(yuǎn)程機(jī)器的硬盤后，才會響應(yīng)客戶端的操作請求。Master服務(wù)器會收集多個日志記錄后批量處理，以減少寫入磁盤和復(fù)制對系統(tǒng)整體性能的影響。
Master服務(wù)器在災(zāi)難恢復(fù)時，通過重演操作日志把文件系統(tǒng)恢復(fù)到最近的狀態(tài)。為了縮短Master啟動的時間，我們必須使日志足夠小（alex注：即重演系統(tǒng)操作的日志量盡量的少）。Master服務(wù)器在日志增長到一定量時對系統(tǒng)狀態(tài)做一次
由于創(chuàng)建一個Checkpoint文件需要一定的時間，所以Master服務(wù)器的內(nèi)部狀態(tài)被組織為一種格式，這種格式要確保在Checkpoint過程中不會阻塞正在進(jìn)行的修改操作。Master服務(wù)器使用獨(dú)立的線程切換到新的日志文件和創(chuàng)建新的Checkpoint文件。新的Checkpoint文件包括切換前所有的修改。對于一個包含數(shù)百萬個文件的集群，創(chuàng)建一個Checkpoint文件需要1分鐘左右的時間。創(chuàng)建完成后，Checkpoint文件會被寫入在本地和遠(yuǎn)程的硬盤里。
Master服務(wù)器恢復(fù)只需要最新的Checkpoint文件和后續(xù)的日志文件。舊的Checkpoint文件和日志文件可以被刪除，但是為了應(yīng)對災(zāi)難性的故障（alex注：catastrophes，數(shù)據(jù)備份相關(guān)文檔中經(jīng)常會遇到這個詞，表示一種超出預(yù)期范圍的災(zāi)難性事件），我們通常會多保存一些歷史文件。Checkpoint失敗不會對正確性產(chǎn)生任何影響，因?yàn)榛謴?fù)功能的代碼可以檢測并跳過沒有完成的Checkpoint文件。
2.7 一致性模型
GFS支持一個寬松的一致性模型，這個模型能夠很好的支撐我們的高度分布的應(yīng)用，同時還保持了相對簡單且容易實(shí)現(xiàn)的優(yōu)點(diǎn)。本節(jié)我們討論GFS的一致性的保障機(jī)制，以及對應(yīng)用程序的意義。我們也著重描述了GFS如何管理這些一致性保障機(jī)制，但是實(shí)現(xiàn)的細(xì)節(jié)將在本論文的其它部分討論。
2.7.1 GFS一致性保障機(jī)制
文件命名空間的修改（例如，文件創(chuàng)建）是原子性的。它們僅由Master節(jié)點(diǎn)的控制：命名空間鎖提供了原子性和正確性（4.1章）的保障；Master節(jié)點(diǎn)的操作日志定義了這些操作在全局的順序（2.6.3章）。
數(shù)據(jù)修改后文件region（alex注：region這個詞用中文非常難以表達(dá)，我認(rèn)為應(yīng)該是修改操作所涉及的文件中的某個范圍）的狀態(tài)取決于操作的類型、成功與否、以及是否同步修改。表1總結(jié)了各種操作的結(jié)果。如果所有客戶端，無論從哪個副本讀取，讀到的數(shù)據(jù)都一樣，那么我們認(rèn)為文件region是“一致的”；如果對文件的數(shù)據(jù)修改之后，region是一致的，并且客戶端能夠看到寫入操作全部的內(nèi)容，那么這個region是“已定義的”。當(dāng)一個數(shù)據(jù)修改操作成功執(zhí)行，并且沒有受到同時執(zhí)行的其它寫入操作的干擾，那么影響的region就是已定義的（隱含了一致性）：所有的客戶端都可以看到寫入的內(nèi)容。并行修改操作成功完成之后，region處于一致的、未定義的狀態(tài)：所有的客戶端看到同樣的數(shù)據(jù)，但是無法讀到任何一次寫入操作寫入的數(shù)據(jù)。通常情況下，文件region內(nèi)包含了來自多個修改操作的、混雜的數(shù)據(jù)片段。失敗的修改操作導(dǎo)致一個region處于不一致狀態(tài)（同時也是未定義的）：不同的客戶在不同的時間會看到不同的數(shù)據(jù)。后面我們將描述應(yīng)用如何區(qū)分已定義和未定義的region。應(yīng)用程序沒有必要再去細(xì)分未定義region的不同類型。
數(shù)據(jù)修改操作分為寫入或者記錄追加兩種。寫入操作把數(shù)據(jù)寫在應(yīng)用程序指定的文件偏移位置上。即使有多個修改操作并行執(zhí)行時，記錄追加操作至少可以把數(shù)據(jù)原子性的追加到文件中一次，但是偏移位置是由GFS選擇的（3.3章）（alex注：這句話有點(diǎn)費(fèi)解，其含義是所有的追加寫入都會成功，但是有可能被執(zhí)行了多次，而且每次追加的文件偏移量由GFS自己計算）。（相比而言，通常說的追加操作寫的偏移位置是文件的尾部。）GFS返回給客戶端一個偏移量，表示了包含了寫入記錄的、已定義的region的起點(diǎn)。另外，GFS可能會在文件中間插入填充數(shù)據(jù)或者重復(fù)記錄。這些數(shù)據(jù)占據(jù)的文件region被認(rèn)定是不一致的，這些數(shù)據(jù)通常比用戶數(shù)據(jù)小的多。
經(jīng)過了一系列的成功的修改操作之后，GFS確保被修改的文件region是已定義的，并且包含最后一次修改操作寫入的數(shù)據(jù)。GFS通過以下措施確保上述行為：（a） 對Chunk的所有副本的修改操作順序一致（3.1章），（b）使用Chunk的版本號來檢測副本是否因?yàn)樗诘腃hunk服務(wù)器宕機(jī)（4.5章）而錯過了修改操作而導(dǎo)致其失效。失效的副本不會再進(jìn)行任何修改操作，Master服務(wù)器也不再返回這個Chunk副本的位置信息給客戶端。它們會被垃圾收集系統(tǒng)盡快回收。
由于Chunk位置信息會被客戶端緩存，所以在信息刷新前，客戶端有可能從一個失效的副本讀取了數(shù)據(jù)。在緩存的超時時間和文件下一次被打開的時間之間存在一個時間窗，文件再次被打開后會清除緩存中與該文件有關(guān)的所有Chunk位置信息。而且，由于我們的文件大多數(shù)都是只進(jìn)行追加操作的，所以，一個失效的副本通常返回一個提前結(jié)束的Chunk而不是過期的數(shù)據(jù)。當(dāng)一個Reader（alex注：本文中將用到兩個專有名詞，Reader和Writer，分別表示執(zhí)行GFS讀取和寫入操作的程序）重新嘗試并聯(lián)絡(luò)Master服務(wù)器時，它就會立刻得到最新的Chunk位置信息。
即使在修改操作成功執(zhí)行很長時間之后，組件的失效也可能損壞或者刪除數(shù)據(jù)。GFS通過Master服務(wù)器和所有Chunk服務(wù)器的定期“握手”來找到失效的Chunk服務(wù)器，并且使用Checksum來校驗(yàn)數(shù)據(jù)是否損壞（5.2章）。一旦發(fā)現(xiàn)問題，數(shù)據(jù)要盡快利用有效的副本進(jìn)行恢復(fù)（4.3章）。只有當(dāng)一個Chunk的所有副本在GFS檢測到錯誤并采取應(yīng)對措施之前全部丟失，這個Chunk才會不可逆轉(zhuǎn)的丟失。在一般情況下GFS的反應(yīng)時間（alex注：指Master節(jié)點(diǎn)檢測到錯誤并采取應(yīng)對措施）是幾分鐘。即使在這種情況下，Chunk也只是不可用了，而不是損壞了：應(yīng)用程序會收到明確的錯誤信息而不是損壞的數(shù)據(jù)。
2.7.2 程序的實(shí)現(xiàn)
使用GFS的應(yīng)用程序可以利用一些簡單技術(shù)實(shí)現(xiàn)這個寬松的一致性模型，這些技術(shù)也用來實(shí)現(xiàn)一些其它的目標(biāo)功能，包括：盡量采用追加寫入而不是覆蓋，Checkpoint，自驗(yàn)證的寫入操作，自標(biāo)識的記錄。
在實(shí)際應(yīng)用中，我們所有的應(yīng)用程序?qū)ξ募膶懭氩僮鞫际潜M量采用數(shù)據(jù)追加方式，而不是覆蓋方式。一種典型的應(yīng)用，應(yīng)用程序從頭到尾寫入數(shù)據(jù)，生成了一個文件。寫入所有數(shù)據(jù)之后，應(yīng)用程序自動將文件改名為一個永久保存的文件名，或者周期性的作Checkpoint，記錄成功寫入了多少數(shù)據(jù)。Checkpoint文件可以包含程序級別的校驗(yàn)和。Readers僅校驗(yàn)并處理上個Checkpoint之后產(chǎn)生的文件region，這些文件region的狀態(tài)一定是已定義的。這個方法滿足了我們一致性和并發(fā)處理的要求。追加寫入比隨機(jī)位置寫入更加有效率，對應(yīng)用程序的失敗處理更具有彈性。Checkpoint可以讓W(xué)riter以漸進(jìn)的方式重新開始，并且可以防止Reader處理已經(jīng)被成功寫入，但是從應(yīng)用程序的角度來看還并未完成的數(shù)據(jù)。
我們再來分析另一種典型的應(yīng)用。許多應(yīng)用程序并行的追加數(shù)據(jù)到同一個文件，比如進(jìn)行結(jié)果的合并或者是一個生產(chǎn)者-消費(fèi)者隊(duì)列。記錄追加方式的“至少一次追加”的特性保證了Writer的輸出。Readers使用下面的方法來處理偶然性的填充數(shù)據(jù)和重復(fù)內(nèi)容。Writers在每條寫入的記錄中都包含了額外的信息，例如Checksum，用來驗(yàn)證它的有效性。Reader可以利用Checksum識別和拋棄額外的填充數(shù)據(jù)和記錄片段。如果應(yīng)用不能容忍偶爾的重復(fù)內(nèi)容(比如，如果這些重復(fù)數(shù)據(jù)觸發(fā)了非冪等操作)，可以用記錄的唯一標(biāo)識符來過濾它們，這些唯一標(biāo)識符通常用于命名程序中處理的實(shí)體對象，例如web文檔。這些記錄I/O功能（alex注：These functionalities for record I/O）（除了剔除重復(fù)數(shù)據(jù)）都包含在我們的程序共享的庫中，并且適用于Google內(nèi)部的其它的文件接口實(shí)現(xiàn)。所以，相同序列的記錄，加上一些偶爾出現(xiàn)的重復(fù)數(shù)據(jù)，都被分發(fā)到Reader了。
#p#
3. 系統(tǒng)交互
我們在設(shè)計這個系統(tǒng)時，一個重要的原則是最小化所有操作和Master節(jié)點(diǎn)的交互。帶著這樣的設(shè)計理念，我們現(xiàn)在描述一下客戶機(jī)、Master服務(wù)器和Chunk服務(wù)器如何進(jìn)行交互，以實(shí)現(xiàn)數(shù)據(jù)修改操作、原子的記錄追加操作以及快照功能。
3.1 租約（lease）和變更順序
（alex注：lease是數(shù)據(jù)庫中的一個術(shù)語）
變更是一個會改變Chunk內(nèi)容或者元數(shù)據(jù)的操作，比如寫入操作或者記錄追加操作。變更操作會在Chunk的所有副本上執(zhí)行。我們使用租約（lease）機(jī)制來保持多個副本間變更順序的一致性。Master節(jié)點(diǎn)為Chunk的一個副本建立一個租約，我們把這個副本叫做主Chunk。主Chunk對Chunk的所有更改操作進(jìn)行序列化。所有的副本都遵從這個序列進(jìn)行修改操作。因此，修改操作全局的順序首先由Master節(jié)點(diǎn)選擇的租約的順序決定，然后由租約中主Chunk分配的序列號決定。
設(shè)計租約機(jī)制的目的是為了最小化Master節(jié)點(diǎn)的管理負(fù)擔(dān)。租約的初始超時設(shè)置為60秒。不過，只要Chunk被修改了，主Chunk就可以申請更長的租期，通常會得到Master節(jié)點(diǎn)的確認(rèn)并收到租約延長的時間。這些租約延長請求和批準(zhǔn)的信息通常都是附加在Master節(jié)點(diǎn)和Chunk服務(wù)器之間的心跳消息中來傳遞。有時Master節(jié)點(diǎn)會試圖提前取消租約（例如，Master節(jié)點(diǎn)想取消在一個已經(jīng)被改名的文件上的修改操作）。即使Master節(jié)點(diǎn)和主Chunk失去聯(lián)系，它仍然可以安全地在舊的租約到期后和另外一個Chunk副本簽訂新的租約。
在圖2中，我們依據(jù)步驟編號，展現(xiàn)寫入操作的控制流程。
◆ 客戶機(jī)向Master節(jié)點(diǎn)詢問哪一個Chunk服務(wù)器持有當(dāng)前的租約，以及其它副本的位置。如果沒有一個Chunk持有租約，Master節(jié)點(diǎn)就選擇其中一個副本建立一個租約（這個步驟在圖上沒有顯示）。
◆ Master節(jié)點(diǎn)將主Chunk的標(biāo)識符以及其它副本（又稱為secondary副本、二級副本）的位置返回給客戶機(jī)?？蛻魴C(jī)緩存這些數(shù)據(jù)以便后續(xù)的操作。只有在主Chunk不可用，或者主Chunk回復(fù)信息表明它已不再持有租約的時候，客戶機(jī)才需要重新跟Master節(jié)點(diǎn)聯(lián)系。
◆ 客戶機(jī)把數(shù)據(jù)推送到所有的副本上。客戶機(jī)可以以任意的順序推送數(shù)據(jù)。Chunk服務(wù)器接收到數(shù)據(jù)并保存在它的內(nèi)部LRU緩存中，一直到數(shù)據(jù)被使用或者過期交換出去。由于數(shù)據(jù)流的網(wǎng)絡(luò)傳輸負(fù)載非常高，通過分離數(shù)據(jù)流和控制流，我們可以基于網(wǎng)絡(luò)拓?fù)淝闆r對數(shù)據(jù)流進(jìn)行規(guī)劃，提高系統(tǒng)性能，而不用去理會哪個Chunk服務(wù)器保存了主Chunk。3.2章節(jié)會進(jìn)一步討論這點(diǎn)。
◆當(dāng)所有的副本都確認(rèn)接收到了數(shù)據(jù)，客戶機(jī)發(fā)送寫請求到主Chunk服務(wù)器。這個請求標(biāo)識了早前推送到所有副本的數(shù)據(jù)。主Chunk為接收到的所有操作分配連續(xù)的序列號，這些操作可能來自不同的客戶機(jī)，序列號保證了操作順序執(zhí)行。它以序列號的順序把操作應(yīng)用到它自己的本地狀態(tài)中（alex注：也就是在本地執(zhí)行這些操作，這句話按字面翻譯有點(diǎn)費(fèi)解，也許應(yīng)該翻譯為“它順序執(zhí)行這些操作，并更新自己的狀態(tài)”）。
◆主Chunk把寫請求傳遞到所有的二級副本。每個二級副本依照主Chunk分配的序列號以相同的順序執(zhí)行這些操作。
◆所有的二級副本回復(fù)主Chunk，它們已經(jīng)完成了操作。
◆主Chunk服務(wù)器（alex注：即主Chunk所在的Chunk服務(wù)器）回復(fù)客戶機(jī)。任何副本產(chǎn)生的任何錯誤都會返回給客戶機(jī)。在出現(xiàn)錯誤的情況下，寫入操作可能在主Chunk和一些二級副本執(zhí)行成功。（如果操作在主Chunk上失敗了，操作就不會被分配序列號，也不會被傳遞。）客戶端的請求被確認(rèn)為失敗，被修改的region處于不一致的狀態(tài)。我們的客戶機(jī)代碼通過重復(fù)執(zhí)行失敗的操作來處理這樣的錯誤。在從頭開始重復(fù)執(zhí)行之前，客戶機(jī)會先從步驟（3）到步驟（7）做幾次嘗試。
如果應(yīng)用程序一次寫入的數(shù)據(jù)量很大，或者數(shù)據(jù)跨越了多個Chunk，GFS客戶機(jī)代碼會把它們分成多個寫操作。這些操作都遵循前面描述的控制流程，但是可能會被其它客戶機(jī)上同時進(jìn)行的操作打斷或者覆蓋。因此，共享的文件region的尾部可能包含來自不同客戶機(jī)的數(shù)據(jù)片段，盡管如此，由于這些分解后的寫入操作在所有的副本上都以相同的順序執(zhí)行完成，Chunk的所有副本都是一致的。這使文件region處于2.7節(jié)描述的一致的、但是未定義的狀態(tài)。
3.2 數(shù)據(jù)流
為了提高網(wǎng)絡(luò)效率，我們采取了把數(shù)據(jù)流和控制流分開的措施。在控制流從客戶機(jī)到主Chunk、然后再到所有二級副本的同時，數(shù)據(jù)以管道的方式，順序的沿著一個精心選擇的Chunk服務(wù)器鏈推送。我們的目標(biāo)是充分利用每臺機(jī)器的帶寬，避免網(wǎng)絡(luò)瓶頸和高延時的連接，最小化推送所有數(shù)據(jù)的延時。
為了充分利用每臺機(jī)器的帶寬，數(shù)據(jù)沿著一個Chunk服務(wù)器鏈順序的推送，而不是以其它拓?fù)湫问椒稚⑼扑停ɡ纾瑯湫屯負(fù)浣Y(jié)構(gòu)）。線性推送模式下，每臺機(jī)器所有的出口帶寬都用于以最快的速度傳輸數(shù)據(jù)，而不是在多個接受者之間分配帶寬。
為了盡可能的避免出現(xiàn)網(wǎng)絡(luò)瓶頸和高延遲的鏈接（eg，inter-switch最有可能出現(xiàn)類似問題），每臺機(jī)器都盡量的在網(wǎng)絡(luò)拓?fù)渲羞x擇一臺還沒有接收到數(shù)據(jù)的、離自己最近的機(jī)器作為目標(biāo)推送數(shù)據(jù)。假設(shè)客戶機(jī)把數(shù)據(jù)從Chunk服務(wù)器S1推送到S4。它把數(shù)據(jù)推送到最近的Chunk服務(wù)器S1。S1把數(shù)據(jù)推送到S2，因?yàn)镾2和S4中最接近的機(jī)器是S2。同樣的，S2把數(shù)據(jù)傳遞給S3和S4之間更近的機(jī)器，依次類推推送下去。我們的網(wǎng)絡(luò)拓?fù)浞浅：唵危ㄟ^IP地址就可以計算出節(jié)點(diǎn)的“距離”。
最后，我們利用基于TCP連接的、管道式數(shù)據(jù)推送方式來最小化延遲。Chunk服務(wù)器接收到數(shù)據(jù)后，馬上開始向前推送。管道方式的數(shù)據(jù)推送對我們幫助很大，因?yàn)槲覀儾捎萌p工的交換網(wǎng)絡(luò)。接收到數(shù)據(jù)后立刻向前推送不會降低接收的速度。在沒有網(wǎng)絡(luò)擁塞的情況下，傳送B字節(jié)的數(shù)據(jù)到R個副本的理想時間是 B/T+RL ，T是網(wǎng)絡(luò)的吞吐量，L是在兩臺機(jī)器數(shù)據(jù)傳輸?shù)难舆t。通常情況下，我們的網(wǎng)絡(luò)連接速度是100Mbps（T），L將遠(yuǎn)小于1ms。因此，1MB的數(shù)據(jù)在理想情況下80ms左右就能分發(fā)出去。
3.3 原子的記錄追加
GFS提供了一種原子的數(shù)據(jù)追加操作–記錄追加。傳統(tǒng)方式的寫入操作，客戶程序會指定數(shù)據(jù)寫入的偏移量。對同一個region的并行寫入操作不是串行的：region尾部可能會包含多個不同客戶機(jī)寫入的數(shù)據(jù)片段。使用記錄追加，客戶機(jī)只需要指定要寫入的數(shù)據(jù)。GFS保證至少有一次原子的寫入操作成功執(zhí)行（即寫入一個順序的
記錄追加在我們的分布應(yīng)用中非常頻繁的使用，在這些分布式應(yīng)用中，通常有很多的客戶機(jī)并行地對同一個文件追加寫入數(shù)據(jù)。如果我們采用傳統(tǒng)方式的文件寫入操作，客戶機(jī)需要額外的復(fù)雜、昂貴的同步機(jī)制，例如使用一個分布式的鎖管理器。在我們的工作中，這樣的文件通常用于多個生產(chǎn)者/單一消費(fèi)者的隊(duì)列系統(tǒng)，或者是合并了來自多個客戶機(jī)的數(shù)據(jù)的結(jié)果文件。
記錄追加是一種修改操作，它也遵循3.1節(jié)描述的控制流程，除了在主Chunk有些額外的控制邏輯?？蛻魴C(jī)把數(shù)據(jù)推送給文件最后一個Chunk的所有副本，之后發(fā)送請求給主Chunk。主Chunk會檢查這次記錄追加操作是否會使Chunk超過最大尺寸（64MB）。如果超過了最大尺寸，主Chunk首先將當(dāng)前Chunk填充到最大尺寸，之后通知所有二級副本做同樣的操作，然后回復(fù)客戶機(jī)要求其對下一個Chunk重新進(jìn)行記錄追加操作。（記錄追加的數(shù)據(jù)大小嚴(yán)格控制在Chunk最大尺寸的1/4，這樣即使在最壞情況下，數(shù)據(jù)碎片的數(shù)量仍然在可控的范圍。）通常情況下追加的記錄不超過Chunk的最大尺寸，主Chunk把數(shù)據(jù)追加到自己的副本內(nèi)，然后通知二級副本把數(shù)據(jù)寫在跟主Chunk一樣的位置上，最后回復(fù)客戶機(jī)操作成功。
如果記錄追加操作在任何一個副本上失敗了，客戶端就需要重新進(jìn)行操作。重新進(jìn)行記錄追加的結(jié)果是，同一個Chunk的不同副本可能包含不同的數(shù)據(jù)–重復(fù)包含一個記錄全部或者部分的數(shù)據(jù)。GFS并不保證Chunk的所有副本在字節(jié)級別是完全一致的。它只保證數(shù)據(jù)作為一個整體原子的被至少寫入一次。這個特性可以通過簡單觀察推導(dǎo)出來：如果操作成功執(zhí)行，數(shù)據(jù)一定已經(jīng)寫入到Chunk的所有副本的相同偏移位置上。這之后，所有的副本至少都到了記錄尾部的長度，任何后續(xù)的記錄都會追加到更大的偏移地址，或者是不同的Chunk上，即使其它的Chunk副本被Master節(jié)點(diǎn)選為了主Chunk。就我們的一致性保障模型而言，記錄追加操作成功寫入數(shù)據(jù)的region是已定義的（因此也是一致的），反之則是不一致的（因此也就是未定義的）。正如我們在2.7.2節(jié)討論的，我們的程序可以處理不一致的區(qū)域。
3.4 快照
(alex注：這一節(jié)非常難以理解，總的來說依次講述了什么是快照、快照使用的COW技術(shù)、快照如何不干擾當(dāng)前操作)
快照操作幾乎可以瞬間完成對一個文件或者目錄樹（“源”）做一個拷貝，并且?guī)缀醪粫φ谶M(jìn)行的其它操作造成任何干擾。我們的用戶可以使用快照迅速的創(chuàng)建一個巨大的數(shù)據(jù)集的分支拷貝（而且經(jīng)常是遞歸的拷貝拷貝），或者是在做實(shí)驗(yàn)性的數(shù)據(jù)操作之前，使用快照操作備份當(dāng)前狀態(tài)，這樣之后就可以輕松的提交或者回滾到備份時的狀態(tài)。
就像AFS（alex注：AFS，即Andrew File System，一種分布式文件系統(tǒng)），我們用標(biāo)準(zhǔn)的copy-on-write技術(shù)實(shí)現(xiàn)快照。當(dāng)Master節(jié)點(diǎn)收到一個快照請求，它首先取消作快照的文件的所有Chunk的租約。這個措施保證了后續(xù)對這些Chunk的寫操作都必須與Master交互交互以找到租約持有者。這就給Master節(jié)點(diǎn)一個率先創(chuàng)建Chunk的新拷貝的機(jī)會。
租約取消或者過期之后，Master節(jié)點(diǎn)把這個操作以日志的方式記錄到硬盤上。然后，Master節(jié)點(diǎn)通過復(fù)制源文件或者目錄的元數(shù)據(jù)的方式，把這條日志記錄的變化反映到保存在內(nèi)存的狀態(tài)中。新創(chuàng)建的快照文件和源文件指向完全相同的Chunk地址。
在快照操作之后，當(dāng)客戶機(jī)第一次想寫入數(shù)據(jù)到Chunk C，它首先會發(fā)送一個請求到Master節(jié)點(diǎn)查詢當(dāng)前的租約持有者。Master節(jié)點(diǎn)注意到Chunke C的引用計數(shù)超過了1(alex注：不太明白為什么會大于1.難道是Snapshot沒有釋放引用計數(shù)？)。Master節(jié)點(diǎn)不會馬上回復(fù)客戶機(jī)的請求，而是選擇一個新的Chunk句柄C`。之后，Master節(jié)點(diǎn)要求每個擁有Chunk C當(dāng)前副本的Chunk服務(wù)器創(chuàng)建一個叫做C`的新Chunk。通過在源Chunk所在Chunk服務(wù)器上創(chuàng)建新的Chunk，我們確保數(shù)據(jù)在本地而不是通過網(wǎng)絡(luò)復(fù)制（我們的硬盤比我們的100Mb以太網(wǎng)大約快3倍）。從這點(diǎn)來講，請求的處理方式和任何其它Chunk沒什么不同：Master節(jié)點(diǎn)確保新Chunk C`的一個副本擁有租約，之后回復(fù)客戶機(jī)，客戶機(jī)得到回復(fù)后就可以正常的寫這個Chunk，而不必理會它是從一個已存在的Chunk克隆出來的。
#p#
4. Master節(jié)點(diǎn)的操作
Master節(jié)點(diǎn)執(zhí)行所有的名稱空間操作。此外，它還管理著整個系統(tǒng)里所有Chunk的副本：它決定Chunk的存儲位置，創(chuàng)建新Chunk和它的副本，協(xié)調(diào)各種各樣的系統(tǒng)活動以保證Chunk被完全復(fù)制，在所有的Chunk服務(wù)器之間的進(jìn)行負(fù)載均衡，回收不再使用的存儲空間。本節(jié)我們討論上述的主題。
4.1 名稱空間管理和鎖
Master節(jié)點(diǎn)的很多操作會花費(fèi)很長的時間：比如，快照操作必須取消Chunk服務(wù)器上快照所涉及的所有的Chunk的租約。我們不希望在這些操作的運(yùn)行時，延緩了其它的Master節(jié)點(diǎn)的操作。因此，我們允許多個操作同時進(jìn)行，使用名稱空間的region上的鎖來保證執(zhí)行的正確順序。
不同于許多傳統(tǒng)文件系統(tǒng)，GFS沒有針對每個目錄實(shí)現(xiàn)能夠列出目錄下所有文件的數(shù)據(jù)結(jié)構(gòu)。GFS也不支持文件或者目錄的鏈接（即Unix術(shù)語中的硬鏈接或者符號鏈接）。在邏輯上，GFS的名稱空間就是一個全路徑和元數(shù)據(jù)映射關(guān)系的查找表。利用前綴壓縮，這個表可以高效的存儲在內(nèi)存中。在存儲名稱空間的樹型結(jié)構(gòu)上，每個節(jié)點(diǎn)（絕對路徑的文件名或絕對路徑的目錄名）都有一個關(guān)聯(lián)的讀寫鎖。
每個Master節(jié)點(diǎn)的操作在開始之前都要獲得一系列的鎖。通常情況下，如果一個操作涉及/d1/d2/…/dn/leaf，那么操作首先要獲得目錄/d1，/d1/d2，…，/d1/d2/…/dn的讀鎖，以及/d1/d2/…/dn/leaf的讀寫鎖。注意，根據(jù)操作的不同，leaf可以是一個文件，也可以是一個目錄。
現(xiàn)在，我們演示一下在/home/user被快照到/save/user的時候，鎖機(jī)制如何防止創(chuàng)建文件/home/user/foo?？煺詹僮鳙@取/home和/save的讀取鎖，以及/home/user和/save/user的寫入鎖。文件創(chuàng)建操作獲得/home和/home/user的讀取鎖，以及/home/user/foo的寫入鎖。這兩個操作要順序執(zhí)行，因?yàn)樗鼈冊噲D獲取的/home/user的鎖是相互沖突。文件創(chuàng)建操作不需要獲取父目錄的寫入鎖，因?yàn)檫@里沒有”目錄”，或者類似inode等用來禁止修改的數(shù)據(jù)結(jié)構(gòu)。文件名的讀取鎖足以防止父目錄被刪除。
采用這種鎖方案的優(yōu)點(diǎn)是支持對同一目錄的并行操作。比如，可以再同一個目錄下同時創(chuàng)建多個文件：每一個操作都獲取一個目錄名的上的讀取鎖和文件名上的寫入鎖。目錄名的讀取鎖足以的防止目錄被刪除、改名以及被快照。文件名的寫入鎖序列化文件創(chuàng)建操作，確保不會多次創(chuàng)建同名的文件。
因?yàn)槊Q空間可能有很多節(jié)點(diǎn)，讀寫鎖采用惰性分配策略，在不再使用的時候立刻被刪除。同樣，鎖的獲取也要依據(jù)一個全局一致的順序來避免死鎖：首先按名稱空間的層次排序，在同一個層次內(nèi)按字典順序排序。
4.2 副本的位置
GFS集群是高度分布的多層布局結(jié)構(gòu)，而不是平面結(jié)構(gòu)。典型的拓?fù)浣Y(jié)構(gòu)是有數(shù)百個Chunk服務(wù)器安裝在許多機(jī)架上。Chunk服務(wù)器被來自同一或者不同機(jī)架上的數(shù)百個客戶機(jī)輪流訪問。不同機(jī)架上的兩臺機(jī)器間的通訊可能跨越一個或多個網(wǎng)絡(luò)交換機(jī)。另外，機(jī)架的出入帶寬可能比機(jī)架內(nèi)所有機(jī)器加和在一起的帶寬要小。多層分布架構(gòu)對數(shù)據(jù)的靈活性、可靠性以及可用性方面提出特有的挑戰(zhàn)。
Chunk副本位置選擇的策略服務(wù)兩大目標(biāo)：最大化數(shù)據(jù)可靠性和可用性，最大化網(wǎng)絡(luò)帶寬利用率。為了實(shí)現(xiàn)這兩個目的，僅僅是在多臺機(jī)器上分別存儲這些副本是不夠的，這只能預(yù)防硬盤損壞或者機(jī)器失效帶來的影響，以及最大化每臺機(jī)器的網(wǎng)絡(luò)帶寬利用率。我們必須在多個機(jī)架間分布儲存Chunk的副本。這保證Chunk的一些副本在整個機(jī)架被破壞或掉線（比如，共享資源，如電源或者網(wǎng)絡(luò)交換機(jī)造成的問題）的情況下依然存在且保持可用狀態(tài)。這還意味著在網(wǎng)絡(luò)流量方面，尤其是針對Chunk的讀操作，能夠有效利用多個機(jī)架的整合帶寬。另一方面，寫操作必須和多個機(jī)架上的設(shè)備進(jìn)行網(wǎng)絡(luò)通信，但是這個代價是我們愿意付出的。
4.3 創(chuàng)建，重新復(fù)制，重新負(fù)載均衡
Chunk的副本有三個用途：Chunk創(chuàng)建，重新復(fù)制和重新負(fù)載均衡。
當(dāng)Master節(jié)點(diǎn)創(chuàng)建一個Chunk時，它會選擇在哪里放置初始的空的副本。Master節(jié)點(diǎn)會考慮幾個因素。（1）我們希望在低于平均硬盤使用率的Chunk服務(wù)器上存儲新的副本。這樣的做法最終能夠平衡Chunk服務(wù)器之間的硬盤使用率。（2）我們希望限制在每個Chunk服務(wù)器上”最近”的Chunk創(chuàng)建操作的次數(shù)。雖然創(chuàng)建操作本身是廉價的，但是創(chuàng)建操作也意味著隨之會有大量的寫入數(shù)據(jù)的操作，因?yàn)镃hunk在Writer真正寫入數(shù)據(jù)的時候才被創(chuàng)建，而在我們的”追加一次，讀取多次”的工作模式下，Chunk一旦寫入成功之后就會變?yōu)橹蛔x的了。（3）如上所述，我們希望把Chunk的副本分布在多個機(jī)架之間。
當(dāng)Chunk的有效副本數(shù)量少于用戶指定的復(fù)制因數(shù)的時候，Master節(jié)點(diǎn)會重新復(fù)制它。這可能是由幾個原因引起的：一個Chunk服務(wù)器不可用了，Chunk服務(wù)器報告它所存儲的一個副本損壞了，Chunk服務(wù)器的一個磁盤因?yàn)殄e誤不可用了，或者Chunk副本的復(fù)制因數(shù)提高了。每個需要被重新復(fù)制的Chunk都會根據(jù)幾個因素進(jìn)行排序。一個因素是Chunk現(xiàn)有副本數(shù)量和復(fù)制因數(shù)相差多少。例如，丟失兩個副本的Chunk比丟失一個副本的Chunk有更高的優(yōu)先級。另外，我們優(yōu)先重新復(fù)制活躍（live）文件的Chunk而不是最近剛被刪除的文件的Chunk（查看4.4節(jié)）。最后，為了最小化失效的Chunk對正在運(yùn)行的應(yīng)用程序的影響，我們提高會阻塞客戶機(jī)程序處理流程的Chunk的優(yōu)先級。
Master節(jié)點(diǎn)選擇優(yōu)先級最高的Chunk，然后命令某個Chunk服務(wù)器直接從可用的副本”克隆”一個副本出來。選擇新副本的位置的策略和創(chuàng)建時類似：平衡硬盤使用率、限制同一臺Chunk服務(wù)器上的正在進(jìn)行的克隆操作的數(shù)量、在機(jī)架間分布副本。為了防止克隆產(chǎn)生的網(wǎng)絡(luò)流量大大超過客戶機(jī)的流量，Master節(jié)點(diǎn)對整個集群和每個Chunk服務(wù)器上的同時進(jìn)行的克隆操作的數(shù)量都進(jìn)行了限制。另外，Chunk服務(wù)器通過調(diào)節(jié)它對源Chunk服務(wù)器讀請求的頻率來限制它用于克隆操作的帶寬。
最后，Master服務(wù)器周期性地對副本進(jìn)行重新負(fù)載均衡：它檢查當(dāng)前的副本分布情況，然后移動副本以便更好的利用硬盤空間、更有效的進(jìn)行負(fù)載均衡。而且在這個過程中，Master服務(wù)器逐漸的填滿一個新的Chunk服務(wù)器，而不是在短時間內(nèi)用新的Chunk填滿它，以至于過載。新副本的存儲位置選擇策略和上面討論的相同。另外，Master節(jié)點(diǎn)必須選擇哪個副本要被移走。通常情況，Master節(jié)點(diǎn)移走那些剩余空間低于平均值的Chunk服務(wù)器上的副本，從而平衡系統(tǒng)整體的硬盤使用率。
4.4 垃圾回收
GFS在文件刪除后不會立刻回收可用的物理空間。GFS空間回收采用惰性的策略，只在文件和Chunk級的常規(guī)垃圾收集時進(jìn)行。我們發(fā)現(xiàn)這個方法使系統(tǒng)更簡單、更可靠。
4.4.1 機(jī)制
當(dāng)一個文件被應(yīng)用程序刪除時，Master節(jié)點(diǎn)象對待其它修改操作一樣，立刻把刪除操作以日志的方式記錄下來。但是，Master節(jié)點(diǎn)并不馬上回收資源，而是把文件名改為一個包含刪除時間戳的、隱藏的名字。當(dāng)Master節(jié)點(diǎn)對文件系統(tǒng)命名空間做常規(guī)掃描的時候，它會刪除所有三天前的隱藏文件（這個時間間隔是可以設(shè)置的）。直到文件被真正刪除，它們?nèi)耘f可以用新的特殊的名字讀取，也可以通過把隱藏文件改名為正常顯示的文件名的方式“反刪除”。當(dāng)隱藏文件被從名稱空間中刪除，Master服務(wù)器內(nèi)存中保存的這個文件的相關(guān)元數(shù)據(jù)才會被刪除。這也有效的切斷了文件和它包含的所有Chunk的連接（alex注：原文是This effectively severs its links to all its chunks）。
在對Chunk名字空間做類似的常規(guī)掃描時，Master節(jié)點(diǎn)找到孤兒Chunk（不被任何文件包含的Chunk）并刪除它們的元數(shù)據(jù)。Chunk服務(wù)器在和Master節(jié)點(diǎn)交互的心跳信息中，報告它擁有的Chunk子集的信息，Master節(jié)點(diǎn)回復(fù)Chunk服務(wù)器哪些Chunk在Master節(jié)點(diǎn)保存的元數(shù)據(jù)中已經(jīng)不存在了。Chunk服務(wù)器可以任意刪除這些Chunk的副本。
4.4.2 討論
雖然分布式垃圾回收在編程語言領(lǐng)域是一個需要復(fù)雜的方案才能解決的難題，但是在GFS系統(tǒng)中是非常簡單的。我們可以輕易的得到Chunk的所有引用：它們都只存儲在Master服務(wù)器上的文件到塊的映射表中。我們也可以很輕易的得到所有Chunk的副本：它們都以Linux文件的形式存儲在Chunk服務(wù)器的指定目錄下。所有Master節(jié)點(diǎn)不能識別的副本都是”垃圾”。
垃圾回收在空間回收方面相比直接刪除有幾個優(yōu)勢。首先，對于組件失效是常態(tài)的大規(guī)模分布式系統(tǒng)，垃圾回收方式簡單可靠。Chunk可能在某些Chunk服務(wù)器創(chuàng)建成功，某些Chunk服務(wù)器上創(chuàng)建失敗，失敗的副本處于無法被Master節(jié)點(diǎn)識別的狀態(tài)。副本刪除消息可能丟失，Master節(jié)點(diǎn)必須重新發(fā)送失敗的刪除消息，包括自身的和Chunk服務(wù)器的（alex注：自身的指刪除metadata的消息）。垃圾回收提供了一致的、可靠的清除無用副本的方法。第二，垃圾回收把存儲空間的回收操作合并到Master節(jié)點(diǎn)規(guī)律性的后臺活動中，比如，例行掃描和與Chunk服務(wù)器握手等。因此，操作被批量的執(zhí)行，開銷會被分散。另外，垃圾回收在Master節(jié)點(diǎn)相對空閑的時候完成。這樣Master節(jié)點(diǎn)就可以給那些需要快速反應(yīng)的客戶機(jī)請求提供更快捷的響應(yīng)。第三，延緩存儲空間回收為意外的、不可逆轉(zhuǎn)的刪除操作提供了安全保障。
根據(jù)我們的使用經(jīng)驗(yàn)，延遲回收空間的主要問題是，延遲回收會阻礙用戶調(diào)優(yōu)存儲空間的使用，特別是當(dāng)存儲空間比較緊缺的時候。當(dāng)應(yīng)用程序重復(fù)創(chuàng)建和刪除臨時文件時，釋放的存儲空間不能馬上重用。我們通過顯式的再次刪除一個已經(jīng)被刪除的文件的方式加速空間回收的速度。我們允許用戶為命名空間的不同部分設(shè)定不同的復(fù)制和回收策略。例如，用戶可以指定某些目錄樹下面的文件不做復(fù)制，刪除的文件被即時的、不可恢復(fù)的從文件系統(tǒng)移除。
4.5 過期失效的副本檢測
當(dāng)Chunk服務(wù)器失效時，Chunk的副本有可能因錯失了一些修改操作而過期失效。Master節(jié)點(diǎn)保存了每個Chunk的版本號，用來區(qū)分當(dāng)前的副本和過期副本。
無論何時，只要Master節(jié)點(diǎn)和Chunk簽訂一個新的租約，它就增加Chunk的版本號，然后通知最新的副本。Master節(jié)點(diǎn)和這些副本都把新的版本號記錄在它們持久化存儲的狀態(tài)信息中。這個動作發(fā)生在任何客戶機(jī)得到通知以前，因此也是對這個Chunk開始寫之前。如果某個副本所在的Chunk服務(wù)器正好處于失效狀態(tài)，那么副本的版本號就不會被增加。Master節(jié)點(diǎn)在這個Chunk服務(wù)器重新啟動，并且向Master節(jié)點(diǎn)報告它擁有的Chunk的集合以及相應(yīng)的版本號的時候，就會檢測出它包含過期的Chunk。如果Master節(jié)點(diǎn)看到一個比它記錄的版本號更高的版本號，Master節(jié)點(diǎn)會認(rèn)為它和Chunk服務(wù)器簽訂租約的操作失敗了，因此會選擇更高的版本號作為當(dāng)前的版本號。
Master節(jié)點(diǎn)在例行的垃圾回收過程中移除所有的過期失效副本。在此之前，Master節(jié)點(diǎn)在回復(fù)客戶機(jī)的Chunk信息請求的時候，簡單的認(rèn)為那些過期的塊根本就不存在。另外一重保障措施是，Master節(jié)點(diǎn)在通知客戶機(jī)哪個Chunk服務(wù)器持有租約、或者指示Chunk服務(wù)器從哪個Chunk服務(wù)器進(jìn)行克隆時，消息中都附帶了Chunk的版本號?？蛻魴C(jī)或者Chunk服務(wù)器在執(zhí)行操作時都會驗(yàn)證版本號以確?？偸窃L問當(dāng)前版本的數(shù)據(jù)。
#p#
5. 容錯和診斷
我們在設(shè)計GFS時遇到的最大挑戰(zhàn)之一是如何處理頻繁發(fā)生的組件失效。組件的數(shù)量和質(zhì)量讓這些問題出現(xiàn)的頻率遠(yuǎn)遠(yuǎn)超過一般系統(tǒng)意外發(fā)生的頻率：我們不能完全依賴機(jī)器的穩(wěn)定性，也不能完全相信硬盤的可靠性。組件的失效可能造成系統(tǒng)不可用，更糟糕的是，還可能產(chǎn)生不完整的數(shù)據(jù)。我們討論我們?nèi)绾蚊鎸@些挑戰(zhàn)，以及當(dāng)組件失效不可避免的發(fā)生時，用GFS自帶工具診斷系統(tǒng)故障。
5.1 高可用性
在GFS集群的數(shù)百個服務(wù)器之中，在任何給定的時間必定會有些服務(wù)器是不可用的。我們使用兩條簡單但是有效的策略保證整個系統(tǒng)的高可用性：快速恢復(fù)和復(fù)制。
5.1.1 快速恢復(fù)
不管Master服務(wù)器和Chunk服務(wù)器是如何關(guān)閉的，它們都被設(shè)計為可以在數(shù)秒鐘內(nèi)恢復(fù)它們的狀態(tài)并重新啟動。事實(shí)上，我們并不區(qū)分正常關(guān)閉和異常關(guān)閉；通常，我們通過直接kill掉進(jìn)程來關(guān)閉服務(wù)器?？蛻魴C(jī)和其它的服務(wù)器會感覺到系統(tǒng)有點(diǎn)顛簸(alex注：a minor hiccup)，正在發(fā)出的請求會超時，需要重新連接到重啟后的服務(wù)器，然后重試這個請求。6.6.2章節(jié)記錄了實(shí)測的啟動時間。
5.1.2 Chunk復(fù)制
正如之前討論的，每個Chunk都被復(fù)制到不同機(jī)架上的不同的Chunk服務(wù)器上。用戶可以為文件命名空間的不同部分設(shè)定不同的復(fù)制級別。缺省是3。當(dāng)有Chunk服務(wù)器離線了，或者通過Chksum校驗(yàn)（參考5.2節(jié)）發(fā)現(xiàn)了已經(jīng)損壞的數(shù)據(jù)，Master節(jié)點(diǎn)通過克隆已有的副本保證每個Chunk都被完整復(fù)制（alex注：即每個Chunk都有復(fù)制因子制定的個數(shù)個副本，缺省是3）。雖然Chunk復(fù)制策略對我們非常有效，但是我們也在尋找其它形式的跨服務(wù)器的冗余解決方案，比如使用奇偶校驗(yàn)、或者Erasure codes（alex注：Erasure codes用來解決鏈接層中不相關(guān)的錯誤，以及網(wǎng)絡(luò)擁塞和buffer限制造成的丟包錯誤）來解決我們?nèi)找嬖鲩L的只讀存儲需求。我們的系統(tǒng)主要的工作負(fù)載是追加方式的寫入和讀取操作，很少有隨機(jī)的寫入操作，因此，我們認(rèn)為在我們這個高度解耦合的系統(tǒng)架構(gòu)下實(shí)現(xiàn)這些復(fù)雜的冗余方案很有挑戰(zhàn)性，但并非不可實(shí)現(xiàn)。
5.1.3 Master服務(wù)器的復(fù)制
為了保證Master服務(wù)器的可靠性，Master服務(wù)器的狀態(tài)也要復(fù)制。Master服務(wù)器所有的操作日志和checkpoint文件都被復(fù)制到多臺機(jī)器上。對Master服務(wù)器狀態(tài)的修改操作能夠提交成功的前提是，操作日志寫入到Master服務(wù)器的備節(jié)點(diǎn)和本機(jī)的磁盤。簡單說來，一個Master服務(wù)進(jìn)程負(fù)責(zé)所有的修改操作，包括后臺的服務(wù)，比如垃圾回收等改變系統(tǒng)內(nèi)部狀態(tài)活動。當(dāng)它失效的時，幾乎可以立刻重新啟動。如果Master進(jìn)程所在的機(jī)器或者磁盤失效了，處于GFS系統(tǒng)外部的監(jiān)控進(jìn)程會在其它的存有完整操作日志的機(jī)器上啟動一個新的Master進(jìn)程?？蛻舳耸褂靡?guī)范的名字訪問Master（比如gfs-test）節(jié)點(diǎn)，這個名字類似DNS別名，因此也就可以在Master進(jìn)程轉(zhuǎn)到別的機(jī)器上執(zhí)行時，通過更改別名的實(shí)際指向訪問新的Master節(jié)點(diǎn)。
此外，GFS中還有些“影子”Master服務(wù)器，這些“影子”服務(wù)器在“主”Master服務(wù)器宕機(jī)的時候提供文件系統(tǒng)的只讀訪問。它們是影子，而不是鏡像，所以它們的數(shù)據(jù)可能比“主”Master服務(wù)器更新要慢，通常是不到1秒。對于那些不經(jīng)常改變的文件、或者那些允許獲取的數(shù)據(jù)有少量過期的應(yīng)用程序，“影子”Master服務(wù)器能夠提高讀取的效率。事實(shí)上，因?yàn)槲募?nèi)容是從Chunk服務(wù)器上讀取的，因此，應(yīng)用程序不會發(fā)現(xiàn)過期的文件內(nèi)容。在這個短暫的時間窗內(nèi)，過期的可能是文件的元數(shù)據(jù)，比如目錄的內(nèi)容或者訪問控制信息。
“影子”Master服務(wù)器為了保持自身狀態(tài)是最新的，它會讀取一份當(dāng)前正在進(jìn)行的操作的日志副本，并且依照和主Master服務(wù)器完全相同的順序來更改內(nèi)部的數(shù)據(jù)結(jié)構(gòu)。和主Master服務(wù)器一樣，“影子”Master服務(wù)器在啟動的時候也會從Chunk服務(wù)器輪詢數(shù)據(jù)（之后定期拉數(shù)據(jù)），數(shù)據(jù)中包括了Chunk副本的位置信息；“影子”Master服務(wù)器也會定期和Chunk服務(wù)器“握手”來確定它們的狀態(tài)。在主Master服務(wù)器因創(chuàng)建和刪除副本導(dǎo)致副本位置信息更新時，“影子”Master服務(wù)器才和主Master服務(wù)器通信來更新自身狀態(tài)。
5.2 數(shù)據(jù)完整性
每個Chunk服務(wù)器都使用Checksum來檢查保存的數(shù)據(jù)是否損壞?？紤]到一個GFS集群通常都有好幾百臺機(jī)器、幾千塊硬盤，磁盤損壞導(dǎo)致數(shù)據(jù)在讀寫過程中損壞或者丟失是非常常見的（第7節(jié)講了一個原因）。我們可以通過別的Chunk副本來解決數(shù)據(jù)損壞問題，但是跨越Chunk服務(wù)器比較副本來檢查數(shù)據(jù)是否損壞很不實(shí)際。另外，GFS允許有歧義的副本存在：GFS修改操作的語義，特別是早先討論過的原子紀(jì)錄追加的操作，并不保證副本完全相同(alex注：副本不是byte-wise完全一致的)。因此，每個Chunk服務(wù)器必須獨(dú)立維護(hù)Checksum來校驗(yàn)自己的副本的完整性。
我們把每個Chunk都分成64KB大小的塊。每個塊都對應(yīng)一個32位的Checksum。和其它元數(shù)據(jù)一樣，Checksum與其它的用戶數(shù)據(jù)是分開的，并且保存在內(nèi)存和硬盤上，同時也記錄操作日志。
對于讀操作來說，在把數(shù)據(jù)返回給客戶端或者其它的Chunk服務(wù)器之前，Chunk服務(wù)器會校驗(yàn)讀取操作涉及的范圍內(nèi)的塊的Checksum。因此Chunk服務(wù)器不會把錯誤數(shù)據(jù)傳遞到其它的機(jī)器上。如果發(fā)生某個塊的Checksum不正確，Chunk服務(wù)器返回給請求者一個錯誤信息，并且通知Master服務(wù)器這個錯誤。作為回應(yīng)，請求者應(yīng)當(dāng)從其它副本讀取數(shù)據(jù)，Master服務(wù)器也會從其它副本克隆數(shù)據(jù)進(jìn)行恢復(fù)。當(dāng)一個新的副本就緒后，Master服務(wù)器通知副本錯誤的Chunk服務(wù)器刪掉錯誤的副本。
Checksum對讀操作的性能影響很小，可以基于幾個原因來分析一下。因?yàn)榇蟛糠值淖x操作都至少要讀取幾個塊，而我們只需要讀取一小部分額外的相關(guān)數(shù)據(jù)進(jìn)行校驗(yàn)。GFS客戶端代碼通過每次把讀取操作都對齊在Checksum block的邊界上，進(jìn)一步減少了這些額外的讀取操作的負(fù)面影響。另外，在Chunk服務(wù)器上，Chunksum的查找和比較不需要I/O操作，Checksum的計算可以和I/O操作同時進(jìn)行。
Checksum的計算針對在Chunk尾部的追加寫入操作作了高度優(yōu)化（與之對應(yīng)的是覆蓋現(xiàn)有數(shù)據(jù)的寫入操作），因?yàn)檫@類操作在我們的工作中占了很大比例。我們只增量更新最后一個不完整的塊的Checksum，并且用所有的追加來的新Checksum塊來計算新的Checksum。即使是最后一個不完整的Checksum塊已經(jīng)損壞了，而且我們不能夠馬上檢查出來，由于新的Checksum和已有數(shù)據(jù)不吻合，在下次對這個塊進(jìn)行讀取操作的時候，會檢查出數(shù)據(jù)已經(jīng)損壞了。
相比之下，如果寫操作覆蓋已經(jīng)存在的一個范圍內(nèi)的Chunk，我們必須讀取和校驗(yàn)被覆蓋的第一個和最后一個塊，然后再執(zhí)行寫操作；操作完成之后再重新計算和寫入新的Checksum。如果我們不校驗(yàn)第一個和最后一個被寫的塊，那么新的Checksum可能會隱藏沒有被覆蓋區(qū)域內(nèi)的數(shù)據(jù)錯誤。
在Chunk服務(wù)器空閑的時候，它會掃描和校驗(yàn)每個不活動的Chunk的內(nèi)容。這使得我們能夠發(fā)現(xiàn)很少被讀取的Chunk是否完整。一旦發(fā)現(xiàn)有Chunk的數(shù)據(jù)損壞，Master可以創(chuàng)建一個新的、正確的副本，然后把損壞的副本刪除掉。這個機(jī)制也避免了非活動的、已損壞的Chunk欺騙Master節(jié)點(diǎn)，使Master節(jié)點(diǎn)認(rèn)為它們已經(jīng)有了足夠多的副本了。
5.3 診斷工具
詳盡的、深入細(xì)節(jié)的診斷日志，在問題隔離、調(diào)試、以及性能分析等方面給我們帶來無法估量的幫助，同時也只需要很小的開銷。沒有日志的幫助，我們很難理解短暫的、不重復(fù)的機(jī)器之間的消息交互。GFS的服務(wù)器會產(chǎn)生大量的日志，記錄了大量關(guān)鍵的事件（比如，Chunk服務(wù)器啟動和關(guān)閉）以及所有的RPC的請求和回復(fù)。這些診斷日志可以隨意刪除，對系統(tǒng)的正確運(yùn)行不造成任何影響。然而，我們在存儲空間允許的情況下會盡量的保存這些日志。
RPC日志包含了網(wǎng)絡(luò)上發(fā)生的所有請求和響應(yīng)的詳細(xì)記錄，但是不包括讀寫的文件數(shù)據(jù)。通過匹配請求與回應(yīng)，以及收集不同機(jī)器上的RPC日志記錄，我們可以重演所有的消息交互來診斷問題。日志還用來跟蹤負(fù)載測試和性能分析。
日志對性能的影響很?。ㄟh(yuǎn)小于它帶來的好處），因?yàn)檫@些日志的寫入方式是順序的、異步的。最近發(fā)生的事件日志保存在內(nèi)存中，可用于持續(xù)不斷的在線監(jiān)控。
#p#
6. 度量
本節(jié)中，我們將使用一些小規(guī)模基準(zhǔn)測試來展現(xiàn)GFS系統(tǒng)架構(gòu)和實(shí)現(xiàn)上的一些固有瓶頸，還有些來自Google內(nèi)部使用的真實(shí)的GFS集群的基準(zhǔn)數(shù)據(jù)。
6.1 小規(guī)?；鶞?zhǔn)測試
我們在一個包含1臺Master服務(wù)器，2臺Master服務(wù)器復(fù)制節(jié)點(diǎn)，16臺Chunk服務(wù)器和16個客戶機(jī)組成的GFS集群上測量性能。注意，采用這樣的集群配置方案只是為了易于測試。典型的GFS集群有數(shù)百個Chunk服務(wù)器和數(shù)百個客戶機(jī)。
所有機(jī)器的配置都一樣：兩個PIII 1.4GHz處理器，2GB內(nèi)存，兩個80G/5400rpm的硬盤，以及100Mbps全雙工以太網(wǎng)連接到一個HP2524交換機(jī)。GFS集群中所有的19臺服務(wù)器都連接在一個交換機(jī)，所有16臺客戶機(jī)連接到另一個交換機(jī)上。兩個交換機(jī)之間使用1Gbps的線路連接。
6.1.1 讀取
N個客戶機(jī)從GFS文件系統(tǒng)同步讀取數(shù)據(jù)。每個客戶機(jī)從320GB的文件集合中隨機(jī)讀取4MB region的內(nèi)容。讀取操作重復(fù)執(zhí)行256次，因此，每個客戶機(jī)最終都讀取1GB的數(shù)據(jù)。所有的Chunk服務(wù)器加起來總共只有32GB的內(nèi)存，因此，我們預(yù)期只有最多10%的讀取請求命中Linux的文件系統(tǒng)緩沖。我們的測試結(jié)果應(yīng)該和一個在沒有文件系統(tǒng)緩存的情況下讀取測試的結(jié)果接近。
圖三：合計吞吐量：上邊的曲線顯示了我們網(wǎng)絡(luò)拓?fù)湎碌暮嫌嬂碚撏掏铝可舷?。下邊的曲線顯示了觀測到的吞吐量。這個曲線有著95%的可靠性，因?yàn)橛袝r候測量會不夠精確。
圖3（a）顯示了N個客戶機(jī)整體的讀取速度以及這個速度的理論極限。當(dāng)連接兩個交換機(jī)的1Gbps的鏈路飽和時，整體讀取速度達(dá)到理論的極限值是125MB/S，或者說每個客戶機(jī)配置的100Mbps網(wǎng)卡達(dá)到飽和時，每個客戶機(jī)讀取速度的理論極限值是12.5MB/s。實(shí)測結(jié)果是，當(dāng)一個客戶機(jī)讀取的時候，讀取的速度是10MB/s，也就是說達(dá)到客戶機(jī)理論讀取速度極限值的80%。對于16個客戶機(jī)，整體的讀取速度達(dá)到了94MB/s，大約是理論整體讀取速度極限值的75%，也就是說每個客戶機(jī)的讀取速度是6MB/s。讀取效率從80%降低到了75%，主要的原因是當(dāng)讀取的客戶機(jī)增加時，多個客戶機(jī)同時讀取一個Chunk服務(wù)器的幾率也增加了，導(dǎo)致整體的讀取效率下降。
6.1.2 寫入
N個客戶機(jī)同時向N個不同的文件中寫入數(shù)據(jù)。每個客戶機(jī)以每次1MB的速度連續(xù)寫入1GB的數(shù)據(jù)。圖3（b）顯示了整體的寫入速度和它們理論上的極限值。理論上的極限值是67MB/s，因?yàn)槲覀冃枰衙恳籦yte寫入到16個Chunk服務(wù)器中的3個上，而每個Chunk服務(wù)器的輸入連接速度是12.5MB/s。
一個客戶機(jī)的寫入速度是6.3MB，大概是理論極限值的一半。導(dǎo)致這個結(jié)果的主要原因是我們的網(wǎng)絡(luò)協(xié)議棧。它與我們推送數(shù)據(jù)到Chunk服務(wù)器時采用的管道模式不相適應(yīng)。從一個副本到另一個副本的數(shù)據(jù)傳輸延遲降低了整個的寫入速度。
16個客戶機(jī)整體的寫入速度達(dá)到了35MB/s（即每個客戶機(jī)2.2MB/s），大約只是理論極限值的一半。和多個客戶機(jī)讀取的情形很類型，隨著客戶機(jī)數(shù)量的增加，多個客戶機(jī)同時寫入同一個Chunk服務(wù)器的幾率也增加了。而且，16個客戶機(jī)并行寫入可能引起的沖突比16個客戶機(jī)并行讀取要大得多，因?yàn)槊總€寫入都會涉及三個不同的副本。
寫入的速度比我們想象的要慢。在實(shí)際應(yīng)用中，這沒有成為我們的主要問題，因?yàn)榧词乖趩蝹€客戶機(jī)上能夠感受到延時，它也不會在有大量客戶機(jī)的時候?qū)φw的寫入帶寬造成顯著的影響。
6.1.3 記錄追加
圖3（c）顯示了記錄追加操作的性能。N個客戶機(jī)同時追加數(shù)據(jù)到一個文件。記錄追加操作的性能受限于保存文件最后一個Chunk的Chunk服務(wù)器的帶寬，而與客戶機(jī)的數(shù)量無關(guān)。記錄追加的速度由一個客戶機(jī)的6.0MB/s開始，下降到16個客戶機(jī)的4.8MB/s為止，速度的下降主要是由于不同客戶端的網(wǎng)絡(luò)擁塞以及網(wǎng)絡(luò)傳輸速度的不同而導(dǎo)致的。
我們的程序傾向于同時處理多個這樣的文件。換句話說，即N個客戶機(jī)同時追加數(shù)據(jù)到M個共享文件中，這里N和M都是數(shù)十或者數(shù)百以上。所以，在我們的實(shí)際應(yīng)用中，Chunk服務(wù)器的網(wǎng)絡(luò)擁塞并沒有成為一個嚴(yán)重問題，如果Chunk服務(wù)器的某個文件正在寫入，客戶機(jī)會去寫另外一個文件。
6.2 實(shí)際應(yīng)用中的集群
我們現(xiàn)在來仔細(xì)評估一下Google內(nèi)部正在使用的兩個集群，它們具有一定的代表性。集群A通常被上百個工程師用于研究和開發(fā)。典型的任務(wù)是被人工初始化后連續(xù)運(yùn)行數(shù)個小時。它通常讀取數(shù)MB到數(shù)TB的數(shù)據(jù)，之后進(jìn)行轉(zhuǎn)化或者分析，最后把結(jié)果寫回到集群中。集群B主要用于處理當(dāng)前的生產(chǎn)數(shù)據(jù)。集群B的任務(wù)持續(xù)的時間更長，在很少人工干預(yù)的情況下，持續(xù)的生成和處理數(shù)TB的數(shù)據(jù)集。在這兩個案例中，一個單獨(dú)的”任務(wù)”都是指運(yùn)行在多個機(jī)器上的多個進(jìn)程，它們同時讀取和寫入多個文件。
6.2.1 存儲
如上表前五行所描述的，兩個集群都由上百臺Chunk服務(wù)器組成，支持?jǐn)?shù)TB的硬盤空間；兩個集群雖然都存儲了大量的數(shù)據(jù)，但是還有剩余的空間。“已用空間”包含了所有的Chunk副本。實(shí)際上所有的文件都復(fù)制了三份。因此，集群實(shí)際上各存儲了18TB和52TB的文件數(shù)據(jù)。
兩個集群存儲的文件數(shù)量都差不多，但是集群B上有大量的死文件。所謂“死文件”是指文件被刪除了或者是被新版本的文件替換了，但是存儲空間還沒有來得及被回收。由于集群B存儲的文件較大，因此它的Chunk數(shù)量也比較多。
6.2.2 元數(shù)據(jù)
Chunk服務(wù)器總共保存了十幾GB的元數(shù)據(jù)，大多數(shù)是來自用戶數(shù)據(jù)的、64KB大小的塊的Checksum。保存在Chunk服務(wù)器上其它的元數(shù)據(jù)是Chunk的版本號信息，我們在4.5節(jié)描述過。
在Master服務(wù)器上保存的元數(shù)據(jù)就小的多了，大約只有數(shù)十MB，或者說平均每個文件100字節(jié)的元數(shù)據(jù)。這和我們設(shè)想的是一樣的，Master服務(wù)器的內(nèi)存大小在實(shí)際應(yīng)用中并不會成為GFS系統(tǒng)容量的瓶頸。大多數(shù)文件的元數(shù)據(jù)都是以前綴壓縮模式存放的文件名。Master服務(wù)器上存放的其它元數(shù)據(jù)包括了文件的所有者和權(quán)限、文件到Chunk的映射關(guān)系，以及每一個Chunk的當(dāng)前版本號。此外，針對每一個Chunk，我們都保存了當(dāng)前的副本位置以及對它的引用計數(shù)，這個引用計數(shù)用于實(shí)現(xiàn)寫時拷貝（alex注：即COW，copy-on-write）。
對于每一個單獨(dú)的服務(wù)器，無論是Chunk服務(wù)器還是Master服務(wù)器，都只保存了50MB到100MB的元數(shù)據(jù)。因此，恢復(fù)服務(wù)器是非?？焖俚模涸诜?wù)器響應(yīng)客戶請求之前，只需要花幾秒鐘時間從磁盤上讀取這些數(shù)據(jù)就可以了。不過，Master服務(wù)器會持續(xù)顛簸一段時間–通常是30到60秒–直到它完成輪詢所有的Chunk服務(wù)器，并獲取到所有Chunk的位置信息。
6.2.3 讀寫速率
表三顯示了不同時段的讀寫速率。在測試的時候，這兩個集群都運(yùn)行了一周左右的時間。（這兩個集群最近都因?yàn)樯壭掳姹镜腉FS重新啟動過了）。
集群重新啟動后，平均寫入速率小于30MB/s。當(dāng)我們提取性能數(shù)據(jù)的時候，集群B正進(jìn)行大量的寫入操作，寫入速度達(dá)到了100MB/s，并且因?yàn)槊總€Chunk都有三個副本的原因，網(wǎng)絡(luò)負(fù)載達(dá)到了300MB/s。
讀取速率要比寫入速率高的多。正如我們設(shè)想的那樣，總的工作負(fù)載中，讀取的比例遠(yuǎn)遠(yuǎn)高于寫入的比例。兩個集群都進(jìn)行著繁重的讀取操作。特別是，集群A在一周時間內(nèi)都維持了580MB/s的讀取速度。集群A的網(wǎng)絡(luò)配置可以支持750MB/s的速度，顯然，它有效的利用了資源。集群B支持的峰值讀取速度是1300MB/s，但是它的應(yīng)用只用到了380MB/s。
6.2.4 Master服務(wù)器的負(fù)載
表3的數(shù)據(jù)顯示了發(fā)送到Master服務(wù)器的操作請求大概是每秒鐘200到500個。Master服務(wù)器可以輕松的應(yīng)付這個請求速度，所以Master服務(wù)器的處理能力不是系統(tǒng)的瓶頸。
在早期版本的GFS中，Master服務(wù)器偶爾會成為瓶頸。它大多數(shù)時間里都在順序掃描某個很大的目錄（包含數(shù)萬個文件）去查找某個特定的文件。因此我們修改了Master服務(wù)器的數(shù)據(jù)結(jié)構(gòu)，通過對名字空間進(jìn)行二分查找來提高效率。現(xiàn)在Master服務(wù)器可以輕松的每秒鐘進(jìn)行數(shù)千次文件訪問。如果有需要的話，我們可以通過在名稱空間數(shù)據(jù)結(jié)構(gòu)之前設(shè)置名稱查詢緩沖的方式進(jìn)一步提高速度。
6.2.5 恢復(fù)時間
當(dāng)某個Chunk服務(wù)器失效了，一些Chunk副本的數(shù)量可能會低于復(fù)制因子指定的數(shù)量，我們必須通過克隆副本使Chunk副本數(shù)量達(dá)到復(fù)制因子指定的數(shù)量?；謴?fù)所有Chunk副本所花費(fèi)的時間取決于資源的數(shù)量。在我們的試驗(yàn)中，我們把集群B上的一個Chunk服務(wù)器Kill掉。這個Chunk服務(wù)器上大約有15000個Chunk，共計600GB的數(shù)據(jù)。為了減小克隆操作對正在運(yùn)行的應(yīng)用程序的影響，以及為GFS調(diào)度決策提供修正空間，我們?nèi)笔〉陌鸭褐胁l(fā)克隆操作的數(shù)量設(shè)置為91個（Chunk服務(wù)器的數(shù)量的40%），每個克隆操作最多允許使用的帶寬是6.25MB/s（50mbps）。所有的Chunk在23.2分鐘內(nèi)恢復(fù)了，復(fù)制的速度高達(dá)440MB/s。
在另外一個測試中，我們Kill掉了兩個Chunk服務(wù)器，每個Chunk服務(wù)器大約有16000個Chunk，共計660GB的數(shù)據(jù)。這兩個故障導(dǎo)致了266個Chunk只有單個副本。這266個Chunk被GFS優(yōu)先調(diào)度進(jìn)行復(fù)制，在2分鐘內(nèi)恢復(fù)到至少有兩個副本；現(xiàn)在集群被帶入到另外一個狀態(tài)，在這個狀態(tài)下，系統(tǒng)可以容忍另外一個Chunk服務(wù)器失效而不丟失數(shù)據(jù)。
6.3 工作負(fù)荷分析(Workload Breakdown)
本節(jié)中，我們展示了對兩個GFS集群工作負(fù)載情況的詳細(xì)分析，這兩個集群和6.2節(jié)中的類似，但是不完全相同。集群X用于研究和開發(fā)，集群Y用于生產(chǎn)數(shù)據(jù)處理。
6.3.1 方法論和注意事項(xiàng)
本章節(jié)列出的這些結(jié)果數(shù)據(jù)只包括客戶機(jī)發(fā)起的原始請求，因此，這些結(jié)果能夠反映我們的應(yīng)用程序?qū)FS文件系統(tǒng)產(chǎn)生的全部工作負(fù)載。它們不包含那些為了實(shí)現(xiàn)客戶端請求而在服務(wù)器間交互的請求，也不包含GFS內(nèi)部的后臺活動相關(guān)的請求，比如前向轉(zhuǎn)發(fā)的寫操作，或者重新負(fù)載均衡等操作。
我們從GFS服務(wù)器記錄的真實(shí)的RPC請求日志中推導(dǎo)重建出關(guān)于IO操作的統(tǒng)計信息。例如，GFS客戶程序可能會把一個讀操作分成幾個RPC請求來提高并行度，我們可以通過這些RPC請求推導(dǎo)出原始的讀操作。因?yàn)槲覀兊脑L問模式是高度程式化，所以我們認(rèn)為任何不符合的數(shù)據(jù)都是誤差(alex注：Since our access patterns are highly stylized, we expect any error to be in the noise)。應(yīng)用程序如果能夠記錄更詳盡的日志，就有可能提供更準(zhǔn)確的診斷數(shù)據(jù)；但是為了這個目的去重新編譯和重新啟動數(shù)千個正在運(yùn)行的客戶機(jī)是不現(xiàn)實(shí)的，而且從那么多客戶機(jī)上收集結(jié)果也是個繁重的工作。
應(yīng)該避免從我們的工作負(fù)荷數(shù)據(jù)中過度的歸納出普遍的結(jié)論(alex注：即不要把本節(jié)的數(shù)據(jù)作為基礎(chǔ)的指導(dǎo)性數(shù)據(jù))。因?yàn)镚oogle完全控制著GFS和使用GFS的應(yīng)用程序，所以，應(yīng)用程序都針對GFS做了優(yōu)化，同時，GFS也是為了這些應(yīng)用程序而設(shè)計的。這樣的相互作用也可能存在于一般程序和文件系統(tǒng)中，但是在我們的案例中這樣的作用影響可能更顯著。
6.3.2 Chunk服務(wù)器工作負(fù)荷
表4顯示了操作按涉及的數(shù)據(jù)量大小的分布情況。讀取操作按操作涉及的數(shù)據(jù)量大小呈現(xiàn)了雙峰分布。小的讀取操作（小于64KB）一般是由查找操作的客戶端發(fā)起的，目的在于從巨大的文件中查找小塊的數(shù)據(jù)。大的讀取操作（大于512KB）一般是從頭到尾順序的讀取整個文件。
在集群Y上，有相當(dāng)數(shù)量的讀操作沒有返回任何的數(shù)據(jù)。在我們的應(yīng)用中，尤其是在生產(chǎn)系統(tǒng)中，經(jīng)常使用文件作為生產(chǎn)者-消費(fèi)者隊(duì)列。生產(chǎn)者并行的向文件中追加數(shù)據(jù)，同時，消費(fèi)者從文件的尾部讀取數(shù)據(jù)。某些情況下，消費(fèi)者讀取的速度超過了生產(chǎn)者寫入的速度，這就會導(dǎo)致沒有讀到任何數(shù)據(jù)的情況。集群X通常用于短暫的數(shù)據(jù)分析任務(wù)，而不是長時間運(yùn)行的分布式應(yīng)用，因此，集群X很少出現(xiàn)這種情況。
寫操作按數(shù)據(jù)量大小也同樣呈現(xiàn)為雙峰分布。大的寫操作（超過256KB）通常是由于Writer使用了緩存機(jī)制導(dǎo)致的。Writer緩存較小的數(shù)據(jù)，通過頻繁的Checkpoint或者同步操作，或者只是簡單的統(tǒng)計小的寫入（小于64KB）的數(shù)據(jù)量(alex注：即匯集多次小的寫入操作，當(dāng)數(shù)據(jù)量達(dá)到一個閾值，一次寫入)，之后批量寫入。
再來觀察一下記錄追加操作。我們可以看到集群Y中大的記錄追加操作所占比例比集群X多的多，這是因?yàn)榧篩用于我們的生產(chǎn)系統(tǒng)，針對GFS做了更全面的調(diào)優(yōu)。
表5顯示了按操作涉及的數(shù)據(jù)量的大小統(tǒng)計出來的總數(shù)據(jù)傳輸量。在所有的操作中，大的操作（超過256KB）占據(jù)了主要的傳輸量。小的讀?。ㄐ∮?4KB）雖然傳輸?shù)臄?shù)據(jù)量比較少，但是在讀取的數(shù)據(jù)量中仍占了相當(dāng)?shù)谋壤?，這是因?yàn)樵谖募须S機(jī)Seek的工作負(fù)荷而導(dǎo)致的。
6.3.3 記錄追加 vs. 寫操作
記錄追加操作在我們的生產(chǎn)系統(tǒng)中大量使用。對于集群X，記錄追加操作和普通寫操作的比例按照字節(jié)比是108:1，按照操作次數(shù)比是8:1。對于作為我們的生產(chǎn)系統(tǒng)的集群Y來說，這兩個比例分別是3.7:1和2.5:1。更進(jìn)一步，這一組數(shù)據(jù)說明在我們的兩個集群上，記錄追加操作所占比例都要比寫操作要大。對于集群X，在整個測量過程中，記錄追加操作所占比率都比較低，因此結(jié)果會受到一兩個使用某些特定大小的buffer的應(yīng)用程序的影響。
如同我們所預(yù)期的，我們的數(shù)據(jù)修改操作主要是記錄追加操作而不是覆蓋方式的寫操作。我們測量了第一個副本的數(shù)據(jù)覆蓋寫的情況。這近似于一個客戶機(jī)故意覆蓋剛剛寫入的數(shù)據(jù)，而不是增加新的數(shù)據(jù)。對于集群X，覆蓋寫操作在寫操作所占據(jù)字節(jié)上的比例小于0.0001%，在所占據(jù)操作數(shù)量上的比例小于0.0003%。對于集群Y，這兩個比率都是0.05%。雖然這只是某一片斷的情況，但是仍然高于我們的預(yù)期。這是由于這些覆蓋寫的操作，大部分是由于客戶端在發(fā)生錯誤或者超時以后重試的情況。這在本質(zhì)上應(yīng)該不算作工作負(fù)荷的一部分，而是重試機(jī)制產(chǎn)生的結(jié)果。
6.3.4 Master的工作負(fù)荷
表6顯示了Master服務(wù)器上的請求按類型區(qū)分的明細(xì)表。大部分的請求都是讀取操作查詢Chunk位置信息（FindLocation）、以及修改操作查詢lease持有者的信息（FindLease-Locker）。
集群X和Y在刪除請求的數(shù)量上有著明顯的不同，因?yàn)榧篩存儲了生產(chǎn)數(shù)據(jù)，一般會重新生成數(shù)據(jù)以及用新版本的數(shù)據(jù)替換舊有的數(shù)據(jù)。數(shù)量上的差異也被隱藏在了Open請求中，因?yàn)榕f版本的文件可能在以重新寫入的模式打開時，隱式的被刪除了（類似UNIX的open函數(shù)中的“w”模式）。
FindMatchingFiles是一個模式匹配請求，支持“ls”以及其它類似的文件系統(tǒng)操作。不同于Master服務(wù)器的其它請求，它可能會檢索namespace的大部分內(nèi)容，因此是非常昂貴的操作。集群Y的這類請求要多一些，因?yàn)樽詣踊瘮?shù)據(jù)處理的任務(wù)進(jìn)程需要檢查文件系統(tǒng)的各個部分，以便從全局上了解應(yīng)用程序的狀態(tài)。與之不同的是，集群X的應(yīng)用程序更加傾向于由單獨(dú)的用戶控制，通常預(yù)先知道自己所需要使用的全部文件的名稱。
#p#
7. 經(jīng)驗(yàn)
在建造和部署GFS的過程中，我們經(jīng)歷了各種各樣的問題，有些是操作上的，有些是技術(shù)上的。
起初，GFS被設(shè)想為我們的生產(chǎn)系統(tǒng)的后端文件系統(tǒng)。隨著時間推移，在GFS的使用中逐步的增加了對研究和開發(fā)任務(wù)的支持。我們開始增加一些小的功能，比如權(quán)限和配額，到了現(xiàn)在，GFS已經(jīng)初步支持了這些功能。雖然我們生產(chǎn)系統(tǒng)是嚴(yán)格受控的，但是用戶層卻不總是這樣的。需要更多的基礎(chǔ)架構(gòu)來防止用戶間的相互干擾。
我們最大的問題是磁盤以及和Linux相關(guān)的問題。很多磁盤都聲稱它們支持某個范圍內(nèi)的Linux IDE硬盤驅(qū)動程序，但是實(shí)際應(yīng)用中反映出來的情況卻不是這樣，它們只支持最新的驅(qū)動。因?yàn)閰f(xié)議版本很接近，所以大部分磁盤都可以用，但是偶爾也會有由于協(xié)議不匹配，導(dǎo)致驅(qū)動和內(nèi)核對于驅(qū)動器的狀態(tài)判斷失誤。這會導(dǎo)致數(shù)據(jù)因?yàn)閮?nèi)核中的問題意外的被破壞了。這個問題促使我們使用Checksum來校驗(yàn)數(shù)據(jù)，同時我們也修改內(nèi)核來處理這些因?yàn)閰f(xié)議不匹配帶來的問題。
較早的時候，我們在使用Linux 2.2內(nèi)核時遇到了些問題，主要是fsync()的效率問題。它的效率與文件的大小而不是文件修改部分的大小有關(guān)。這在我們的操作日志文件過大時給出了難題，尤其是在我們尚未實(shí)現(xiàn)Checkpoint的時候。我們費(fèi)了很大的力氣用同步寫來解決這個問題，但是最后還是移植到了Linux2.4內(nèi)核上。
另一個和Linux相關(guān)的問題是單個讀寫鎖的問題，也就是說，在某一個地址空間的任意一個線程都必須在從磁盤page in（讀鎖）的時候先hold住，或者在mmap()調(diào)用（寫鎖）的時候改寫地址空間。我們發(fā)現(xiàn)即使我們的系統(tǒng)負(fù)載很輕的情況下也會有偶爾的超時，我們花費(fèi)了很多的精力去查找資源的瓶頸或者硬件的問題。最后我們終于發(fā)現(xiàn)這個單個鎖在磁盤線程交換以前映射的數(shù)據(jù)到磁盤的時候，鎖住了當(dāng)前的網(wǎng)絡(luò)線程，阻止它把新數(shù)據(jù)映射到內(nèi)存。由于我們的性能主要受限于網(wǎng)絡(luò)接口，而不是內(nèi)存copy的帶寬，因此，我們用pread()替代mmap()，用了一個額外的copy動作來解決這個問題。
盡管偶爾還是有其它的問題，Linux的開放源代碼還是使我們能夠快速探究和理解系統(tǒng)的行為。在適當(dāng)?shù)臅r候，我們會改進(jìn)內(nèi)核并且和公開源碼組織共享這些改動。
#p#
8. 相關(guān)工作
和其它的大型分布式文件系統(tǒng)，比如AFS[5]類似，GFS提供了一個與位置無關(guān)的名字空間，這使得數(shù)據(jù)可以為了負(fù)載均衡或者災(zāi)難冗余等目的在不同位置透明的遷移。不同于AFS的是，GFS把文件分布存儲到不同的服務(wù)器上，這種方式更類似Xfs[1]和Swift[3]，這是為了提高整體性能以及災(zāi)難冗余的能力。
由于磁盤相對來說比較便宜，并且復(fù)制的方式比RAID[9]方法簡單的多，GFS目前只使用復(fù)制的方式來進(jìn)行冗余，因此要比xFS或者Swift占用更多的裸存儲空間(alex注：Raw storage，裸盤的空間)。
與AFS、xFS、Frangipani[12]以及Intermezzo[6]等文件系統(tǒng)不同的是，GFS并沒有在文件系統(tǒng)層面提供任何Cache機(jī)制。我們主要的工作在單個應(yīng)用程序執(zhí)行的時候幾乎不會重復(fù)讀取數(shù)據(jù)，因?yàn)樗鼈兊墓ぷ鞣绞揭词橇魇降淖x取一個大型的數(shù)據(jù)集，要么是在大型的數(shù)據(jù)集中隨機(jī)Seek到某個位置，之后每次讀取少量的數(shù)據(jù)。
某些分布式文件系統(tǒng)，比如Frangipani、xFS、Minnesota’s GFS[11]、GPFS[10]，去掉了中心服務(wù)器，只依賴于分布式算法來保證一致性和可管理性。我們選擇了中心服務(wù)器的方法，目的是為了簡化設(shè)計，增加可靠性，能夠靈活擴(kuò)展。特別值得一提的是，由于處于中心位置的Master服務(wù)器保存有幾乎所有的Chunk相關(guān)信息，并且控制著Chunk的所有變更，因此，它極大地簡化了原本非常復(fù)雜的Chunk分配和復(fù)制策略的實(shí)現(xiàn)方法。我們通過減少M(fèi)aster服務(wù)器保存的狀態(tài)信息的數(shù)量，以及將Master服務(wù)器的狀態(tài)復(fù)制到其它節(jié)點(diǎn)來保證系統(tǒng)的災(zāi)難冗余能力。擴(kuò)展能力和高可用性（對于讀?。┠壳笆峭ㄟ^我們的影子Master服務(wù)器機(jī)制來保證的。對Master服務(wù)器狀態(tài)更改是通過預(yù)寫日志的方式實(shí)現(xiàn)持久化。為此，我們可以調(diào)整為使用類似Harp[7]中的primary-copy方案，從而提供比我們現(xiàn)在的方案更嚴(yán)格的一致性保證。
我們解決了一個難題，這個難題類似Lustre[8]在如何在有大量客戶端時保障系統(tǒng)整體性能遇到的問題。不過，我們通過只關(guān)注我們的應(yīng)用程序的需求，而不是提供一個兼容POSIX的文件系統(tǒng)，從而達(dá)到了簡化問題的目的。此外，GFS設(shè)計預(yù)期是使用大量的不可靠節(jié)點(diǎn)組建集群，因此，災(zāi)難冗余方案是我們設(shè)計的核心。
GFS很類似NASD架構(gòu)[4]。NASD架構(gòu)是基于網(wǎng)絡(luò)磁盤的，而GFS使用的是普通計算機(jī)作為Chunk服務(wù)器，就像NASD原形中方案一樣。所不同的是，我們的Chunk服務(wù)器采用惰性分配固定大小的Chunk的方式，而不是分配變長的對象存儲空間。此外，GFS實(shí)現(xiàn)了諸如重新負(fù)載均衡、復(fù)制、恢復(fù)機(jī)制等等在生產(chǎn)環(huán)境中需要的特性。
不同于與Minnesota’s GFS和NASD，我們并不改變存儲設(shè)備的Model(alex注：對這兩個文件系統(tǒng)不了解，因?yàn)椴惶靼赘淖兇鎯υO(shè)備的Model用來做什么，這不明白這個model是模型、還是型號)。我們只關(guān)注用普通的設(shè)備來解決非常復(fù)雜的分布式系統(tǒng)日常的數(shù)據(jù)處理。
我們通過原子的記錄追加操作實(shí)現(xiàn)了生產(chǎn)者-消費(fèi)者隊(duì)列，這個問題類似River[2]中的分布式隊(duì)列。River使用的是跨主機(jī)的、基于內(nèi)存的分布式隊(duì)列，為了實(shí)現(xiàn)這個隊(duì)列，必須仔細(xì)控制數(shù)據(jù)流；而GFS采用可以被生產(chǎn)者并發(fā)追加記錄的持久化的文件的方式實(shí)現(xiàn)。River模式支持m-到-n的分布式隊(duì)列，但是缺少由持久化存儲提供的容錯機(jī)制，GFS只支持m-到-1的隊(duì)列。多個消費(fèi)者可以同時讀取一個文件，但是它們輸入流的區(qū)間必須是對齊的。
#p#
9. 結(jié)束語
Google文件系統(tǒng)展示了一個使用普通硬件支持大規(guī)模數(shù)據(jù)處理的系統(tǒng)的特質(zhì)。雖然一些設(shè)計要點(diǎn)都是針對我們的特殊的需要定制的，但是還是有很多特性適用于類似規(guī)模的和成本的數(shù)據(jù)處理任務(wù)。
首先，我們根據(jù)我們當(dāng)前的和可預(yù)期的將來的應(yīng)用規(guī)模和技術(shù)環(huán)境來評估傳統(tǒng)的文件系統(tǒng)的特性。我們的評估結(jié)果將我們引導(dǎo)到一個使用完全不同于傳統(tǒng)的設(shè)計思路上。根據(jù)我們的設(shè)計思路，我們認(rèn)為組件失效是常態(tài)而不是異常，針對采用追加方式（有可能是并發(fā)追加）寫入、然后再讀?。ㄍǔＰ蛄谢x?。┑拇笪募M(jìn)行優(yōu)化，以及擴(kuò)展標(biāo)準(zhǔn)文件系統(tǒng)接口、放松接口限制來改進(jìn)整個系統(tǒng)。
我們系統(tǒng)通過持續(xù)監(jiān)控，復(fù)制關(guān)鍵數(shù)據(jù)，快速和自動恢復(fù)提供災(zāi)難冗余。Chunk復(fù)制使得我們可以對Chunk服務(wù)器的失效進(jìn)行容錯。高頻率的組件失效要求系統(tǒng)具備在線修復(fù)機(jī)制，能夠周期性的、透明的修復(fù)損壞的數(shù)據(jù)，也能夠第一時間重新建立丟失的副本。此外，我們使用Checksum在磁盤或者IDE子系統(tǒng)級別檢測數(shù)據(jù)損壞，在這樣磁盤數(shù)量驚人的大系統(tǒng)中，損壞率是相當(dāng)高的。
我們的設(shè)計保證了在有大量的并發(fā)讀寫操作時能夠提供很高的合計吞吐量。我們通過分離控制流和數(shù)據(jù)流來實(shí)現(xiàn)這個目標(biāo)，控制流在Master服務(wù)器處理，而數(shù)據(jù)流在Chunk服務(wù)器和客戶端處理。當(dāng)一般的操作涉及到Master服務(wù)器時，由于GFS選擇的Chunk尺寸較大(alex注：從而減小了元數(shù)據(jù)的大小)，以及通過Chunk Lease將控制權(quán)限移交給主副本，這些措施將Master服務(wù)器的負(fù)擔(dān)降到最低。這使得一個簡單、中心的Master不會成為成為瓶頸。我們相信我們對網(wǎng)絡(luò)協(xié)議棧的優(yōu)化可以提升當(dāng)前對于每客戶端的寫入吞吐量限制。
GFS成功的實(shí)現(xiàn)了我們對存儲的需求，在Google內(nèi)部，無論是作為研究和開發(fā)的存儲平臺，還是作為生產(chǎn)系統(tǒng)的數(shù)據(jù)處理平臺，都得到了廣泛的應(yīng)用。它是我們持續(xù)創(chuàng)新和處理整個WEB范圍內(nèi)的難題的一個重要工具。
【編輯推薦】
