自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

存儲幫助Facebook 150萬用戶順暢交友

存儲
到去年,全球著名的SNS社區(qū)網(wǎng)站Facebook擁有150萬的活躍用戶,根據(jù)分析機構(gòu)comScore的統(tǒng)計,F(xiàn)acebook現(xiàn)在已經(jīng)躍然穩(wěn)坐全球社交網(wǎng)站的第一把交椅,目前,其在Alexa的排行榜上排在第五位。

    Facebook的用戶現(xiàn)在每個月都上傳超過800萬張數(shù)碼照片,截至去年夏天,F(xiàn)acebook是全球***的網(wǎng)絡(luò)照片存儲網(wǎng)站,共存儲了6.5億張圖片,同時,F(xiàn)acebook還擁有500多萬部影片,以及其他內(nèi)容,其中包括約20萬件網(wǎng)絡(luò)新聞、博客文章以及報告和評論,總計存儲的數(shù)據(jù)量達到數(shù)個PB,所有這些數(shù)據(jù)都需要安全的存儲,而且需要馬上就進行檢索。而這,是一個極為艱巨的任務(wù)。

    事實上,F(xiàn)acebook就像是一個傳奇,很難相信,前哈佛大學二年級學生Mark Zuckerberg創(chuàng)建的Facebook到目前為止僅僅只有5歲,在如此短的時間內(nèi)積累下如此龐大的數(shù)據(jù)簡直讓人不可思議,但是,這的確是事實。

    其實,F(xiàn)acebook的增長一直這么快且樂觀,在2007年12月,該公司在美國加州的數(shù)據(jù)中心達到了滿載的容量,幸運的是,F(xiàn)acebook的存儲管理團隊已經(jīng)看到了存儲的未來,并且在數(shù)據(jù)增長的過程中在美國東海岸的弗吉尼亞州建立了一個數(shù)據(jù)中心,并在幾周前正式上線。不過,能夠積極地管理PB級別的數(shù)據(jù)是很不容易的事情,因此,F(xiàn)acebook的團隊一直在尋找可行之道。

    “對于存儲容量來說,我每天早餐的時候都會看到一個圖表,那上面顯示著我們正在做的。”Facebook公司存儲工程經(jīng)理Anoop Nagwani表示,他已經(jīng)在Facebook工作了一年半,“我們每個月都會評價整個我們的組織機構(gòu),然后每周都會有一個小組討論。”

    MySQL越來越龐大

    Facebook的用戶數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫上,F(xiàn)acebook擁有一個全球***的MySQL數(shù)據(jù)庫系統(tǒng),騎在超過1800臺服務(wù)器上運行著MySQL數(shù)據(jù)庫。Facebook選擇了MySQL的開放性,因為其代碼的可修改性是必要的。Facebook同時還是用了大量的內(nèi)存緩存服務(wù)器(Memcached Server),其速度大幅度超過了MySQL服務(wù)器,從而能夠更好的跟上存儲數(shù)據(jù)副本的要求。此外,每個晚上,F(xiàn)acebook都會進行數(shù)據(jù)復(fù)制,將Facebook在西海岸數(shù)據(jù)中心的數(shù)據(jù)復(fù)制到東海岸的數(shù)據(jù)中心中,并進行一次數(shù)據(jù)轉(zhuǎn)儲,這些數(shù)據(jù)通過重復(fù)數(shù)據(jù)刪除技術(shù)專業(yè)廠商Data Domain的技術(shù)進行重復(fù)數(shù)據(jù)刪除后進行長期存儲。
Facebook處理圖片和視頻略有不同,其使用NetApp的NFS系統(tǒng)以及SATA硬盤來進行存儲,因為NetApp能夠在一個很大的容器中存儲很大的對象。但是,隨著Facebook上存儲的照片數(shù)量的增長,NetApp的系統(tǒng)因由元數(shù)據(jù)已經(jīng)不堪重負,造成了帶寬的瓶頸。

    因此,今年晚些時候,F(xiàn)acebook計劃推出自己的對象存儲系統(tǒng)“Haystack”,該系統(tǒng)被其描述為“一個標示數(shù)據(jù)所在的用戶級別的抽象對象都存儲在一個單一的文件中(類似于LUN)”。

    Facebook也使用NFS來存儲視頻,“因為我們有許多設(shè)備要存儲相同的數(shù)據(jù)在一線系統(tǒng),這事***成本效益和高性能的方式做到這一點?!盢agwani談到。Facebook的系統(tǒng)正在像Isilon的集群存儲系統(tǒng)一樣良好工作著。但是Nagwani和他的團隊仍然在積極尋找其他平臺,比如Sun的Storage 7410統(tǒng)一存儲系統(tǒng),其能夠擴展到576TB。

    能耗和性能取得均衡

    另一個備受Nagwani和他的團隊關(guān)注的話題是能耗問題。

    “我們一直都在關(guān)注電力問題?!彼硎?,“我們擔心我們數(shù)據(jù)中心機架的能耗。話雖如此,我們正在制定一個解決方案,例如,當我們轉(zhuǎn)移到NetApp,特別是當我們的照片都轉(zhuǎn)移到運行著SATA硬盤的NetApp系統(tǒng)時,我們很看重電力消耗。我們期待系統(tǒng)能夠做到的I/O指數(shù),他們提供的容量和性能。而且我們還希望從根本上創(chuàng)建一個cookie刀片設(shè)計,我們要知道該系統(tǒng)有多少能力能夠支持多少的用戶使用?!?/P>

    正如他的MySQL的數(shù)據(jù),F(xiàn)acebook的照片和視頻從西海岸數(shù)據(jù)中心利用快照復(fù)制到東海岸的數(shù)據(jù)中心,這樣一來,“如果有人和類型的應(yīng)用程序或是管理錯誤,我們可以隨時通過快照來返回,或者,在最壞的情況下,出現(xiàn)系統(tǒng)故障,我們能夠轉(zhuǎn)移到東海岸,并將數(shù)據(jù)復(fù)制到西海岸那邊。”Nagwani表示。

    另一個大的問題是,F(xiàn)acebook的團隊關(guān)注擴展性,因為,大約每周用戶上傳到Facebook的數(shù)據(jù)達到25TB,“這是我們的***要務(wù),是我們的規(guī)模、和擴展水平能夠領(lǐng)先市場需求的原因?!?/P>

    “閃存將是我們今年巨大的進步?!薄狝noop Nagwani
 
    作為其始終創(chuàng)建***的數(shù)據(jù)存儲平臺的長期戰(zhàn)略,F(xiàn)acebook目前正在研究閃存技術(shù),特別是以PCI為基礎(chǔ)的高容量閃存設(shè)備,加入到固態(tài)存儲(SSD)的用戶大軍中去。

    “我們正在尋求將高容量的閃存設(shè)備到我們的MySQL數(shù)據(jù)庫中去,因為我們的數(shù)據(jù)庫內(nèi)容需要非常快的I/O操作,這樣做就能更快的進行ETL處理、數(shù)據(jù)倉庫并且可以更快的獲得數(shù)據(jù)。”Nagwani表示,“我們也在尋求將Sun的ZFS平臺作為我們的一個新的系統(tǒng),就像我們使用NetApp一樣。我們喜歡他們,因為他們有一系列的閃存,因此,我們可以緩存大量的數(shù)據(jù),所以基本上我們今年在閃存存儲上的進步將是巨大的?!?/P>

責任編輯:劉強 來源: DoStor
相關(guān)推薦

2018-03-22 17:24:05

2010-04-26 09:53:38

2011-12-26 15:31:33

2022-09-05 11:25:22

惡意瀏覽器Chrome惡意擴展

2024-10-22 15:29:20

2020-07-29 15:09:56

Dave數(shù)據(jù)泄露數(shù)據(jù)庫泄露

2023-01-31 17:07:06

2023-06-13 15:55:54

2021-04-15 07:53:15

ParkMobile數(shù)據(jù)泄露網(wǎng)絡(luò)犯罪

2010-05-04 22:32:37

手機木馬網(wǎng)絡(luò)安全360手機衛(wèi)士

2015-02-09 10:14:33

2021-04-02 11:09:35

MobiKwik 移動支付數(shù)據(jù)泄露

2011-12-26 09:58:59

2021-03-30 09:57:30

Twitter宕機

2013-04-27 10:33:52

2013-10-31 14:03:11

2014-05-29 09:13:15

2023-05-30 20:19:20

2011-09-28 11:28:05

2011-10-17 12:24:41

點贊
收藏

51CTO技術(shù)棧公眾號