希捷SMR技術(shù)支持百度提升冷數(shù)據(jù)存儲能力
企業(yè)背景:
百度目前為全球最大的中文搜索引擎、最大的中文網(wǎng)站,于2000年1月創(chuàng)立于北京,經(jīng)過十幾年的不斷發(fā)展,現(xiàn)已成為中國最受歡迎、影響力最大的中文網(wǎng)站。作為全球互聯(lián)網(wǎng)行業(yè)的領(lǐng)頭羊,百度一直肩負(fù)著引領(lǐng)行業(yè)技術(shù)方向的使命。在通過技術(shù)創(chuàng)新不斷滿足用戶的移動搜索需求的同時,百度也在繼續(xù)積極推動移動云生態(tài)系統(tǒng)的建設(shè)和發(fā)展,與產(chǎn)業(yè)實現(xiàn)共贏。2012年9月,百度面向開發(fā)者全面開放包括云存儲、大數(shù)據(jù)和云計算在內(nèi)的核心云能力,為開發(fā)者提供更強(qiáng)大的技術(shù)運營支持與推廣變現(xiàn)保障,以幫助他們在移動云時代獲得更好的收益和成長。
應(yīng)用需求:
移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的快速發(fā)展產(chǎn)生并積累了大量的數(shù)據(jù),根據(jù)國際數(shù)據(jù)公司(IDC)發(fā)布的研究報告,全球所有信息數(shù)據(jù)中90%產(chǎn)生于最近幾年,到2020年,我們將產(chǎn)生44ZB的數(shù)據(jù),而互聯(lián)網(wǎng)企業(yè)尤其是搜索引擎公司是大數(shù)據(jù)實踐的先行者和領(lǐng)跑者。百度是中文世界主流的搜索引擎,每天響應(yīng)來自138個國家和地區(qū)的數(shù)十億次搜索請求,覆蓋95%以上的中國網(wǎng)民,每天都在存儲和處理海量的用戶數(shù)據(jù)和系統(tǒng)數(shù)據(jù),包括網(wǎng)頁、圖片、文檔及各類音視頻等,對海量數(shù)據(jù)的存儲、處理與管理能力有著很高的需求,如何妥善存儲龐大的冷數(shù)據(jù)信息成為了百度數(shù)據(jù)存儲管理的重中之重。
解決方案:
通過合理平衡容量、性能、可用性、成本等相關(guān)因素,百度設(shè)計開發(fā)了一套針對數(shù)據(jù)分級分層存儲的冰山冷存儲解決方案(天蝎整機(jī)柜存儲解決方案)。有效降低了數(shù)據(jù)存儲的TCO。
作為冰山冷存儲解決方案的一部分,在存儲介質(zhì)與數(shù)據(jù)管理方面,百度與希捷緊密合作,率先引入基于疊瓦式磁記錄(SMR)技術(shù)的8TB歸檔硬盤,有效降低了每GB存儲的成本與功耗。
希捷全新的8TB SMR硬盤擁有企業(yè)級可靠性,采用經(jīng)過實踐檢驗的SATA 6Gb/s接口,支持歸檔工作負(fù)載,并具備多硬盤抗旋轉(zhuǎn)震功能,可在高密度的環(huán)境中實現(xiàn)一致的企業(yè)級性能,提高系統(tǒng)容量,借助更少的組件提高系統(tǒng)和人員效率,同時降低功耗成本。
目前,百度冰山冷存儲解決方案已經(jīng)在其自建的大型云計算中心大規(guī)模部署。
合作現(xiàn)狀:
希捷與百度的合作由來已久,雙方在2014年簽署了戰(zhàn)略合作備忘錄,涉及的合作領(lǐng)域包括低成本在線存儲、存檔、數(shù)據(jù)管理與優(yōu)化等。
作為搜索引擎公司的巨頭,百度擁有EB級別的海量數(shù)據(jù)存儲,收錄了相當(dāng)于5000個國家圖書館的信息容量,同時承擔(dān)著每天百億次的訪問請求。伴隨數(shù)據(jù)規(guī)模的迅速增長,為了保障用戶數(shù)據(jù)安全所做的備份、法規(guī)遵從類備份、極冷數(shù)據(jù)歸檔存儲累積成了龐大的冷數(shù)據(jù)群體,因此急需尋求低成本存儲解決方案。
希捷歸檔盤針對24x7不間斷運行工作負(fù)載設(shè)計,同時5900的轉(zhuǎn)速可以大大降低硬盤功耗,能夠可靠地節(jié)約能源,節(jié)省成本。與此同時,其8TB的總存儲空間以及單碟1.33TB的容量均為業(yè)界領(lǐng)先,每GB成本更是突破了傳統(tǒng)企業(yè)級近線盤的價格區(qū)間,快速的讀寫速度也可以滿足百度毫秒級響應(yīng)速度的需求。
希捷8TB歸檔硬盤擁有企業(yè)級的可靠性,支持歸檔工作負(fù)載,并具備多硬盤抗旋轉(zhuǎn)震動功能,可在高密度的環(huán)境中實現(xiàn)一致的企業(yè)級性能,非常適合存儲海量的大數(shù)據(jù)、冷數(shù)據(jù)。“百度非常高興可以與存儲領(lǐng)域的領(lǐng)軍企業(yè)希捷合作,借助其業(yè)界領(lǐng)先的技術(shù),可以提高我們數(shù)據(jù)中心的存儲密度,更加經(jīng)濟(jì)有效地應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容,將大量冷數(shù)據(jù)進(jìn)行低成本歸檔存儲。”百度相關(guān)業(yè)務(wù)負(fù)責(zé)人表示。
作為開放數(shù)據(jù)中心的先鋒,百度不斷致力于優(yōu)化整機(jī)柜解決方案和降低TCO。無論是百度自建的陽泉數(shù)據(jù)中心、超高密度1U18天蝎整機(jī)柜冷存儲服務(wù)器(每機(jī)柜720塊盤)、還是大容量希捷8TB疊瓦式磁記錄技術(shù)歸檔盤(每機(jī)柜5.76PB存儲空間),所有這些優(yōu)化方案的成功部署,都在整個行業(yè)均備受矚目。在新興的冷數(shù)據(jù)歸檔業(yè)務(wù)上,百度的成功部署,必將影響到大量的互聯(lián)網(wǎng)公司進(jìn)行跟進(jìn)和學(xué)習(xí)。
疊瓦式磁記錄(SMR)技術(shù)
希捷8TB歸檔盤實現(xiàn)業(yè)界領(lǐng)先面密度容量,這要歸功于其自主研發(fā)的疊瓦式磁記錄技術(shù)。作為新一代存儲技術(shù),疊瓦式磁記錄對于不斷提升面密度(單碟存儲的數(shù)據(jù)量)具有重要作用,以促進(jìn)全球云和移動應(yīng)用的發(fā)展,新一代疊瓦式磁記錄存儲技術(shù)預(yù)計能夠提升高達(dá)25%的面密度。
希捷通過疊瓦式磁記錄技術(shù)使用了更少的磁頭與磁碟,增強(qiáng)了硬盤的穩(wěn)定性,并達(dá)到了新的容量點。在使用目前相同硬盤配置的磁碟與磁頭時,疊瓦式磁記錄也能提高存儲容量,使得硬盤的性價比更高,為提升單位面積存儲密度提供了一個經(jīng)濟(jì)實惠的途徑。
愿景
百度高級技術(shù)總監(jiān)劉超先生表示:“通過合理的數(shù)據(jù)分層存儲,引入冷數(shù)據(jù)歸檔方案,可以幫助我們用更優(yōu)的TCO實現(xiàn)數(shù)據(jù)的安全保護(hù),對用戶、對公司都具有積極的價值。通過與希捷公司合作,借助希捷可靠的存儲技術(shù)和領(lǐng)先產(chǎn)品,我們可以更有效地應(yīng)對云計算、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)增長與存儲挑戰(zhàn),更好的服務(wù)業(yè)務(wù)、服務(wù)用戶,持續(xù)提升用戶體驗。”
希捷科技中國區(qū)云和企業(yè)級OEM業(yè)務(wù)總監(jiān)錢亞歐表示:“作為全球存儲解決方案的領(lǐng)軍企業(yè),希捷正在幫助中國領(lǐng)先的云服務(wù)和互聯(lián)網(wǎng)供應(yīng)商解決其在存儲領(lǐng)域的痛點。很高興百度通過采用希捷全新的8TB歸檔盤有效降低了冷數(shù)據(jù)存儲的成本,將存儲的先進(jìn)技術(shù)轉(zhuǎn)化為實際效益。雙方的深化戰(zhàn)略合作也將進(jìn)一步鞏固希捷在中國企業(yè)級市場的領(lǐng)導(dǎo)地位。”