【51CTO.com原創(chuàng)稿件】由中國電子技術(shù)標(biāo)準(zhǔn)化研究院主辦、51CTO承辦的"第七屆中國云計算標(biāo)準(zhǔn)和應(yīng)用大會"于2018年1月4日至1月5日在北京成功召開。本次大會全面展示我國云計算國家標(biāo)準(zhǔn)研制工作的成果，解讀國內(nèi)云計算產(chǎn)業(yè)政策，報告云計算標(biāo)準(zhǔn)化工作的重要進展。同時，大會還重磅發(fā)布了國家開源領(lǐng)域的標(biāo)準(zhǔn)化產(chǎn)物，分享了云計算***的技術(shù)趨勢和應(yīng)用創(chuàng)新成效，并頒發(fā)了云計算產(chǎn)品及解決方案第五批測評證書。此外，第二屆中國優(yōu)秀云計算開源案例評選結(jié)果也在大會現(xiàn)場公布。

在萬物互聯(lián)和數(shù)字化轉(zhuǎn)型蓬勃發(fā)展的時代，企業(yè)乃至整個產(chǎn)業(yè)的入云需求日漸迫切。隨著云計算產(chǎn)業(yè)配套政策的落地，云計算逐步從互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)行業(yè)滲透。產(chǎn)業(yè)轉(zhuǎn)型與創(chuàng)新分論壇直擊產(chǎn)業(yè)轉(zhuǎn)型痛點，探討云計算服務(wù)能力如何加速傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級。
 

[[216507]]
京東公有云存儲研發(fā)總監(jiān) 張斯聰

在1月5日的云網(wǎng)安全與存儲分論壇上，京東公有云存儲研發(fā)總監(jiān)張斯聰先生為我們講解了京東云存儲的開放之路。他在演講中談到，大家在京東平時購物看到的圖片，用到的一些信息，網(wǎng)頁的資源還有曬單的信息都是存在我們京東本身的私有云存儲上的?，F(xiàn)在京東云存儲對內(nèi)部集團已經(jīng)有物流、商城、金融、搜索、廣告、大數(shù)據(jù)還有我們京東云這方面支撐了大概1200多個業(yè)務(wù)部數(shù)據(jù)存儲的需求，現(xiàn)在公有云的業(yè)務(wù)逐漸發(fā)展，我們基于私有云面向公有云來逐漸的拓展我們自己京東的對象存儲的產(chǎn)品。

以下是演講實錄：

大家好，我是在京東公有云負責(zé)云存儲主要是對象存儲還有視頻云兩個產(chǎn)品線的，今天主要介紹一下京東云對象存儲這個產(chǎn)品，首先先簡單介紹一下我們對象存儲這個產(chǎn)品的成長之路，大家都知道京東其實本身自有的非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)都是海量的，大家在京東平時購物看到的圖片，用到的一些信息，網(wǎng)頁的資源還有曬單的信息都是存在我們京東本身的私有云存儲上的，因此我們現(xiàn)在京東云存儲對內(nèi)部集團已經(jīng)有物流、商城、金融、搜索、廣告、大數(shù)據(jù)還有我們京東云這方面支撐了大概1200多個業(yè)務(wù)部數(shù)據(jù)存儲的需求，現(xiàn)在公有云的業(yè)務(wù)逐漸發(fā)展，我們基于私有云面向公有云來逐漸的拓展我們自己京東的對象存儲的產(chǎn)品。

整個成長之路，大概在2015年底，我們京東公有云產(chǎn)品是從私有云產(chǎn)品上誕生出來的，在2016年4月1號我們***次正式上線運營，到今年位置從我們產(chǎn)品出身到現(xiàn)在基本上是一個高速發(fā)展的時間，大概到2018年我們系統(tǒng)會加速發(fā)展，來成為我們整個集團重點推進的項目，在2018年底滿足客戶的各種需求。

京東云面向國內(nèi)四個地域/六個可用區(qū)

到現(xiàn)在為止我們京東云主要在國內(nèi)四個地域六個可用區(qū)提供對外公有云服務(wù)，北方是在北京，華東是在上海和宿遷兩個地，華南是在廣州，作為一個存儲產(chǎn)品，我們公有云的存儲其實是來自于私有云這邊，產(chǎn)品性能上來說最重要的還是考慮兩個方面，一個是可靠可用性，另外一個就是易用性。首先咱們談一下可靠和可用性這方面，在我們公有云產(chǎn)品里面如何做到高可靠和高可用這方面呢，首先我們分成三個方向，首先說一下服務(wù)的部署，從服務(wù)部署上來說，京東的公有云體系分成三個層級，***大級是最左邊的區(qū)域這一檔，中間是可用區(qū)，最右邊是數(shù)據(jù)中心，一個可用區(qū)可以由多個在滿足一定條件的數(shù)據(jù)中心組成，一個區(qū)域可以由多個可用區(qū)來組成，整個公有云的產(chǎn)品也就在這三級上實現(xiàn)物理和軟件的容災(zāi)。

京東云的分級部署

在分級部署這方面，整個對象服務(wù)在可用區(qū)內(nèi)對外提供完整的服務(wù)單位，在區(qū)域里面分成左右兩塊，比如說兩個可用區(qū)，分成左右兩塊的可用區(qū)進行部署，在一個可用區(qū)掛掉不可提供服務(wù)的時候，我們還有剩下一個可用區(qū)可以對外提供的服務(wù)，同時在一個可用區(qū)內(nèi)部我們會同時部署多套子集群來保證在一個可用區(qū)內(nèi)部部分不可用的時候，整個服務(wù)還是可用的，同時在一個子集群內(nèi)部，因為他肯定有中心做決策的，以及數(shù)據(jù)存儲的，我們?nèi)趸酥行墓?jié)點對整個服務(wù)的關(guān)鍵性的位置，我們把數(shù)據(jù)節(jié)點對主節(jié)點的依賴性做了弱化，保證中心節(jié)點，中心節(jié)點畢竟相對于整個數(shù)據(jù)的節(jié)點是少的，我們保證在中心節(jié)點不可靠的時候整個服務(wù)還是可用的。

第二檔就說在服務(wù)部署之外，我們在數(shù)據(jù)的分布上也是做了高可靠高可用比較完備的考慮的。首先整個對象存儲的服務(wù)還是在可用區(qū)以及數(shù)據(jù)機房這幾檔上分布，整個數(shù)據(jù)我們每一份數(shù)據(jù)，像剛才李旭介紹的一樣，我們至少保證三副本，最多按客戶的需求我們可以支持到幾十上百個副本的個數(shù)需求，滿足它不同的性能要求。在三個副本方面，***三個副本的時候，我們保證所有的副本是強一致的，所有的副本我們會跨多個故障域去分布，因為我們服務(wù)是對可用區(qū)提供統(tǒng)一的服務(wù)，可用區(qū)底下有不同的對區(qū)域提供服務(wù)的，一個區(qū)域底下有多個可用區(qū)，我們會盡量把數(shù)據(jù)打散在不同的機房里面來給客戶做多級別的故障率的容災(zāi)。在讀取這方面，他有內(nèi)網(wǎng)的網(wǎng)端也有外面公網(wǎng)的訪端，在內(nèi)網(wǎng)方面我們保證內(nèi)網(wǎng)的企業(yè)，請求方的讀和多數(shù)讀是一樣的，讓它在讀的時候效率更高一點。在公網(wǎng)企業(yè)這棉，因為不知道用戶更傾向于哪個方面，我會保障他均勻分布在所有的可用數(shù)據(jù)中心內(nèi)。在內(nèi)網(wǎng)讀這方面，我們?yōu)榱俗尶蛻舻玫礁玫淖x取和響應(yīng)的時間，我們保證讀在優(yōu)先讀公網(wǎng)的數(shù)據(jù)。

數(shù)據(jù)損害的自愈

***，從數(shù)據(jù)部署的資源，因為你服務(wù)不管再怎么可靠，再怎么分區(qū)域，分故障區(qū)部署，總會發(fā)生硬盤損壞，一些邏輯數(shù)字的反轉(zhuǎn)這方面的區(qū)域?qū)е鲁志没拇媸遣豢捎玫?，怎么做?shù)據(jù)損害的自愈，基本上從兩方面，首先我們要發(fā)現(xiàn)這個數(shù)據(jù)有問題，怎么發(fā)現(xiàn)呢？從持久化存儲的數(shù)據(jù)這方面，我們金融云這邊在整個底層的存儲上分成了兩塊，一塊是存在校驗的數(shù)據(jù)，另外一部分是用戶實際的數(shù)據(jù)，我們在數(shù)據(jù)破損的發(fā)現(xiàn)上分成兩個方式，一個方式是在同步的發(fā)現(xiàn)，我們會有異步的數(shù)據(jù)破損發(fā)現(xiàn)服務(wù)，來定期的掃全量的數(shù)據(jù)，不斷的把持續(xù)持久化的數(shù)據(jù)和我們存下來的校驗碼做比較，來發(fā)現(xiàn)用戶持久下來的數(shù)據(jù)是不是有破損有損壞或者有丟失。***在發(fā)現(xiàn)破損之后，我們必須要開始修復(fù)數(shù)據(jù)，因為對用戶的數(shù)據(jù)我們提供了至少11個可靠性和至少四個可用性的保證，在破損之后，首先我們要把副本進行修復(fù)，比如說我們二號副本發(fā)現(xiàn)了他數(shù)據(jù)持久化的有問題，首先我們要把整個這三個副本標(biāo)記的圖標(biāo)成只讀狀態(tài)，讓他不可以對用戶修改，如果用戶修改我們會新建另外一個副本讓用戶做修改操作，同時我們上報中心結(jié)點，告訴中心結(jié)點這一份數(shù)據(jù)有問題，在用戶讀的時候也會跳過用戶數(shù)據(jù)圖，同時在破損的數(shù)據(jù)，比如說這個時候用戶希望我們給他擴容副本提高更高的訪問要求，我們這時候因為已經(jīng)發(fā)現(xiàn)這個數(shù)據(jù)庫了，我們這時候不會把破損的數(shù)據(jù)作為數(shù)據(jù)源來使用，或者說去做遷移的這些處理，同時我們開始觸發(fā)一個異步修復(fù)的策略，修復(fù)策略我們首先把本機房的數(shù)據(jù)源優(yōu)先，本機房的一份副本壞了，我們在修復(fù)的時候首先從好的副本做溯源，同時復(fù)制組我們必須保證多份副本是一致的我們才認(rèn)為這次修復(fù)是一致的，如果多份副本全都破損我們這時候的修復(fù)結(jié)構(gòu)也不可靠，這時候我們會觸發(fā)另外一種更復(fù)雜的修復(fù)方式。

在硬件損壞的時候我們會遷移到其他物理機器上，同時在可靠性和可用性保證之后，我們希望用戶就像之前李旭介紹的一樣，我們希望用戶更方便，更易用的來用我們的存儲服務(wù)。在易用性這方面，因為本來公有云的服務(wù)就是從京東商城私有云的業(yè)務(wù)上產(chǎn)生出來的，在私有云業(yè)務(wù)我們研發(fā)的時候，它其實更傾向于內(nèi)部系統(tǒng)的一些需求，它主要區(qū)別一些功能方面的，另外一些是在成本上面的考慮，我們首先要保證可靠性，所以在存儲的時候是基本上不太計成本的，優(yōu)先保證數(shù)據(jù)的安全。在整個系統(tǒng)上，京東內(nèi)部是分兩套存儲系統(tǒng)，一套是針對圖片高訪問的存儲系統(tǒng)，另外是針對對象存儲系統(tǒng)。

公有云我們主要是考慮把業(yè)務(wù)系統(tǒng)做了整合，希望用戶只要用我們一個產(chǎn)品就能滿足各方面對存儲這方面的使用需求，在底層上我們也因為考慮到成本，我們同時研發(fā)了高可靠普通存儲的系統(tǒng)，還有一套低成本的訪問系統(tǒng)，同時在可靠性、可用性方面，因為我們希望用戶來更安全、更可靠、更方便的使用我們的產(chǎn)品，我們相對于私有云京東商城內(nèi)部提供了更高的可靠性和可用性，同時滿足用戶基本使用需求之上，我們做了更多的一些成本合理性的考量。

先簡單介紹一下商城的存儲系統(tǒng)，基本上就是左邊的圖片存儲系統(tǒng)和右邊的對象存儲系統(tǒng)，在圖象存儲系統(tǒng)它是純?yōu)閳D片處理優(yōu)化的小文件存儲系統(tǒng)，在對象存儲系統(tǒng)上面他以存儲為核心的簡單對象存儲系統(tǒng)。這個系統(tǒng)其實對內(nèi)是可以滿足京東商城內(nèi)部基本的存儲方面的需求，但是對外就不OK了，在對外這方面我們整個一個方面是整合了這兩套系統(tǒng)為一個統(tǒng)一的對象存儲系統(tǒng)，第二個我們橫向擴大了基于存儲的周邊服務(wù)和豐富用戶的使用和接入，在用戶的接入方式上我們現(xiàn)在可以讓用戶從控制盤、SDK、API以及各種第三方工具上使用存儲，就像XSKY一樣我們也使用第三方的接入?yún)f(xié)議，同時我們也有自己的接入?yún)f(xié)議。

在網(wǎng)絡(luò)傳輸上，我們京東云存儲系統(tǒng)可以作為原站讓用戶直接使用，也可以讓用戶接到第三方任何一個節(jié)點上提供服務(wù)，同時我們京東也有自建的CPN，要的話可能會有打包的成本更低的考慮。

在業(yè)務(wù)這方面，提供完整的對象存儲的產(chǎn)品形態(tài)，在產(chǎn)品內(nèi)部我們會有一些基本的文件、權(quán)限、用戶體系，這方面基本上以存儲產(chǎn)品為中心的服務(wù)，同時附加的還有一些圖片處理，視頻處理，主要是視頻點播為主的媒體這方面的處理，以及還有人臉檢測識別這方面的大數(shù)據(jù)的處理，同時京東有自己的直播系統(tǒng)，我們對直播系統(tǒng)的錄制、持久化也會有內(nèi)部優(yōu)化的接入方面的考慮。在底層持久化這方面，底層存儲分為高可靠存儲以及低頻訪問兩套存儲系統(tǒng)，低頻訪問存儲系統(tǒng)是業(yè)界比較常見的，內(nèi)部的我們會有一些，比如說源數(shù)據(jù)管理、帳單管理，圖片的日志處理以及比如說域名解析，訪問控制安全策略這方面的考慮，來做一些內(nèi)部底層支撐的系統(tǒng)。

我們基于這些完備的業(yè)務(wù)體系和系統(tǒng)架構(gòu)，我們京東云的對象存儲可以比較方便的給用戶提供整個數(shù)據(jù)上云備份的需求以及一些熱點數(shù)據(jù)加速分發(fā)的數(shù)據(jù)，還有一些云端的多媒體數(shù)據(jù)處理的需求，以及***我們可以保證數(shù)據(jù)高可用性以及災(zāi)備的需求，基本上用戶現(xiàn)在各種常見的和不常見的存儲需求我們京東云都是可以滿足的。

***歡迎大家來使用我們京東云的存儲服務(wù)，謝謝！

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】