超大量數(shù)據(jù)如何處理? 京東技術開放日第二期實戰(zhàn)解析大規(guī)模分布式存儲
對于一家大型互聯(lián)網(wǎng)企業(yè),穩(wěn)定承受海量的用戶請求和爆發(fā)式增長的數(shù)據(jù)是必須面對的技術問題。特別在電子商務領域,每逢大型促銷,數(shù)據(jù)的增長都是成倍的,作為國內***的自營式電商,京東在今年的618店慶活動中成功支持了同比去年增長超過100%的下單量,這與其堅實的核心基礎系統(tǒng)和過硬的技術力量密不可分。近日,在京東技術開放日第二期活動中,來自京東技術研發(fā)部的***技術人員與業(yè)內眾多同行分享了諸多經(jīng)驗。
此次活動的分享主題是“大規(guī)模分布式存儲實戰(zhàn)解析”。曾帶領團隊自主研發(fā)了京東文件系統(tǒng)、分布式緩存與高速KV服務、新消息隊列、新服務框架、新圖片系統(tǒng)的京東架構委員會主任、云平臺***架構師、系統(tǒng)技術部負責人劉海鋒以“大規(guī)模分布式存儲的持續(xù)研發(fā)”為議題進行了講解。如今大型互聯(lián)網(wǎng)公司中海量請求和爆發(fā)式增長的數(shù)據(jù)和用戶,令NoSQL數(shù)據(jù)庫越來越受到開發(fā)者的關注。劉海鋒以京東自主研發(fā)的高速KV(key-value)存儲服務和分布式文件系統(tǒng)作為落地實踐,分享了高性能海量存儲的架構改進與性能優(yōu)化、熱點數(shù)據(jù)常駐內存、彈性容量擴展、高可用自動故障切換、細粒度監(jiān)控、建立PB級別高可靠強一致存儲平臺等經(jīng)驗。
對企業(yè)而言,PB級的數(shù)據(jù)管理是衡量其數(shù)據(jù)規(guī)模和管理能力的一個重要標尺,劉海鋒重點介紹了京東自主研發(fā)的文件系統(tǒng)JFS(Jingdong Filesystem),它不僅實現(xiàn)了海量小文件、對象存儲、塊存儲、新圖片系統(tǒng)、元數(shù)據(jù)表結構存儲、Hadoop集成等功能,同時還在分布式存儲方面滿足了精確故障檢測、自動故障切換、兩級存儲層次、在線縱向擴展以及在線橫向擴容等需求,具有很強的指導性。
本次活動的第二個議題是分布式MySQL集群技術開發(fā)與實踐,由京東資深技術講師秦波帶來,他針對當前熱門的分布式MySql系統(tǒng)的設計和實現(xiàn)、應用以及未來的發(fā)展方向,深度總結了京東自身在分布式MySQL集群設計和實現(xiàn)階段,解決整體架構及部署TOPO、分庫分表,自動擴展等實戰(zhàn)項目積累的經(jīng)驗。
作為技術圈內的一項交流會議,京東技術開放日由京東技術研發(fā)部發(fā)起,口號是“交流、分享、融合、創(chuàng)新”,旨在通過眾多業(yè)內技術人士的現(xiàn)場交流,將有價值的技術資源整合推出,讓更多的技術人開始分享技術,獲得價值,讓技術的匯聚成為創(chuàng)新的源泉。截至目前,京東技術開放日活動已成功進行了兩期,未來仍將挑選技術領域的熱門主題進行分享,與業(yè)內同行共同成長,以不斷提升眾多用戶的使用體驗。