華為云支招基于云場景設(shè)計高性能分布式數(shù)據(jù)庫
7月6日,2018 ArchSummit 全球架構(gòu)師峰會在深圳拉開序幕。這場邀請了百余位國內(nèi)外技術(shù)專家作演講嘉賓的技術(shù)會議,向來自各行各業(yè)的高端技術(shù)管理者、架構(gòu)師展示了先進(jìn)技術(shù)在行業(yè)中的***實踐,以及技術(shù)在企業(yè)轉(zhuǎn)型發(fā)展中的推動作用。
華為云技術(shù)專家講解基于云場景架構(gòu)設(shè)計的分布式數(shù)據(jù)庫
在云時代,企業(yè) IT 業(yè)務(wù)走向跨地區(qū)、全球化部署,IT 應(yīng)用軟件逐漸云化、分布式化。數(shù)據(jù)庫作為承載企業(yè)業(yè)務(wù)和應(yīng)用的重心,具備跨地區(qū)分布式部署能力的需求日益凸顯。也因此,華為云技術(shù)專家?guī)淼闹黝}演講《基于云場景架構(gòu)設(shè)計的分布式數(shù)據(jù)庫》廣受好評。
一切都會運行在云端,好的架構(gòu)是包容所有好技術(shù)的重要前提。本次演講不但總結(jié)了傳統(tǒng)數(shù)據(jù)庫上云或云服務(wù)化中遇到的問題,而且深入介紹了華為云原生分布式數(shù)據(jù)庫的技術(shù)原理和***實踐,與眾多參會者共同探討了云數(shù)據(jù)庫在新時期的使用和發(fā)展方向。
傳統(tǒng)架構(gòu)下的“數(shù)據(jù)孤島”
傳統(tǒng)數(shù)據(jù)庫架構(gòu)源于 30 多年前的硬件設(shè)計,硬件上使用單處理器、小內(nèi)存、慢速磁盤,技術(shù)上采用雙機熱備提供高可用(HA)。這意味著主庫完成所有操作,傳送日志到從庫后,從庫才重放日志更新本地數(shù)據(jù)副本。因此,數(shù)據(jù)庫發(fā)生主庫宕機、需要主備切換時系統(tǒng)依賴第三方仲裁。且主備實例間僅交互日志,這對于新型的互聯(lián)網(wǎng)業(yè)務(wù)和高并發(fā)場景而言,嚴(yán)重制約了數(shù)據(jù)可用性和可靠性。
傳統(tǒng)數(shù)據(jù)庫架構(gòu)
當(dāng)前,中國有 70% 新型企業(yè)的業(yè)務(wù)因數(shù)據(jù)挑戰(zhàn)而受影響,其面臨的主要問題包括了高成本和低效率。受數(shù)據(jù)“大爆炸”影響,新型企業(yè)的數(shù)據(jù)像孤島一樣散落分隔在各處,數(shù)據(jù)備份、數(shù)據(jù)挖掘和問題排查需要大量資源。企業(yè)負(fù)擔(dān)不起商業(yè) license 和專業(yè)工程師高昂的費用,因此存儲、轉(zhuǎn)移、分析并使用這些數(shù)據(jù)非常困難。
在此背景下,高可用、易用易維、高擴展、高性能、與大數(shù)據(jù)相輔相成的云數(shù)據(jù)庫,尤其是基于云場景架構(gòu)設(shè)計的云原生分布式數(shù)據(jù)庫,成為企業(yè)上云***選擇。其中計算與存儲分離、能充分發(fā)揮***硬件性能、利用 AI 和 ML(深度學(xué)習(xí)) 等功能成發(fā)展趨勢。
Gartner 報告顯示,到2019年,90% 的云數(shù)據(jù)庫架構(gòu)采用計算與存儲分離, 剩下10%沒有分離的,也會被市場逐步淘汰。此外, NUMA 架構(gòu)的多核 CPU、Optane SSDs 存儲、RDMA 網(wǎng)絡(luò)、GPU/ FPGA 專有硬件等***硬件的性能也能被新架構(gòu)下的云數(shù)據(jù)庫吸收,并結(jié)合人工智能和深度學(xué)習(xí)加快自身進(jìn)化。
云原生分布式數(shù)據(jù)庫技術(shù)原理
值得一提的是,華為云得益于 30 多年的技術(shù)積累,已經(jīng)完成新一代的云原生數(shù)據(jù)庫服務(wù)進(jìn)化。以華為云推出的高性能云原生分布式數(shù)據(jù)庫為例,其設(shè)計正是基于新硬件性能,圍繞解耦、近數(shù)據(jù)計算下推(NDP)、引入 AI 和 ML 等功能特性展開。
華為云原生分布式數(shù)據(jù)庫架構(gòu)
華為云原生分布式數(shù)據(jù)庫將實現(xiàn)計算與存儲分離、主從解耦;將IO 密集型負(fù)載下推到存儲節(jié)點完成,比如 redo 處理,頁重構(gòu);多租戶支持;引入 AI 和 ML 打造自治系統(tǒng)自擴展、自調(diào)優(yōu)等功能。
華為云原生分布式數(shù)據(jù)庫還充分利用云存儲的能力,實現(xiàn)存儲層獨立容錯和自愈服務(wù)、單寫多讀的共享訪問。發(fā)揮 SSD 優(yōu)勢,充分利用 SSD 的隨機讀性能,避免隨機寫帶來的寫放大,減少磨損,減小時延。并采用 RDMA 等新網(wǎng)絡(luò)技術(shù)和硬件,讓網(wǎng)絡(luò)不再是瓶頸,從而使整體性能得到很大提升。
此外,華為云原生分布式數(shù)據(jù)庫還擁有即開即用、彈性伸縮、輕松管理、經(jīng)濟實用等特點,可以讓用戶不用關(guān)心底層架構(gòu)和基礎(chǔ)運維,只專注業(yè)務(wù)發(fā)展。這與發(fā)展云計算技術(shù)最主要的目的不謀而合。
在中國通信院對已經(jīng)使用和有計劃使用云計算技術(shù)的企業(yè)調(diào)查中,67.81% 的公司認(rèn)為縮短應(yīng)用部署時間是應(yīng)用云計算最重要目的,62.56% 的公司認(rèn)為節(jié)約成本是應(yīng)用云計算技術(shù)最重要目的。
數(shù)據(jù)來源:中國信息通信研究院
如名人們所言:有價值的東西只有對懂得的人才有意義,而一樣?xùn)|西的價值,在于是否需要它。如果有人想問華為云原生分布式數(shù)據(jù)庫能給用戶帶來什么,那么云計算水龍頭觀點論剛好可以回答這個問題。當(dāng)你需要的時候,只需扭開水龍頭,水就來了。你只需要交點水費,但不需要建個水廠!
了解更多華為云數(shù)據(jù)庫:https://www.huaweicloud.com/product/dbs.html