十年領(lǐng)航,亞馬遜云科技為何能成為云數(shù)據(jù)庫行業(yè)標桿?
原創(chuàng)近日,在Gartner 發(fā)布的《2024 年 Gartner 云數(shù)據(jù)庫管理系統(tǒng)魔力象限報告》中,亞馬遜云科技以卓越的產(chǎn)品能力和前瞻性愿景,連續(xù)第十年被評為領(lǐng)導(dǎo)者。Gartner 指出,亞馬遜云科技是全球最廣泛采用的云服務(wù)提供商,提供廣泛的云DBMS服務(wù),并且其數(shù)據(jù)庫服務(wù)可滿足交易、操作、分析和流式應(yīng)用等多種工作負載的需求。
2024 年 Gartner 云數(shù)據(jù)庫管理系統(tǒng)魔力象限
在云數(shù)據(jù)庫領(lǐng)域競爭日益激烈之際,亞馬遜云科技究竟憑借何種能力,得以連續(xù)十年穩(wěn)居領(lǐng)導(dǎo)者之位?其背后的關(guān)鍵,在于亞馬遜云科技對用戶需求的精準把握,以及對自我設(shè)限的持續(xù)突破。
對于用戶需求,亞馬遜云科技首席執(zhí)行官 Matt Garman 表示,如果摒棄各種限制,數(shù)據(jù)庫客戶認為理想的數(shù)據(jù)庫解決方案需要具備高可用性、多區(qū)域運行、極低的讀寫延遲、強一致性、沒有操作負擔(dān)和兼容 SQL 語義的能力。
這些需求并非“或”的關(guān)系,而是“和”的關(guān)系。單獨一個需求容易滿足,但如此之多的需求能夠同時滿足嗎?答案是可以。
2024 年 12 月,亞馬遜云科技在 2024 re:Invent 全球大會上發(fā)布了一款重磅的數(shù)據(jù)庫服務(wù)新品——Amazon Aurora DSQL。這是一款集多種理想型功能于一身的“全能理想型”無服務(wù)器分布式 SQL 數(shù)據(jù)庫,能夠滿足上述所有的功能需求。
若要揭秘亞馬遜云科技為何能“領(lǐng)航十年”,為何能打破限制推出 Amazon Aurora DSQL,則要從2014年說起。
打破“A 或 B”,打造“A 和 B”: 從 Amazon Aurora 到 Amazon Aurora DSQL
2014 年,亞馬遜云科技在 re:Invent 大會上推出了 Amazon Aurora。Amazon Aurora 一經(jīng)問世,便迅速成為企業(yè)上云的首選。究其原因,是因為在當時的市場中,既能滿足高性能需求,又不會帶來高昂成本的數(shù)據(jù)庫可謂鳳毛麟角。而 Amazon Aurora 恰恰做到了性能與價格的兼顧,自然迅速贏得了企業(yè)的青睞。
十年前,Amazon Aurora 在 2014 年 re:Invent 上發(fā)布
Amazon Aurora 是兼容 MySQL 和 PostgreSQL 的云原生關(guān)系型數(shù)據(jù)庫,其核心突破在于將傳統(tǒng)數(shù)據(jù)庫的存儲與計算分離,通過分布式架構(gòu)實現(xiàn)高性能與高可用性。并且Amazon Aurora 的吞吐量達到傳統(tǒng) MySQL 的 5 倍,成本卻僅為同級別商業(yè)數(shù)據(jù)庫解決方案的 1/10。
Amazon Aurora 的問世一舉打破了 “魚與熊掌不可兼得” 的傳統(tǒng)認知局限。突破傳統(tǒng)認知的背后,是亞馬遜云科技轉(zhuǎn)變了“在 A 和 B 之間做選擇” 的固有思維定式,轉(zhuǎn)而深入探索 “如何同時達成 A 和 B” 的創(chuàng)新路徑。
“當你嘗試構(gòu)建某些東西或者決策時,常常會在 A 和 B 之間做選擇嗎?這種選擇恰恰限制了思路,亞馬遜云科技將其稱為‘或的暴政’,因為這種選擇制造了虛假的邊界,讓你馬上開始思考自己必須選出A 或 B。但亞馬遜云科技是推動團隊思考如何同時達成 A 和 B?!盡att Garman 在 2024 re:Invent 全球大會揭秘了亞馬遜云科技成功的秘訣之一。
滿足性能與價格的兼得后,Amazon Aurora 仍沒有停止創(chuàng)新的步伐。自Amazon Aurora 發(fā)布以來,亞馬遜云科技在此基礎(chǔ)上推出了眾多創(chuàng)新功能,如無服務(wù)器版本的推出讓用戶無需管理基礎(chǔ)設(shè)施地使用,推出Amazon Aurora Limitless Database以實現(xiàn)跨單臺服務(wù)器讀寫吞吐量限制進行擴展和自動分布式分片,與其他數(shù)據(jù)庫和數(shù)據(jù)倉庫服務(wù)間的Zero-ETL以加速數(shù)據(jù)流動,與Amazon Bedrock集成以助力客戶更好地構(gòu)建生成式AI應(yīng)用。
亞馬遜云科技不僅為Amazon Aurora 打造了“A 和 B”的功能,更是實現(xiàn)了“A 和B 和 C 和 D”的技術(shù)迭代與創(chuàng)新。在持續(xù)探索與創(chuàng)新過程中,Amazon Aurora DSQL 誕生了。
突破傳統(tǒng)數(shù)據(jù)庫束縛的Amazon Aurora DSQL
前文提到,Amazon Aurora DSQL 是一款“全能理想型”無服務(wù)器分布式 SQL 數(shù)據(jù)庫,能夠同時實現(xiàn)低延遲、多區(qū)域的強一致性、幾乎無限擴展的高可用性,以及零運營負擔(dān)。
2024 re:Invent 大會上,亞馬遜云科技發(fā)布Amazon Aurora DSQL
同時達成這些能力并不容易。但對于亞馬遜云科技來說,只有突破傳統(tǒng)數(shù)據(jù)庫的束縛才能實現(xiàn)更好的創(chuàng)新,就像打破“或的暴政”一樣。因此,Amazon Aurora DSQL突破的第一個傳統(tǒng)束縛是將事務(wù)處理與存儲解耦。
對于傳統(tǒng)數(shù)據(jù)庫來說,在單一位置或單一區(qū)域?qū)崿F(xiàn)應(yīng)用程序和數(shù)據(jù)庫的往返信息傳遞非常容易,也能夠滿足低延遲的需求;可一旦跨區(qū)域執(zhí)行,信息受到光速的限制,不僅往返傳遞速度會大大降低,也難以達到多區(qū)域的強一致性要求。
為了解決這一難題,Amazon Aurora DSQL 應(yīng)用了一種全新的交易處理方式——解耦事務(wù)處理與存儲。這種方式使Amazon Aurora DSQL 在事務(wù)提交時會進行一次性檢查,同時并行處理所有區(qū)域的所有寫入操作,從而提供具有強一致性和快速寫入的多區(qū)域數(shù)據(jù)庫服務(wù)。
實現(xiàn)低延遲和強一致性后,還需確保事務(wù)按照發(fā)生的順序提交。為了消除不同區(qū)域的時間偏差,Amazon Aurora DSQL 采用了 Amazon Time Sync 服務(wù),該服務(wù)在每個 Amazon Elastic Compute Cloud(EC2) 實例上部署硬件參考時鐘,使實例與衛(wèi)星連接的原子鐘同步,以此實現(xiàn)全球范圍內(nèi)微秒級的精確時間同步。
這兩種能力結(jié)合使得Amazon Aurora DSQL 在確保低延遲的同時實現(xiàn)強一致性,即“所有在一個區(qū)域?qū)懭氲氖聞?wù)都將實時同步至其他區(qū)域”。
除此之外,Amazon Aurora DSQL 的另一突破是采用分布式架構(gòu),分離查詢處理層、提交層和存儲層,實現(xiàn)了“幾乎無限的擴展能力”。
傳統(tǒng)數(shù)據(jù)庫由于集中式架構(gòu)和數(shù)據(jù)強一致性要求,在數(shù)據(jù)規(guī)?;驊?yīng)用需求快速擴大時,難以高效地進行橫向擴展,且存在數(shù)據(jù)一致性難以保證、擴展過程復(fù)雜等問題。
而Amazon Aurora DSQL 采用了分布式架構(gòu),允許查詢處理層、提交層和存儲層分離獨立擴展,以適應(yīng)不同的讀寫比例、數(shù)據(jù)規(guī)模和查詢復(fù)雜性。這種設(shè)計不僅消除了傳統(tǒng)數(shù)據(jù)庫的擴展瓶頸,支持水平擴展,還能夠根據(jù)實際負載動態(tài)調(diào)整資源分配。
Amazon Aurora DSQL 的無服務(wù)器特性也進一步簡化了擴展過程,用戶無需手動管理服務(wù)器配置或進行數(shù)據(jù)庫分片,即可實現(xiàn)從較小規(guī)模到大規(guī)模的無縫過渡。再加上主-主(Active-Active)架構(gòu)和多區(qū)域支持,Amazon Aurora DSQL 便能以高可用性和強一致性滿足各種工作負載需求,為用戶提供靈活、高效且無需妥協(xié)的數(shù)據(jù)庫解決方案。
從結(jié)果來看,Amazon Aurora DSQL 不僅提供了卓越的一致性,還將讀寫速度提升了 4 倍,實現(xiàn)了 99.999% 的多區(qū)域可用性,具備幾乎無限的可擴展性,且完全消除了管理基礎(chǔ)設(shè)施的負擔(dān)。
云數(shù)據(jù)庫領(lǐng)域變革:AI 驅(qū)動的創(chuàng)新力量
如果說不斷突破傳統(tǒng)束縛是亞馬遜云科技持續(xù)領(lǐng)跑的基礎(chǔ),那么對行業(yè)趨勢的前瞻把握則是保持競爭力的關(guān)鍵。進入 AI 時代,各個垂直領(lǐng)域都在尋找與 AI 的融合之道,云數(shù)據(jù)庫領(lǐng)域也不例外。
《2024 年 Gartner 云數(shù)據(jù)庫管理系統(tǒng)魔力象限報告》指出,“云數(shù)據(jù)庫管理系統(tǒng)(DBMS)市場依舊充滿活力,并且正在進行重大變革,特別是在生成式人工智能(AI)的應(yīng)用,以及數(shù)據(jù)庫管理系統(tǒng)與其他數(shù)據(jù)管理組件的交互方式上。”
因此,亞馬遜云科技認為,越來越多的用戶將不再孤立地使用單一的數(shù)據(jù)分析和處理工具,而是結(jié)合分析、ML 和生成式 AI 從而獲取洞察并為用戶提供新體驗。為此,亞馬遜云科技在2024 re:Invent 全球大會上推出了新一代 Amazon SageMaker 作為統(tǒng)一的“工作室”,為用戶提供單一的數(shù)據(jù)和 AI 開發(fā)環(huán)境,助力用戶更好地在 AI 時代持續(xù)創(chuàng)新發(fā)力。
具體來說, Amazon SageMaker Unified Studio 融合了 Amazon Bedrock、Amazon EMR、Amazon Redshift、Amazon Glue 以及現(xiàn)有 Amazon SageMaker Studio 中備受用戶青睞的一系列獨立“工作室”、查詢編輯器和可視化工具等功能。它為用戶打造了一個一站式的數(shù)據(jù)和 AI 開發(fā)環(huán)境,讓用戶能夠輕松地訪問和使用這些強大的工具,從而高效地完成數(shù)據(jù)發(fā)現(xiàn)與準備、查詢編寫、數(shù)據(jù)處理以及機器學(xué)習(xí)模型的構(gòu)建。
結(jié)語
云數(shù)據(jù)庫領(lǐng)域的十年霸榜之路,亞馬遜云科技始終在證明:真正的行業(yè)領(lǐng)導(dǎo)者不僅要具備解決“既要、又要、還要”復(fù)雜需求的技術(shù)實力,更要擁有突破傳統(tǒng)思維定式的創(chuàng)新勇氣。未來,亞馬遜云科技將持續(xù)尋找突破成本、性能、易用性和功能極限的創(chuàng)新路徑,為用戶帶來更全面和強大的產(chǎn)品使用體驗。