PolarDB 開(kāi)發(fā)者大會(huì)歸來(lái)...
原創(chuàng)近日受邀參加首屆《PolarDB 開(kāi)發(fā)者大會(huì)》,這也國(guó)內(nèi)數(shù)據(jù)庫(kù)廠商越來(lái)越重視生態(tài)建設(shè)的表現(xiàn),特別是數(shù)據(jù)庫(kù)主要的受眾-開(kāi)發(fā)者,他們的聲音對(duì)產(chǎn)品的發(fā)展至關(guān)重要。在本次會(huì)議上,阿里云重磅發(fā)布了中國(guó)首款自研云原生數(shù)據(jù)庫(kù) PolarDB 的“三層分離”全新版本,基于智能決策實(shí)現(xiàn)查詢(xún)性能10倍提升、節(jié)省50%成本。同時(shí)面向開(kāi)發(fā)者,阿里云全新推出數(shù)據(jù)庫(kù)場(chǎng)景體驗(yàn)館、訓(xùn)練營(yíng)等系列新舉措,廣大開(kāi)發(fā)者可率先免費(fèi)體驗(yàn) PolarDB 數(shù)據(jù)庫(kù)核心特性及NL2BI等AI新功能。下文是個(gè)人對(duì)參與本次大會(huì)的一點(diǎn)感受。
一、主論壇:像“搭積木”一樣簡(jiǎn)單
1、PolarDB 發(fā)展總覽
作為國(guó)內(nèi)最早定義的一款“云原生”數(shù)據(jù)庫(kù),PolarDB 發(fā)展已歷經(jīng)十五年,從早期基于開(kāi)源數(shù)據(jù)庫(kù)的深度優(yōu)化,到結(jié)合云原生技術(shù)并形成獨(dú)立品牌對(duì)外發(fā)布,到提供多種版本形成品牌矩陣,再到率先提出 Serverless 化并再次開(kāi)源。PolarDB 一路走來(lái),見(jiàn)證了國(guó)產(chǎn)數(shù)據(jù)庫(kù)發(fā)展的不平凡之路。現(xiàn)在 PolarDB 正朝著更智能、更經(jīng)濟(jì)、更優(yōu)化、更便捷的方向繼續(xù)發(fā)展。
作為一個(gè)品牌族,PolarDB 其實(shí)是由多款產(chǎn)品組成,主要分為集中式、分布式兩個(gè)系列;包括有高度兼容 MySQL 的 PolarDB-M、高度兼容 PostgreSQL 和 Oracle 的 PolarDB-PG及分布式版本 PolarDB-X。用戶可以根據(jù)自身業(yè)務(wù)場(chǎng)景、生態(tài)兼容要求等進(jìn)行選擇。
此次發(fā)布會(huì)的一個(gè)重要觀點(diǎn),就是希望向開(kāi)發(fā)者表達(dá) PolarDB 的發(fā)展理念,并通過(guò)一個(gè)比喻-搭積木來(lái)形象描述。其通過(guò)產(chǎn)品四個(gè)方面的加強(qiáng),來(lái)達(dá)到這一目標(biāo)。一是云原生化,即加速數(shù)據(jù)業(yè)務(wù)上云,通過(guò)一種新的資源交付方式簡(jiǎn)化開(kāi)發(fā)者使用數(shù)據(jù)庫(kù);二是平臺(tái)化,即通過(guò)云平臺(tái)的一站式功能幫助開(kāi)發(fā)者使用和管理好數(shù)據(jù)庫(kù);三是一體化,即通過(guò)多場(chǎng)景打通,優(yōu)化使用體驗(yàn)可實(shí)現(xiàn)如“單體”般的使用效果;四是智能化,即通過(guò)產(chǎn)品內(nèi)置 AI 能力,可讓數(shù)據(jù)庫(kù)一方面變得更加智能簡(jiǎn)化管理,一方面提供更友好交互的可能。
2、PolarDB 集中式版本展示
? 云原生化
針對(duì)云原生化,PolarDB 推出了業(yè)內(nèi)首創(chuàng)的三層分離形態(tài),即對(duì)數(shù)據(jù)庫(kù)資源層(CPU、MEM、DISK)實(shí)現(xiàn)了全部分離,即較以往提供更細(xì)粒度的資源管控能力,其帶來(lái)的優(yōu)勢(shì)就是可實(shí)現(xiàn)根據(jù)不同工作負(fù)載搭配不同的資源配置,進(jìn)而實(shí)現(xiàn)最優(yōu)成本產(chǎn)出比。
在 CPU 方面,PolarDB 實(shí)現(xiàn)多角色轉(zhuǎn)化及向上擴(kuò)展能力,提供了非常靈活的組合使用方式。
在 MEM 方面,PolarDB 實(shí)現(xiàn)了內(nèi)存全局復(fù)制,這樣是達(dá)到業(yè)務(wù)更加平滑的效果。能做到這點(diǎn)也是依賴(lài)于阿里云多年在底層硬件的優(yōu)化功力。
在存儲(chǔ)方面,PolarDB 內(nèi)置的分布式存儲(chǔ)系統(tǒng) PolarStore,通過(guò)日志優(yōu)化、RDMA 高速網(wǎng)絡(luò)等措施實(shí)現(xiàn)低成本下的讀寫(xiě)延遲優(yōu)化。
? 一體化
一體化方面,PolarDB 的軟硬一體方案,通過(guò)在存儲(chǔ)、網(wǎng)絡(luò)、內(nèi)存等多項(xiàng)硬件領(lǐng)域創(chuàng)新,實(shí)現(xiàn)最優(yōu)費(fèi)效比。
? 平臺(tái)化
Serverless,作為近年大火的熱點(diǎn),已成為云廠商發(fā)力的重點(diǎn),其對(duì)于用戶的敏態(tài)業(yè)務(wù)具有非常好的實(shí)用價(jià)值。PolarDB 通過(guò)智能決策系統(tǒng)可實(shí)現(xiàn)基于負(fù)載感知的向上或向外擴(kuò)展能力,進(jìn)而滿足用戶突發(fā)業(yè)務(wù)壓力。結(jié)合內(nèi)核提供的熱備、事務(wù)重連、全局內(nèi)存等技術(shù),實(shí)現(xiàn)彈性條件下的業(yè)務(wù)無(wú)感。
? 智能化
本次大會(huì)智能化上還有個(gè)小亮點(diǎn),通過(guò)一個(gè)小朋友帶來(lái)的聯(lián)機(jī)互動(dòng),演示與數(shù)據(jù)庫(kù)通過(guò)自然語(yǔ)言交互的使用體驗(yàn)。雖然來(lái)略顯簡(jiǎn)單,但其未來(lái)發(fā)展?jié)摿Ψ浅4?。其核心正式利用了?dāng)今大火的大模型技術(shù)。
3、PolarDB 分布式版本展示
在談到 PolarDB 分布式版本之前,會(huì)上先提出了使用分布式數(shù)據(jù)庫(kù)的三個(gè)核心問(wèn)題:必要性、兼容性和成本。一是必要性,即是否有必要使用分布式數(shù)據(jù)庫(kù)。對(duì)于中小規(guī)模用戶而言,分布式數(shù)據(jù)庫(kù)還有些遙遠(yuǎn),但當(dāng)面臨業(yè)務(wù)發(fā)展時(shí)又不得不經(jīng)歷從集中式到分布式的痛苦過(guò)程。PolarDB 給出的答案是“單機(jī)分布式一體化”,即兩種架構(gòu)一套內(nèi)核,可實(shí)現(xiàn)平滑擴(kuò)展升級(jí),打消用戶使用分布式的擔(dān)心。
二是兼容性,即使用分布式是否能做到業(yè)務(wù)無(wú)感,這也是阻礙分布式數(shù)據(jù)庫(kù)推廣的核心問(wèn)題,很多用戶會(huì)擔(dān)心分布式下很多使用難點(diǎn)。PolarDB 給出的答案是“自動(dòng)分片與擴(kuò)展資源平衡”,通過(guò)靈活分片調(diào)整方式打消用戶對(duì)使用分片的恐懼心理。
三是成本,即分布式下面臨的海量數(shù)據(jù)管理與多工作負(fù)載可能帶來(lái)的成本提高。PolarDB 給出的答案是“冷熱分離與查詢(xún)事務(wù)一體化”來(lái)解決。
二、分論壇:開(kāi)發(fā)者需要怎樣的數(shù)據(jù)庫(kù)
此次大會(huì)還分設(shè)幾個(gè)分論壇,就開(kāi)發(fā)者關(guān)心的問(wèn)題進(jìn)行討論。個(gè)人有幸受邀參與一場(chǎng)分論壇,內(nèi)容是《面向未來(lái),開(kāi)發(fā)者需要什么樣的數(shù)據(jù)庫(kù)?》,與幾位行業(yè)大咖進(jìn)行了一次思想的碰撞。下面就幾個(gè)論壇討論有意思的問(wèn)題分享下部分觀點(diǎn)。
1、在數(shù)據(jù)庫(kù)應(yīng)用和開(kāi)發(fā)中,開(kāi)發(fā)者最常遇到的問(wèn)題是什么?
- 數(shù)據(jù)庫(kù)承擔(dān)兩個(gè)職責(zé),一是數(shù)據(jù)存儲(chǔ),一是數(shù)據(jù)計(jì)算。從開(kāi)發(fā)者角度來(lái)看,是希望在業(yè)務(wù)開(kāi)發(fā)中不再拘泥于底層算力和存儲(chǔ)的約束,可以完全依據(jù)業(yè)務(wù)需求進(jìn)行開(kāi)發(fā),這也正是 Serverless 技術(shù)受到關(guān)注的原因。正希望后者提供靈活的存儲(chǔ)與算力的擴(kuò)展能力,而不需要在預(yù)定義。
- 長(zhǎng)期以來(lái),開(kāi)發(fā)者與數(shù)據(jù)庫(kù)的交互方式是以 SQL 為主,這也成為數(shù)據(jù)交互的統(tǒng)一標(biāo)準(zhǔn)。然而一直以來(lái)各數(shù)據(jù)庫(kù)廠商紛紛在 SQL 標(biāo)準(zhǔn)上定義了很多方言,這也成為很多開(kāi)發(fā)者面對(duì)不同數(shù)據(jù)庫(kù)時(shí)不得不需要重新學(xué)習(xí)的問(wèn)題,成為很多應(yīng)用遷移庫(kù)的一大障礙。這也是為什么很多國(guó)產(chǎn)數(shù)據(jù)庫(kù)做兼容性的主要原因。此外,隨著 AI 技術(shù)發(fā)展,通過(guò)自然語(yǔ)言直接與數(shù)據(jù)庫(kù)交互,也成為一種可能,現(xiàn)在正有更多的數(shù)據(jù)庫(kù)產(chǎn)品開(kāi)始支持 NL2SQL。
- 數(shù)據(jù)庫(kù)不是孤立存在的,在一個(gè)企業(yè)的數(shù)據(jù)生態(tài)中,存在著數(shù)據(jù)的上下游生態(tài),存在數(shù)據(jù)產(chǎn)生、流轉(zhuǎn)、存儲(chǔ)、匯聚、分析、展示等多個(gè)環(huán)境。從開(kāi)發(fā)者角度來(lái)看,是希望提供完整的生態(tài)支持,以數(shù)據(jù)庫(kù)為核心的數(shù)據(jù)生態(tài)可以順滑的流轉(zhuǎn)起來(lái)。
2、云原生+Serverless 將會(huì)給開(kāi)發(fā)者帶來(lái)什么?數(shù)據(jù)庫(kù) Serverless 化?臨的技術(shù)問(wèn)題和挑戰(zhàn)是什么?
- 云原生和 Serverless 作為一種新的資源交付方式,大大簡(jiǎn)化原有數(shù)據(jù)庫(kù)交付難點(diǎn),也簡(jiǎn)化了相關(guān)管理性工作。開(kāi)發(fā)者可根據(jù)需要隨時(shí)拉起數(shù)據(jù)庫(kù)使用,無(wú)需考慮底層基礎(chǔ)設(shè)施。Serverless 技術(shù)則可讓開(kāi)發(fā)者更專(zhuān)注業(yè)務(wù)開(kāi)發(fā),不再關(guān)系底層數(shù)據(jù)庫(kù)資源消耗、業(yè)務(wù)負(fù)載變化情況,Serverless 的彈性能力可以很好解決上述問(wèn)題。
- 數(shù)據(jù)庫(kù) Serverless 化是要面臨諸多問(wèn)題:一是多層資源解耦,提供更細(xì)粒度的資源調(diào)度方式及彈性;二是數(shù)據(jù)庫(kù)負(fù)載感知及變化能力,能夠在極短時(shí)間內(nèi)感知變化并做出相應(yīng)的資源調(diào)整;三是資源隔離和Qos,需要解決 Serverless 中不同用戶共用資源下的隔離和質(zhì)量保障。
3、企業(yè)客戶/開(kāi)發(fā)者在云數(shù)據(jù)庫(kù)使用中存在什么困難?
- 首要問(wèn)題就是云數(shù)據(jù)庫(kù)產(chǎn)品的選擇問(wèn)題,云數(shù)據(jù)庫(kù)往往存在很多數(shù)據(jù)庫(kù)產(chǎn)品、每類(lèi)產(chǎn)品下還有很多版本(如標(biāo)準(zhǔn)版、企業(yè)版)、每款下還有多種資源規(guī)格(如4C8G、8C16G等)。此外,云產(chǎn)品還是涉及到上下游生態(tài),與TP庫(kù)與AP庫(kù)的配合、ETL工具的選擇、數(shù)據(jù)展示等等。如此多的選擇,讓用戶存在很大選擇性障礙。
- 其次是對(duì)云數(shù)據(jù)庫(kù)的可用性、一致性、安全性的擔(dān)憂。之前上述問(wèn)題都是企業(yè)自己解決,上云后需要通過(guò)云來(lái)保障。
4、預(yù)測(cè)下未來(lái)十年數(shù)據(jù)庫(kù)發(fā)展的演進(jìn)方向?
- 更加智能化。這主要是針對(duì)數(shù)據(jù)庫(kù)管理者而言,通過(guò)智能化的管理,簡(jiǎn)化數(shù)據(jù)庫(kù)的管理復(fù)雜度。當(dāng)前以AI技術(shù)與數(shù)據(jù)庫(kù)結(jié)合的一個(gè)重要的方向就是AI4DB,例如Oracle最早提出的自動(dòng)駕駛的概念,正是為了解決管理問(wèn)題。
- 全新交互方式。這主要是針對(duì)開(kāi)發(fā)者而言,一方面在通過(guò)SQL實(shí)現(xiàn)與數(shù)據(jù)庫(kù)的交互外,是否能提供更加友好的交互方式,大模型技術(shù)的出現(xiàn)為這方面提供一種可能。NL2SQL的出現(xiàn)將簡(jiǎn)化交互方式,隨著這一技術(shù)的發(fā)展成熟,未來(lái)可能會(huì)出現(xiàn)完全顛覆的數(shù)據(jù)交互方式。
- 普惠標(biāo)準(zhǔn)化。作為企業(yè)的管理者來(lái)說(shuō),是希望數(shù)據(jù)庫(kù)能解決普惠的資源供給,即低成本的使用。同時(shí)數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)化也很重要,可以實(shí)現(xiàn)切換的低風(fēng)險(xiǎn),解決數(shù)據(jù)庫(kù)綁定的問(wèn)題。
- 業(yè)務(wù)場(chǎng)景化。隨著數(shù)據(jù)在更多企業(yè)場(chǎng)景中的應(yīng)用,如何選擇和使用數(shù)據(jù)庫(kù)成為業(yè)務(wù)方關(guān)注的問(wèn)題。如果數(shù)據(jù)庫(kù)提供提供場(chǎng)景化的解決方案,讓選擇不再困難,大大簡(jiǎn)化從選型、建模、研發(fā)成本,對(duì)于業(yè)務(wù)方具有很大意義。