數(shù)據(jù)規(guī)模爆炸性增長,云原生數(shù)據(jù)倉庫數(shù)據(jù)化運(yùn)營實(shí)戰(zhàn)分享
在日前的2021阿里云金融數(shù)據(jù)智能峰會——《云原生驅(qū)動數(shù)智化運(yùn)營的“增長黑馬”》專場上,阿里云數(shù)據(jù)庫資深技術(shù)專家魏闖先 從數(shù)據(jù)價(jià)值鏈路角度切入,為大家解讀云原生數(shù)據(jù)倉庫如何支撐數(shù)據(jù)化運(yùn)營、全鏈路營銷和阿里集團(tuán)雙11業(yè)務(wù),并展示金融客戶最佳實(shí)踐案例和應(yīng)用場景。本文內(nèi)容根據(jù)演講錄音及PPT整理而成。
阿里云數(shù)據(jù)庫資深技術(shù)專家魏闖先
一、背景與趨勢
(一)阿里巴巴15年云計(jì)算實(shí)踐
回顧阿里巴巴十五年來云原生發(fā)展的道路,大致分為三個階段。
第一個階段是2006年~2015年的應(yīng)用架構(gòu)互聯(lián)網(wǎng)化階段,是云原生從0到1的過程。最早的時候,阿里巴巴在淘寶上做中間件,那是最早的云的雛形。當(dāng)時我們研究的是Oracle數(shù)據(jù)庫和IBM的小型機(jī)。但阿里巴巴發(fā)現(xiàn)一個問題,就是隨著淘寶流量越來越大,Oracle的機(jī)器無法繼續(xù)滿足業(yè)務(wù)需求,三個月之后,我們的數(shù)據(jù)將存不下也算不了。這是非常嚴(yán)重的問題,所以當(dāng)時阿里巴巴啟動了去IOE的計(jì)劃。
這個時候,阿里巴巴發(fā)現(xiàn)我們的業(yè)務(wù)做得非常好,但技術(shù)上有很多挑戰(zhàn)。因此,阿里巴巴在2009年成立了阿里云,自研飛天操作系統(tǒng),開啟云化時代,淘寶和天貓合并建設(shè)業(yè)務(wù)中臺,屆時三大中間件核心系統(tǒng)上線。
飛天操作系統(tǒng)基于Apsara,是一個分布式的操作系統(tǒng)。在基礎(chǔ)公共模塊之上有兩個最核心的服務(wù):盤古和伏羲。盤古是存儲管理服務(wù),伏羲是資源調(diào)度服務(wù),飛天內(nèi)核之上應(yīng)用的存儲和資源的分配都是由盤古和伏羲管理。飛天核心服務(wù)分為:計(jì)算、存儲、數(shù)據(jù)庫、網(wǎng)絡(luò)。
為了幫助開發(fā)者便捷地構(gòu)建云上應(yīng)用,飛天提供了豐富的連接、編排服務(wù),將這些核心服務(wù)方便地連接和組織起來,包括:通知、隊(duì)列、資源編排、分布式事務(wù)管理等等。
飛天最頂層是阿里云打造的軟件交易與交付第一平臺----云市場。它如同云計(jì)算的“App Store”,用戶可在阿里云官網(wǎng)一鍵開通“軟件+云計(jì)算資源”。云市場上架在售商品幾千個,支持鏡像、容器、編排、API、SaaS、服務(wù)、下載等類型的軟件與服務(wù)接入。
這就是最早的云的基礎(chǔ)框架,也是一個云原生的架構(gòu)。
從2011年開始,我們開始做容器調(diào)度,在集團(tuán)里面開始做在線業(yè)務(wù),在線的業(yè)務(wù)開始走容器化。到了2013年,自研飛天操作系統(tǒng)全面支撐集團(tuán)業(yè)務(wù)。
2015年,阿里云的云原生技術(shù)不單是給阿里巴巴的內(nèi)部業(yè)務(wù)使用,也開始對外做商業(yè)化,以上就是第一階段。
第二階段是2016年~2019年的核心系統(tǒng)全面云原生化階段。
從2017年開始,我們不只做在線了,離線也全部采用了云原生的技術(shù)。雙11購物節(jié)有大量的交易數(shù)據(jù),這些數(shù)據(jù)的后臺分析和后期處理都是交給離線完成。我們基于云原生把在線和離線的底層資源池統(tǒng)一,支撐百萬級規(guī)模電商交易。
到了2019年,阿里巴巴核心系統(tǒng)100%上云,這其實(shí)非常難,因?yàn)榘⒗锇桶偷臉I(yè)務(wù)量非常巨大,任何普通的系統(tǒng)都無法支撐。
第三階段是2020年至今,是全面升級下一代云原生技術(shù)的階段。阿里巴巴成立云原生技術(shù)委員會,云原生升級為阿里技術(shù)新戰(zhàn)略。阿里巴巴核心系統(tǒng)全面使用云原生產(chǎn)品支撐大促。阿里云云原生技術(shù)全面升級,Serverless時代開啟。
(二)阿里云對于云計(jì)算的斷言
阿里巴巴是怎樣看待云計(jì)算的?云計(jì)算和傳統(tǒng)技術(shù)的差別到底是什么?
舉個例子,在一個家家戶戶都需要挖井的村莊里,每家根據(jù)自家人口數(shù)量、大概需要的出水量、是否會有客人來等等因素,決定挖多寬的井。如果遇上家里客人比較多或者干旱了等狀況,水可能就不夠用了。除了挖井的成本外,日常維護(hù)這口井,也需要很高的成本。
上述場景映射到企業(yè)中,就是企業(yè)基于自己的IT基礎(chǔ),還要到運(yùn)營商那里買個機(jī)房,買幾臺服務(wù)器來支撐自己的服務(wù)。如果后續(xù)這些機(jī)器閑置的話,企業(yè)仍然需要支付一大筆費(fèi)用,成本非常高。
云解決的問題就是通過虛擬化的技術(shù)實(shí)現(xiàn)資源池化,用上方挖井例子來形容就是建一個自來水廠。自來水廠和井的差別在于,第一,供水量很大,即使來100個客人,供水量也能滿足需求。第二,前期不需要投入大量成本去挖井,而是根據(jù)用水需求按量計(jì)費(fèi)。即使接通自來水管道,如果不用,那么永遠(yuǎn)也不需要為它付費(fèi)。
這為企業(yè)帶來了兩大好處,第一個是企業(yè)需要做快速決策的時候,不用花大量時間去“挖井”,而是開箱即用。第二是前期投入成本很低。
這就是云帶來的好處,那么什么是云原生呢?
云原生是個標(biāo)準(zhǔn)服務(wù),很多東西我們不需要提前規(guī)劃。比如我要做數(shù)字化轉(zhuǎn)型,需求很簡單。我需要有人給我提供這個服務(wù),我要多少,他給我分配多少,不需要我去做提前的準(zhǔn)備。隨著我業(yè)務(wù)的增長,它底下的基礎(chǔ)設(shè)施能夠隨之一起增長,具有非常好的彈性。這也大大地減少企業(yè)成本與精力,可以更加專注地去做最擅長的事情,大幅提升效率。
通過以上的例子,下面這幾點(diǎn)就非常好理解了。
首先,我們認(rèn)為容器+K8s會成為云計(jì)算的新界面,這是未來的一個趨勢。
其次,整個軟件生命周期也會發(fā)生變化。原來軟件的生命周期很長,現(xiàn)在通過云原生的技術(shù)可以做到迭代速度越來越快,向下延伸軟硬一體化、向上延伸架構(gòu)現(xiàn)代化等都可以去做。
最后,加速企業(yè)數(shù)字化升級。原來做企業(yè)數(shù)字化轉(zhuǎn)型非常復(fù)雜,可能要買機(jī)器、買數(shù)據(jù)庫、買應(yīng)用,需要三年五載的時間來完成。而如今的企業(yè)數(shù)字化轉(zhuǎn)型,只花短短數(shù)月的時間,便可實(shí)現(xiàn)完全轉(zhuǎn)型。
(三)業(yè)界趨勢:數(shù)據(jù)生產(chǎn)/處理正在發(fā)生質(zhì)變
從業(yè)界趨勢上看,未來數(shù)據(jù)會發(fā)生什么變化,給應(yīng)用帶來什么變化?
首先,我們認(rèn)為未來數(shù)據(jù)一定會規(guī)模爆炸性增長。2020年全球數(shù)據(jù)規(guī)模約為40 ZB。40 ZB是什么概念?舉個例子,假設(shè)每部電影是1GB,假設(shè)全世界每個人都去看一部電影,那么這些數(shù)據(jù)量加起來大概就是40ZB。
除此之外,我們預(yù)計(jì)2025年的全球數(shù)據(jù)規(guī)模將會是2020年的430%,全球數(shù)據(jù)規(guī)模每年都在增長。
第二個是數(shù)據(jù)生產(chǎn)/處理實(shí)時化。原先我們可能一個月看一次報(bào)表,經(jīng)過大數(shù)據(jù),我們可以每天看一次昨天的數(shù)據(jù)。數(shù)據(jù)越來越實(shí)時化,能夠?qū)崿F(xiàn)秒級響應(yīng)。以營銷場景為例,在雙十一購物節(jié)場景,當(dāng)商家發(fā)現(xiàn)店鋪的某個活動不能產(chǎn)生效果,那么可以在一分鐘或者數(shù)分鐘之內(nèi)調(diào)整廣告或投放策略,從而達(dá)到更好的營銷效果。如果數(shù)據(jù)是按天反饋,在11月12日看到數(shù)據(jù)的時候,做活動帶來的效果已經(jīng)大大降低了。因此,數(shù)據(jù)實(shí)時化在這樣類似的場景中,扮演著十分重要的角色,數(shù)據(jù)的實(shí)時也會帶來應(yīng)用的實(shí)時。
第三是數(shù)據(jù)生產(chǎn)/處理智能化。目前在所有數(shù)據(jù)中,非結(jié)構(gòu)化數(shù)據(jù)占比80%,主要包括文本、圖形、圖像、音頻、視頻等,尤其是在當(dāng)下熱門的直播領(lǐng)域,對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行智能化處理,能夠知道觀眾的喜好與其他信息,方便業(yè)務(wù)更好地開展。除此之外,非結(jié)構(gòu)化數(shù)據(jù)以每年增加55%的速度持續(xù)增長,未來將成為數(shù)據(jù)分析非常重要的一個來源。
第四個是數(shù)據(jù)加速上云。我們認(rèn)為數(shù)據(jù)上云勢不可擋,正如汽油車終將被電車代替一樣。預(yù)計(jì)到2025年的時候,數(shù)據(jù)存儲云上規(guī)模為49%,2023年數(shù)據(jù)庫上云規(guī)模75%。
(四)業(yè)界趨勢:云計(jì)算加速數(shù)據(jù)庫系統(tǒng)演進(jìn)
另一個業(yè)界趨勢不容忽略:云計(jì)算加速數(shù)據(jù)庫系統(tǒng)演進(jìn)。
首先我們看一下數(shù)據(jù)庫發(fā)展歷程。早在八九十年代數(shù)據(jù)庫就已經(jīng)誕生,那時候主要是商業(yè)數(shù)據(jù)庫,如Oracle、IBM DB2等,這里面有些數(shù)據(jù)庫還占據(jù)這如今的市場。
到90年代,開源數(shù)據(jù)庫開始涌現(xiàn),如PostgreSQL、MySQL等。國內(nèi)用MySQL比較多,國外用PostgreSQL比較多。到90年代以后,數(shù)據(jù)量越來越大,原來數(shù)量小的時候可能用PostgreSQL或MySQL,單機(jī)就可以解決問題,隨著數(shù)據(jù)量爆炸性增長,就需要像分布式或小型機(jī)的方式去解決大量數(shù)據(jù)和分析問題。
數(shù)據(jù)分析的重要性體現(xiàn)在哪里?
舉個例子,有個數(shù)據(jù)倉庫Snowflake的公司在剛上市的時候就達(dá)到1000億美金的市值,如今也有700億美金,對于一個只做一款產(chǎn)品的公司來說,這是一個非常高的市值。為什么它的市值這么高?
前段時間和一位老師交流,他說對于現(xiàn)在的企業(yè),尤其是電商或直播等互聯(lián)網(wǎng)企業(yè),早先他們企業(yè)最大的成本是人力,員工工資占據(jù)主要支出。但如今最大的支出是信息和數(shù)據(jù),為了公司未來的發(fā)展規(guī)劃,需要擁有大量的數(shù)據(jù)來分析當(dāng)前客戶最想要什么,最需要什么,業(yè)界的發(fā)展是什么。因此,公司需要大量購買數(shù)據(jù)、做大量的數(shù)據(jù)分析,這方面的成本已經(jīng)超過了人員成本。這也是為什么一個只做數(shù)據(jù)倉庫的公司,市值能夠達(dá)到700億美金。
2000年以后大家開始用Hadoop、Spark,2010年開始出現(xiàn)云原生、一體化分布式等產(chǎn)品,例如AWS、AnalyticDB等。
(五)業(yè)界趨勢:數(shù)據(jù)倉庫加速從Big Data向 Cloud-Native + Fast Data 演進(jìn)
上方是數(shù)據(jù)倉庫的演進(jìn)歷史,計(jì)算方式從離線到在線,再到離在線一體化,然后到分布式。功能從統(tǒng)計(jì)到AI,數(shù)據(jù)類型也從結(jié)構(gòu)化到結(jié)構(gòu)化與非結(jié)構(gòu)化多模融合,負(fù)載從OLAP到HTAP,硬件也升級為軟硬件一體化,交付從On-Premise 到Cloud - Native + Serverless。
在演進(jìn)的不同進(jìn)程中,有著各式各樣的產(chǎn)品做支撐。
(六)數(shù)據(jù)庫系統(tǒng)架構(gòu)演進(jìn)
上圖為數(shù)據(jù)庫系統(tǒng)架構(gòu)演進(jìn),簡單的邏輯可以理解為,原來是一個廠房一個人干活,后來變成一個廠房十個人干活,然后再發(fā)展成多個廠房多個人干活,這就是整個數(shù)據(jù)倉庫的發(fā)展歷史,由原來的單機(jī)變成分布式,并且一份數(shù)據(jù)多個人使用。
數(shù)據(jù)庫的發(fā)展也跟人類工作一樣,原來有的店夫妻二人就可以維持,一個人負(fù)責(zé)生產(chǎn),另一個人負(fù)責(zé)銷售。隨著發(fā)展,店里的顧客越來越多,店還是一個店,但員工可能有十個人了。再后來,業(yè)務(wù)發(fā)展更多大了,一下招10萬個員工,然后在10個場地去干,這就是分布式云原生數(shù)據(jù)倉庫。
(七)業(yè)界趨勢:云原生數(shù)據(jù)庫關(guān)鍵技術(shù)
上方是云原生數(shù)據(jù)庫的關(guān)鍵技術(shù)。
這里簡單說兩個技術(shù),首先是云原生,云原生是什么意思呢?假如某位用戶買了個數(shù)據(jù)庫,當(dāng)業(yè)務(wù)量少的時候,或者在法定節(jié)假日不使用的時候,收費(fèi)就少,而在業(yè)務(wù)量大的時候,收費(fèi)就多一些。按需按量收費(fèi),這是我們對數(shù)據(jù)倉庫的一個要求。
另外一個是安全可信,舉個例子,阿里巴巴有一個投資部,假如給A公司投了500萬,給B公司投了100萬,這些信息都是高度私密,不可對外泄露的。假如這些信息是由員工進(jìn)行管理,員工存在離職的可能,而一旦離職后發(fā)生泄密行為,這在法律層面也很難追責(zé)。如何讓這種高度私密的信息完全加密,使得就算是擁有最高權(quán)限的DBA也無法查看這類信息,做到安全可信。后文將對此做詳細(xì)展開。
二、云原生與大數(shù)據(jù)應(yīng)用
(一)業(yè)務(wù)面臨的挑戰(zhàn)
業(yè)務(wù)面臨著許多挑戰(zhàn),主要有四個方面。
首先是數(shù)據(jù)散亂、不一致,也有非常多的數(shù)據(jù)源,把數(shù)據(jù)收集起來是一個很大挑戰(zhàn)。
其次是系統(tǒng)極其復(fù)雜,系統(tǒng)或組件有40+個。原來可能基于Hadoop,現(xiàn)在需要非常多的系統(tǒng)或組件,底下可能是HDFS,上面是YARN、HBase,再往上還有Hive、Flink等許多東西,非常復(fù)雜。
除此之外還有分析不實(shí)時,它的數(shù)據(jù)只能做T+1,是傳統(tǒng)大數(shù)據(jù)架構(gòu)。
最后是高學(xué)習(xí)成本,不同技術(shù)的版本迭代速度很快,學(xué)習(xí)成本很高。
(二)云原生數(shù)據(jù)倉庫+云原生數(shù)據(jù)湖構(gòu)建新一代數(shù)據(jù)存儲、處理方案
阿里云當(dāng)時采用的是從一個最簡單的架構(gòu),通過一個或兩個產(chǎn)品就能解決整套產(chǎn)品的架構(gòu),能夠讓用戶用得更簡單,用SQL就可以解決各種各樣的問題。比方原來的OSS數(shù)據(jù),各個生產(chǎn)處理的數(shù)據(jù)大集中分析等。
(三)云原生數(shù)據(jù)倉庫:云原生
云原生數(shù)據(jù)倉庫的云原生特性主要體現(xiàn)在,如果就一條數(shù)據(jù),那么只會分配一條數(shù)據(jù)的存儲,如果數(shù)據(jù)量增長,它會自動分配更多的存儲。
同樣的,計(jì)算也是這樣,如果沒有計(jì)算需求或者分析需求,它不會分配資源,只有來了需求,才會分配資源進(jìn)行計(jì)算或分析,整個做到按需按量付費(fèi),加上資源的彈性。
(四)云原生數(shù)據(jù)倉庫:數(shù)據(jù)庫與大數(shù)據(jù)一體化
上面是云原生數(shù)據(jù)倉庫中的關(guān)鍵技術(shù),例如行列混存,能夠支持高吞吐寫入和高并發(fā)查詢。
其次是混合負(fù)載,就是上面既可以跑ETL,又可以做查詢。
此外還有智能索引。數(shù)據(jù)庫里面很重要的一個點(diǎn)是需要理解業(yè)務(wù),理解Index,要知道什么對查詢有影響,什么對寫入有影響,所以我們希望這個東西能夠做得更智能,讓用戶不用管理這些東西。
(五)新一代數(shù)據(jù)倉庫解決方案
上方為新一代數(shù)據(jù)倉庫解決方案架構(gòu)圖。最底層是數(shù)倉,上面是數(shù)倉模型,阿里在淘寶指數(shù),數(shù)據(jù)洞察等方面做了非常多的模型,包括通過一個ID把所有的信息關(guān)聯(lián)起來。這些信息匯聚成模型。模型上有數(shù)據(jù)構(gòu)建管理引擎,可以做數(shù)倉規(guī)劃,代碼研發(fā),數(shù)據(jù)資產(chǎn)管理,數(shù)據(jù)服務(wù)等。
最上面是業(yè)務(wù)賦能,有許多的應(yīng)用,包括監(jiān)管報(bào)送類,經(jīng)營決策類,風(fēng)險(xiǎn)預(yù)警類和營銷與運(yùn)營類。
(六)云上數(shù)據(jù)安全
關(guān)于云上數(shù)據(jù)安全的問題,我們展開來講。每個公司都有絕密的數(shù)據(jù),這些數(shù)據(jù)面臨著許多安全問題,例如管理員/用戶越權(quán)操作,竊取數(shù)據(jù)備份,惡意修改數(shù)據(jù)等。除此之外,還有數(shù)據(jù)在存儲、查詢、共享過程中全程加密,任何人(包括管理員)無法獲取明文數(shù)據(jù)。保證日志在不可信環(huán)境中的完整性,任何人(包括管理員)無法篡改日志文件。保證查詢結(jié)果在不可信環(huán)境中的正確性,任何人(包括管理員)無法篡改查詢結(jié)果。
以前的解法很簡單,就是寫到數(shù)據(jù)庫的時候就把數(shù)據(jù)加密了,例如寫進(jìn)去叫123,通過加密就變成了亂序,如213,312等。這個看似是一個很好的方法,但它有什么問題呢?它沒有辦法做查詢,比方我們要查超過50塊錢的交易,但是因?yàn)?0通過加密以后就不是50了,可能就變成了500,而原來500加密完就是50,因此這個查詢無法進(jìn)行,相當(dāng)于它變成了一個存儲,無法做分析查詢。
(七)云端全程加密數(shù)據(jù)永不泄露
有沒有一種方法能讓我們做數(shù)據(jù)分析,同時既能保密,原來的SQL也都能去做?
這里面核心的事情就是我們采用的硬件,通過ApsaraDB RDS(PostgreSQL版)+神龍裸金屬服務(wù)器(安全芯片TEE技術(shù)),可以提前把Key存到里面去,然后所有的計(jì)算和邏輯都在加密硬件中進(jìn)行。由于整個過程受加密硬件保護(hù),即使有人把系統(tǒng)的內(nèi)存全部復(fù)制出來,復(fù)制出來的數(shù)據(jù)也全是加密過的,這就保證運(yùn)維人員就算拿到絕密數(shù)據(jù)也沒有泄露的風(fēng)險(xiǎn)。
三、最佳實(shí)踐
下面我們看一下幾個最佳實(shí)踐:
DMP:全鏈路營銷
DMP(Data Management Platform)表示數(shù)據(jù)管理平臺,也叫數(shù)據(jù)營銷平臺。
營銷最核心的事情是什么?營銷最核心的事情是找人,找到最關(guān)心的一群人,專業(yè)詞稱為圈人。
舉個例子,什么場景需要圈人?比如今天我們想找一下對云原生感興趣的人來一起討論云原生。把對云原生感興趣的人找到,這個過程就叫圈人。
還有一種是類似于天貓?zhí)詫殘?bào)告,例如在雙十一前的一段時間,商家認(rèn)為某位客戶今年可能要買個衣服或買一個包,是潛在客戶,于是就去給TA推一些消費(fèi)券等。
這里面最關(guān)鍵的就是精準(zhǔn)人群的定位,能夠精準(zhǔn)地把人群區(qū)分出來。中國大概有電商消費(fèi)人群大概有8億人,給對某樣物品感興趣的人群推送消息,這里面最核心的就是圈人的事情。
阿里巴巴基于數(shù)倉去做圈人的事情,首先去找一些種子人群,這些種子人群數(shù)量大概為幾百萬人,是我們認(rèn)為的高優(yōu)質(zhì)客戶,比如每個月在淘寶上花5000塊以上或1萬塊以上的人。把人群全出來后,第二步是將群體進(jìn)行聚類。
聚類的意思是把幾百萬人再分成幾個小類,每一類里面可能喜歡一個類別,比方這一類喜歡買化妝品,另一類喜歡數(shù)碼產(chǎn)品,還有一類喜歡買書。劃分完小類以后,比如愛買化妝品的可能有10萬人,但這10萬人可能大部分之前已經(jīng)買過化妝品了,這次大概率不買了。
因此,我們需要在在8億消費(fèi)人群中找到真正可能買化妝品的人,該怎么做呢?
我們需要把每個客戶的消費(fèi)行為和歷史購買記錄轉(zhuǎn)成AI模型的一個向量,如果有兩位客戶的購買行為是類似的,那么他們的向量距離就會非常小,這樣的話我們的做法就很簡單。例如,我們對數(shù)碼產(chǎn)品感興趣的人作為種子放到8億里面去找,跟這些人種子向量距離最近的假如有1000萬人,然后對這1000萬人去發(fā)數(shù)碼產(chǎn)品的廣告或優(yōu)惠券等,用這種方式去做業(yè)務(wù)營銷。
這個過程最核心的有幾個方面。
第一個是將人群進(jìn)行聚類,把人群劃分,知道TA的歷史交易,數(shù)據(jù)必須要能夠支持任意維度多維分析。
第二個是能夠?qū)φ麄€數(shù)倉里面的數(shù)據(jù)做具體的分析。
第三個是聚類后的向量近似度檢索,找出與每個類向量相近的人群進(jìn)行消息推送。
這就是我們擁有的能力,目前是基于AnalyticDB實(shí)現(xiàn)。
還有一個事情是要做Ad-hoc查詢。例如,我們要找到對數(shù)碼感興趣的人群,,且去年沒有買過比如iPhone 12的人,這樣他今年才可能買iPhone12?;蛘哒f去年買了iPhone12,同時又買了AirPods的人,那我們認(rèn)為大概率他可能會買蘋果的鍵盤,或者是蘋果的電腦等。我們需要對這些人做各種各樣的交易查詢,從而精準(zhǔn)地找到我們的目標(biāo)人群。
廣告精細(xì)化管理
業(yè)務(wù)挑戰(zhàn):
1)投放關(guān)鍵詞搜索事件需要高并發(fā)實(shí)時入庫;
2)所有用戶通過儀表板同時查詢轉(zhuǎn)化率,復(fù)雜查詢 QPS高;
3)響應(yīng)時間要求高,避免錯過調(diào)價(jià)黃金時段。
業(yè)務(wù)價(jià)值:
1)多個站點(diǎn)、多個店鋪的關(guān)鍵詞統(tǒng)一管理;
2)處理上萬TPS并發(fā)寫;
3)海量數(shù)據(jù)實(shí)時分析,按時段智能調(diào)價(jià);
4)鍵詞快速識別分析,最大化收益。
在線電商
業(yè)務(wù)挑戰(zhàn):
1)傳統(tǒng)MySQL數(shù)據(jù)庫分析滿,千萬級/億級復(fù)雜報(bào)表無法返回;
2)復(fù)雜報(bào)表秒級返回;
3)兼容MySQL生態(tài);
4)業(yè)務(wù)發(fā)展迅速,對計(jì)算存儲有不同要求。
業(yè)務(wù)價(jià)值:
1)RDS + AnalyticDB 實(shí)現(xiàn)HTAP聯(lián)合方案,業(yè)務(wù)和分析隔離;
2)2-10倍分析性能提升;
3)分布式架構(gòu),橫向擴(kuò)展,靈活變配,支持?jǐn)?shù)據(jù)量和訪問量的不同需求
這就是2020年至今,全面升級下一代云原生技術(shù)的階段----Serverless時代。阿里巴巴成立云原生技術(shù)委員會,云原生升級為阿里技術(shù)新戰(zhàn)略,未來云原生數(shù)據(jù)倉庫還會有更多新功能,為行業(yè)解決更核心的痛點(diǎn),敬請期待。