“在昨天下午北京云棲大會TechInsight，阿里巴巴數(shù)據(jù)庫團(tuán)隊的8位專家一同分享了阿里數(shù)據(jù)庫***實踐。超大規(guī)模的業(yè)務(wù)壓力，在阿里巴巴內(nèi)部淬煉出了一套完整的企業(yè)數(shù)據(jù)庫解決方案：超大數(shù)據(jù)規(guī)模的分庫分表技術(shù)、毫秒級別的跨地區(qū)數(shù)據(jù)傳輸、秒級RPO的備份技術(shù)、混合云數(shù)據(jù)庫管理、支撐數(shù)萬研發(fā)的數(shù)據(jù)庫devops平臺、基于機(jī)器學(xué)習(xí)的智能數(shù)據(jù)庫優(yōu)化技術(shù)。” 

釘釘、優(yōu)酷、高德、盒馬、菜鳥、飛豬、蝦米、阿里智能，現(xiàn)在阿里巴巴的業(yè)務(wù)已經(jīng)不再是幾年前的淘寶天貓了。對于阿里數(shù)據(jù)庫技術(shù)團(tuán)隊也不再是簡單電商場景了。今天阿里的數(shù)據(jù)庫不再是簡單的電商業(yè)務(wù)，而是涵蓋了視頻娛樂、IM、地圖、在線零售、新零售、物流、在線旅游、音樂、IoT等等縱多領(lǐng)域。同時，雙十一交易從2012年的191億增長到了2017年1682億，數(shù)據(jù)庫上的交易峰值也以數(shù)十倍的速度在增長。另外，阿里巴巴的全球化戰(zhàn)略，給數(shù)據(jù)庫基礎(chǔ)服務(wù)帶來新的挑戰(zhàn)。 

豐富的業(yè)務(wù)場景、極端的業(yè)務(wù)壓力、全球化的挑戰(zhàn)，讓阿里數(shù)據(jù)庫技術(shù)團(tuán)隊淬煉出一套適合企業(yè)的數(shù)據(jù)庫的實踐。 

超大數(shù)據(jù)規(guī)模下的分庫分表技術(shù)實踐 

在阿里巴巴去IOE的浪潮中，數(shù)據(jù)庫面臨的***個問題就是，運行在普通PC Server上的MySQL在單機(jī)容量、性能等方面無法直接替換原來的存儲和小型機(jī)架構(gòu)。另外，如果單個MySQL數(shù)據(jù)庫太大，給數(shù)據(jù)庫備份、DDL變更等都會帶來很大的復(fù)雜度。DRDS（內(nèi)部版本為TDDL）就是在這樣的背景下產(chǎn)生的，通過DRDS的分庫分表功能，化整為零，一方面讓核心數(shù)據(jù)庫的壓力分到多個分庫中，實現(xiàn)了性能和容量的巨大的擴(kuò)展能力；另外，單個較小庫表也給維護(hù)帶來很大的便利。在剛剛過去的的雙十一，交易核心庫承擔(dān)約32.5萬/秒的交易創(chuàng)建，如果是傳統(tǒng)的集中式架構(gòu)很難想象需要怎樣的硬件支撐。

毫秒級延遲的數(shù)據(jù)傳輸服務(wù) 

在兩年前，阿里巴巴上線了數(shù)據(jù)中心異地雙活項目。阿里在全國很多地方都有數(shù)據(jù)中心，異地雙活一個***的挑戰(zhàn)就是如何在毫秒的級別實現(xiàn)跨地區(qū)數(shù)據(jù)中心的數(shù)據(jù)同步。如果這個延遲很大，舉個例子，賣家更改了一個商品描述、或者修改了價格，那么有的地區(qū)的用戶可能很久才能看到，這對買家和買家體驗上都是巨大的犧牲。 

我們早在2010年就開始在數(shù)據(jù)庫流技術(shù)做了很大的投入，通過在網(wǎng)絡(luò)傳輸、并發(fā)寫入等方面的***優(yōu)化，保證了多數(shù)據(jù)中心毫秒級的數(shù)據(jù)復(fù)制延遲。 

2015年，我們在阿里云上也以產(chǎn)品的形式輸出阿里巴巴數(shù)據(jù)流技術(shù)：數(shù)據(jù)傳輸DTS。除了復(fù)雜異地多活，DTS還可以解決很多企業(yè)內(nèi)部數(shù)據(jù)流的問題，例如在線數(shù)據(jù)庫上的數(shù)據(jù)變更，可能同時有數(shù)個下游需要這些數(shù)據(jù)，比如數(shù)據(jù)倉庫、搜索、相關(guān)業(yè)務(wù)、實時大屏等。在云端，我們的一個典型的客戶的場景，當(dāng)有新的用戶進(jìn)行某個操作（或者是一次購買，或者是某次簽到），那么下游的運營系統(tǒng)，可能要實時對用戶行為進(jìn)行一次分析，同時根據(jù)智能的分析，決定向用戶推送某個實用的信息或者運營消息等。 

基于數(shù)據(jù)流技術(shù)的，秒級RPO備份技術(shù) 

數(shù)據(jù)傳輸DTS是通過日志獲取的方式來獲得數(shù)據(jù)變更。這項技術(shù)的另一個創(chuàng)新應(yīng)用就是，實現(xiàn)秒級RPO的在線數(shù)據(jù)備份，這種備份構(gòu)想已經(jīng)通過“數(shù)據(jù)庫備份DBS”產(chǎn)品在阿里云上賦能企業(yè)用戶。我們先對數(shù)據(jù)庫進(jìn)行一次全量備份，然后使用DTS相同在線日志獲取技術(shù)獲取***的數(shù)據(jù)庫日志，然后對日志進(jìn)行存儲歸檔，從而實現(xiàn)秒級RPO的備份解決方案。 

目前，云上的用戶已經(jīng)可以DBS進(jìn)行數(shù)據(jù)庫備份。針對云環(huán)境的特殊性，我們新增了加密傳輸和存儲模塊，存儲的目標(biāo)也支持標(biāo)準(zhǔn)、低頻、歸檔多種OSS存儲類型，讓用戶可以更低成本、更安全的使用秒級RPO的數(shù)據(jù)備份解決。 

支撐數(shù)十個機(jī)房，數(shù)十萬實例的混合云數(shù)據(jù)庫管控技術(shù) 

阿里巴巴數(shù)據(jù)庫管控系統(tǒng)發(fā)展至今已經(jīng)到了第四代架構(gòu)，第四代架構(gòu)是基于BASE理論和微服務(wù)架構(gòu)下完成，實現(xiàn)了管控系統(tǒng)的多機(jī)房容災(zāi)問題。另外，海量的數(shù)據(jù)庫管理也帶來更多的挑戰(zhàn)：全網(wǎng)秒級監(jiān)控讓您輕松掌握數(shù)據(jù)庫上千個指標(biāo)，抓住數(shù)據(jù)庫每一個細(xì)節(jié)；異地多活讓你如何通過一鍵完成異地數(shù)據(jù)庫搭建，實現(xiàn)異地數(shù)據(jù)庫服務(wù)；一般管控系統(tǒng)更多聚焦在運維層面，而阿里的企業(yè)級服務(wù)還具備更多垂直的數(shù)據(jù)庫能力，例如數(shù)據(jù)軌跡、數(shù)據(jù)回滾、數(shù)據(jù)庫壓測、業(yè)務(wù)大盤等。 

支撐數(shù)萬數(shù)據(jù)庫用戶的DevOps數(shù)據(jù)管理平臺 

企業(yè)規(guī)?？焖侔l(fā)展，帶來的兩個大的挑戰(zhàn)，管理的數(shù)據(jù)庫數(shù)量巨大，使用數(shù)據(jù)庫員工也非常多。但是，DBA團(tuán)隊卻很難以相同的比率增長。具體的，我們發(fā)現(xiàn)，DBA業(yè)務(wù)壓力巨大，需要處理事情繁多；同時，新入職的員工，對于數(shù)據(jù)庫開發(fā)標(biāo)準(zhǔn)并不熟悉，給線上數(shù)據(jù)庫的穩(wěn)定性帶了很大隱患。 

既要有DBA的安全把控能力，又希望高效支撐大量業(yè)務(wù)的發(fā)展，阿里數(shù)據(jù)庫團(tuán)隊研發(fā)了自己的企業(yè)數(shù)據(jù)庫管理平臺：iDB。企業(yè)內(nèi)部的研發(fā)、測試等人員，可以使用iDB完成大部分?jǐn)?shù)據(jù)庫相關(guān)的操作，包括數(shù)據(jù)查詢、數(shù)據(jù)變更、結(jié)構(gòu)變更、實例申請等等。另外，iDB產(chǎn)品中還繼承了大量DBA的經(jīng)驗，比如判斷哪些DDL會鎖表、InnoDB表結(jié)構(gòu)設(shè)計是需要主要哪些問題等等。 

iDB上可以閉環(huán)完成所有的數(shù)據(jù)庫服務(wù)，包括實例申請、庫表設(shè)計、變更發(fā)布、數(shù)據(jù)查詢、數(shù)據(jù)變更、邏輯表查詢、數(shù)據(jù)庫下線等全生命周期的數(shù)據(jù)庫實例管理。同時，通過平臺集成的數(shù)據(jù)庫能力，讓研發(fā)有了更強數(shù)據(jù)庫能力，也保障了線上業(yè)務(wù)的穩(wěn)定。

我們已經(jīng)將iDB的設(shè)計理念通過數(shù)據(jù)管理DMS企業(yè)版進(jìn)行云上輸出，根據(jù)企業(yè)流程定制數(shù)據(jù)庫DevOps生命周期，期待DMS企業(yè)版能夠大放光彩。

基于機(jī)器學(xué)習(xí)的智能數(shù)據(jù)庫性能優(yōu)化技術(shù) 

隨著阿里巴巴快速擴(kuò)張，傳統(tǒng)的DBA支持的性能優(yōu)化模式的弊端很快就體現(xiàn)出來：被動優(yōu)化(監(jiān)控/報警/慢SQL/應(yīng)用報錯等)；優(yōu)化過程耗時耗力且低效，較難形成閉環(huán)；優(yōu)化結(jié)果受限于人的局限性；優(yōu)化操作大規(guī)模復(fù)雜場景下缺乏擴(kuò)展性；優(yōu)化決策過程中數(shù)據(jù)價值缺失；DBA專家緊缺與數(shù)據(jù)庫服務(wù)要求高效及時之間的矛盾越來越突出。 

智能數(shù)據(jù)庫性能優(yōu)化技術(shù)在性能優(yōu)化上分五大部分：收集、分析、預(yù)測、優(yōu)化、驗證。可以完整的、自助的完成優(yōu)化并評估優(yōu)化的效果。給企業(yè)帶來多方面的價值。信息透明：向開發(fā)人員提供全面專業(yè)的數(shù)據(jù)庫信息分析和展示。自助化服務(wù)：全面專業(yè)的診斷優(yōu)化建議，診斷流 程閉環(huán)，提供自助優(yōu)化服務(wù)。自診斷、自優(yōu)化：基于海量數(shù)據(jù)和機(jī)器學(xué)習(xí)的自診斷、自優(yōu)化能力。降低成本：發(fā)現(xiàn)規(guī)模化優(yōu)化點，優(yōu)化資源管理，降低計算和存儲成本。專家經(jīng)驗產(chǎn)品化：DBA專家優(yōu)化經(jīng)驗轉(zhuǎn)服務(wù)產(chǎn)品化，降低人工成本，提高服務(wù)質(zhì)量和效率。主動優(yōu)化：持續(xù)主動優(yōu)化數(shù)據(jù)庫性能，提高數(shù)據(jù)庫穩(wěn)定性。