數(shù)據(jù)，是互聯(lián)網(wǎng)公司的核心資產(chǎn)之一。那么，這些核心資產(chǎn)背后，是哪些人在收集數(shù)據(jù)、存儲數(shù)據(jù)、處理數(shù)據(jù)、管理數(shù)據(jù)、使用數(shù)據(jù)、保證數(shù)據(jù)安全的呢？——是“數(shù)據(jù)工匠”們！

2020年7月28日~8月6日，云+社區(qū)（騰訊云官方開發(fā)者社區(qū)）主辦的線上技術(shù)沙龍——數(shù)據(jù)工匠，已圓滿落幕。10位技術(shù)大咖現(xiàn)身分享，與開發(fā)者互動交流，深度講解了有贊技術(shù)中臺、騰訊云Elasticsearch、數(shù)據(jù)安全中臺、ClickHouse、騰訊云數(shù)據(jù)庫MySQL 8.0、云原生消息隊(duì)列、數(shù)據(jù)庫自治服務(wù)等多個(gè)專題。另有三位嘉賓同臺，就“如何成為優(yōu)秀架構(gòu)師”這一開放命題，展開多維探討。

有贊數(shù)據(jù)中臺成本治理實(shí)踐

隨著直播電商行業(yè)的興盛，有贊業(yè)務(wù)高速發(fā)展。但同時(shí)數(shù)據(jù)倉庫中存儲資源和計(jì)算資源消耗也非常高，甚至一度超過了整個(gè)平臺業(yè)務(wù)的增速，這顯然不是一個(gè)可持續(xù)發(fā)展的態(tài)勢。

有贊技術(shù)副總裁沈淦首先帶我們一起回顧了去年有贊業(yè)務(wù)高速發(fā)展時(shí)遇到的困境，并向大家分享了他們在數(shù)據(jù)中臺成本治理上的實(shí)踐。

針對原數(shù)據(jù)中臺資源水位低、擴(kuò)縮容成本高、存儲瓶頸、離線計(jì)算浪費(fèi)、成員缺少成本意識等問題，有贊從五個(gè)方面出發(fā)進(jìn)行了成本的綜合治理：

1. 提升資源利用率

首先是制定利用率標(biāo)準(zhǔn)，確認(rèn)利用率在什么水位是合理的，根據(jù)不同的集群和環(huán)境來設(shè)定不同的水位。其次根據(jù)水位來決定縮容或者降配，充分利用機(jī)器資源。接著對機(jī)型進(jìn)行優(yōu)化，統(tǒng)一集群機(jī)型。最后是延時(shí)啟動，削峰填谷，任務(wù)分級，避免在高峰期爭搶資源，在空閑時(shí)間做數(shù)據(jù)重刷。

2. 容器化改造

容器化在很多方面會提供非常好的支撐，首先在擴(kuò)縮容方面。有贊和騰訊云合作，把采購的 API 打通，這樣就可以通過調(diào)度策略來進(jìn)行擴(kuò)縮容，比以前按月的采購方式效率更高、成本更低。另外通過容器化，也可以很方便的實(shí)現(xiàn)存儲與計(jì)算分離。

3. 存儲優(yōu)化

冷備數(shù)據(jù)分離，存儲到騰訊云COS上，比起獨(dú)立集群存儲，節(jié)省80%的成本。啟用Hive數(shù)據(jù)生命周期管理，90%以上的分區(qū)表，可以做歷史分區(qū)清理，節(jié)省20%以上的存儲空間。同時(shí)優(yōu)化存儲壓縮倍率，依據(jù) hadoop3.x 版本 EC編碼特征，3備份僅需要 1.5倍的空間。

4. 離線任務(wù)優(yōu)化

從數(shù)據(jù)下線、任務(wù)調(diào)優(yōu)、高轉(zhuǎn)低頻、數(shù)據(jù)替換、小文件合并、延遲啟動這六個(gè)方面對離線任務(wù)進(jìn)行優(yōu)化，有贊團(tuán)隊(duì)形象稱之為“六脈神劍”。

5. 成本運(yùn)營機(jī)制

針對團(tuán)隊(duì)成員資源使用大手大腳、缺乏成本意識等問題，有贊技術(shù)團(tuán)隊(duì)創(chuàng)新了成本運(yùn)營機(jī)制。建立成本量化模型，對于不同資源設(shè)立不同的成本單價(jià)，通過Spark

采集計(jì)算資源和運(yùn)營宣導(dǎo)等方式，讓團(tuán)隊(duì)每個(gè)成員切實(shí)感受到資源的損耗，下意識開始加強(qiáng)成本意識。

經(jīng)過此番成本治理實(shí)踐，有贊數(shù)據(jù)中臺不管是在整體資源的利用率還是計(jì)算性能上都有很大的提升，同時(shí)極大降低了存儲成本，幫助團(tuán)隊(duì)成員提升了成本意識，自主降本比例超過了25%，取得了積極的進(jìn)展。

海量挑戰(zhàn)：騰訊云Elasticsearch可用性及性能優(yōu)化實(shí)踐

為了幫助騰訊會議質(zhì)量團(tuán)隊(duì)快速精準(zhǔn)地定位分析問題，需要大量運(yùn)行時(shí)的會議質(zhì)量數(shù)據(jù)支撐，如網(wǎng)絡(luò)相關(guān)的入網(wǎng)類型、碼率、丟包率等。另一方面，借助多維分析，可以在實(shí)時(shí)數(shù)據(jù)中挖掘出異常情況，通過dashboard或數(shù)據(jù)報(bào)表的形式，幫助會議質(zhì)量團(tuán)隊(duì)及時(shí)掌控全局情況，快速發(fā)現(xiàn)潛在問題。

但是隨著騰訊會議用戶激增，在高壓力、高吞吐的環(huán)境下，基于ES的會議服務(wù)質(zhì)量分析系統(tǒng)承受了極大的壓力，并且寫入性能出現(xiàn)了不足......騰訊云Elasticsearch技術(shù)專家張彬面向廣大在線聽眾，分享了他們在騰訊會議服務(wù)質(zhì)量分析系統(tǒng)上的優(yōu)化實(shí)踐。

針對高并發(fā)場景的優(yōu)化方案是服務(wù)限流。除了要能控制并發(fā)請求數(shù)量，還要能精準(zhǔn)地控制內(nèi)存資源，因?yàn)閮?nèi)存資源不足是主要的矛盾。另外通用性要強(qiáng)，能作用于各個(gè)層級實(shí)現(xiàn)全鏈限流。

具體是基于內(nèi)存資源的漏桶策略，將節(jié)點(diǎn) JVM 內(nèi)存作為漏桶的資源，當(dāng)內(nèi)存資源足夠的時(shí)候，請求可以正常處理；當(dāng)內(nèi)存使用量到達(dá)一定閾值的時(shí)候分區(qū)間階梯式平滑限流。如下圖中淺黃色的區(qū)間限制寫入，深黃色的區(qū)間限制查詢，底部紅色部分作為預(yù)留 buffer，預(yù)留給處理中的請求、merge 等操作，以保證節(jié)點(diǎn)內(nèi)存的安全性。

除此之外，騰訊云ES還在大聚合查詢、多可用區(qū)部署、數(shù)據(jù)合并策略以及大吞吐寫入方面，結(jié)合原生方案和社區(qū)調(diào)研，做出了獨(dú)具一格的優(yōu)化。除了在高可用和性能方面的調(diào)優(yōu)，騰訊云ES在低成本解決方案上也給出了自己的答卷。

騰訊云自身的監(jiān)控系統(tǒng)也是ES 做的，對于一些特別大的地域集群，寫入速度高達(dá)千萬級每秒，需要承擔(dān)1500臺物理機(jī)的成本預(yù)算。通過冷熱分離、生命周期管理、多盤策略、COS冷備等方式，極大降低了存儲成本，原本需要1500臺機(jī)器才能完成的工作優(yōu)化后僅需要兩三百臺。

原生加密：騰訊云數(shù)據(jù)安全中臺解決方案

隨著企業(yè)上云和數(shù)字化轉(zhuǎn)型升級的深化，數(shù)據(jù)正在成為企業(yè)的核心資產(chǎn)之一，在生產(chǎn)過程中發(fā)揮的價(jià)值越來越大。騰訊安全云鼎實(shí)驗(yàn)室專家姬生利在直播間為大家細(xì)數(shù)了企業(yè)數(shù)據(jù)安全風(fēng)險(xiǎn)以及國內(nèi)密碼應(yīng)用現(xiàn)狀，除了業(yè)務(wù)上的安全挑戰(zhàn)，還有安全合規(guī)方面的要求。

企業(yè)數(shù)據(jù)安全面臨著諸多難題：

從數(shù)據(jù)安全生命周期來看，有著分類、治理和策略方面的難點(diǎn)；從開發(fā)運(yùn)營過程中來看，數(shù)據(jù)有容易泄露的風(fēng)險(xiǎn)，比如開發(fā)意識疏忽，泄露源代碼中包含的敏感憑據(jù)和密鑰、測試暴露高風(fēng)險(xiǎn)的測試數(shù)據(jù)庫訪問端口和弱賬號等。測試：暴露高風(fēng)險(xiǎn)的測試數(shù)據(jù)庫訪問端口和弱賬號等。

從應(yīng)用服務(wù)的構(gòu)成來看，數(shù)據(jù)從產(chǎn)生、傳輸、存儲、處理，到共享展示，每一個(gè)環(huán)節(jié)都存在數(shù)據(jù)泄露的風(fēng)險(xiǎn)，涉及數(shù)據(jù)安全保障：

本地敏感數(shù)據(jù)存儲安全、網(wǎng)絡(luò)通道的安全、配置文件和硬編碼敏感信息的安全、密鑰的安全管理、云上數(shù)據(jù)的存儲安全、金融支付等敏感應(yīng)用的安全合規(guī)問題、數(shù)據(jù)的共享、展示脫敏的問題等。此外，云架構(gòu)下數(shù)據(jù)加密及密鑰管理也面臨多種挑戰(zhàn)。

騰訊云數(shù)據(jù)安全中臺具備三大能力，全數(shù)據(jù)生命周期支持、完整的云產(chǎn)品生態(tài)集成、國密與 FIPS 標(biāo)準(zhǔn)的支持。騰訊云數(shù)據(jù)安全中臺還能提供極簡的加密 API 和 SDK 服務(wù)，讓用戶得以使用最小的工作量，極簡地實(shí)現(xiàn)對云上數(shù)據(jù)的加密保護(hù)。

對于云上數(shù)據(jù)安全應(yīng)用方案，需要保管的核心內(nèi)容就是密鑰，密鑰存放在硬編碼配置文件里面，是寫在代碼里面的，這種情況下配置文件泄漏或者代碼泄漏，密鑰也會隨之泄漏，密鑰的丟失導(dǎo)致數(shù)據(jù)的密文不再安全，因此使用加密算法需要使用密鑰管理系統(tǒng)（KMS）來對密鑰進(jìn)行統(tǒng)一管理。

KMS是云平臺和產(chǎn)品合規(guī)的基礎(chǔ)安全組件，海外用戶需要滿足FIPS-140-2標(biāo)準(zhǔn)，國內(nèi)用戶需要支持國密。KMS能為用戶提供安全合規(guī)的密鑰保障、敏感數(shù)據(jù)加密、高性能本地?cái)?shù)據(jù)加密等能力，支持BYOK、白盒密鑰管理，還能無縫集成云產(chǎn)品，實(shí)現(xiàn)云上數(shù)據(jù)透明加密。

除了KMS之外，騰訊云數(shù)據(jù)安全中臺還集成了憑據(jù)管理系統(tǒng)、云加密機(jī)、數(shù)據(jù)庫加密等能力，為用戶的數(shù)據(jù)安全保駕護(hù)航。

彪悍性能：騰訊云ClickHouse性能調(diào)優(yōu)及實(shí)踐

ClickHouse是俄羅斯開源的OLAP數(shù)據(jù)庫，以彪悍的性能著稱。開源5年以來，以性能優(yōu)異、簡單易用的特點(diǎn)，吸引了大量的用戶群體。騰訊云ClickHouse研發(fā)負(fù)責(zé)人彭健為大家?guī)眚v訊云ClickHouse在QQ音樂上的應(yīng)用與調(diào)優(yōu)實(shí)踐。

QQ音樂用的就是ClickHouse集群，集群的現(xiàn)狀是近萬核的規(guī)模、PB 級的存儲，十萬億級別的記錄量，每天過千億級的數(shù)據(jù)入庫，包括實(shí)時(shí)流水、中間表的計(jì)算等等。

通過使用ClickHouse，一方面帶來了實(shí)時(shí)性上的價(jià)值，絕大部分查詢請求是數(shù)秒內(nèi)完成、部分查詢請求在十秒內(nèi)完成。另一方面是易用性，利用 Superset 可以自主制作各種報(bào)表，降低了產(chǎn)品、運(yùn)營、市場等非數(shù)據(jù)人員分析使用的門檻。

那么，是如何做到的呢？

1. 合理規(guī)劃ZooKeeper的集群配置

ClickHouse 集群數(shù)據(jù)量的增長，在并發(fā)寫入量較大的情況下，ZooKeeper 的處理能力跟不上，集群的性能也會急劇下降。所以在整個(gè)運(yùn)維過程中，如果集群數(shù)據(jù)規(guī)模超過 TB 級別，建議采用具有 SSD 盤的設(shè)備。

2. 數(shù)據(jù)冪等寫入

ClickHouse 的集群是按 Shard 分布的，在向 ClickHouse 導(dǎo)入數(shù)據(jù)的過程中有時(shí)會失敗或者超時(shí)，就需要重試寫入動作。為了防止多個(gè) Shard 出現(xiàn)重復(fù)寫入，導(dǎo)致數(shù)據(jù)不一致的情況，在重試的時(shí)候需要在相同的 Shard 上進(jìn)行寫入。

3. 合理規(guī)劃表分區(qū)數(shù)

通?？梢詫?shù)據(jù)按天、按月做分區(qū)，根據(jù)具體情況來操作。官方建議分區(qū)數(shù)量不要超過一千，通常這個(gè)分區(qū)數(shù)對大部分業(yè)務(wù)場景都夠用，過多分區(qū)數(shù)量會導(dǎo)致查詢性能的降低。

4. 讀寫分離

借助臨時(shí)集群，預(yù)先將準(zhǔn)備好的數(shù)據(jù)在臨時(shí)集群中構(gòu)建、寫入，等待 Merge 完成后 AB 切換，或者通過數(shù)據(jù)拷貝的方式將數(shù)據(jù)復(fù)制到在線集群的服務(wù)器上，做到讀寫分離。從而讓數(shù)據(jù)的寫入不會影響線上的查詢，或者是把影響降到最低。

5. 跨表查詢的本地化

ClickHouse 集群分布式查詢通常采用 GLOBAL IN/GLOBAL JOINS 類似的詞語，這些詞句的性能相對比較低，使用后再查詢時(shí)會生成臨時(shí)表，并跨節(jié)點(diǎn)讀取數(shù)據(jù)，從而降低查詢速度，也會占用更多的內(nèi)存，甚至導(dǎo)致查詢失敗。

通過合理組織數(shù)據(jù)，使用本地化的 IN/JOINS 代替，比如根據(jù)數(shù)據(jù)的 UN、VID 將相同 ID 的數(shù)據(jù)寫入到相同的 Shard 中，結(jié)果是等效的，但可以極大的提升性能，將復(fù)雜的操作編程定型化的操作。

除此以外，彭健還對ClickHouse常見的實(shí)時(shí)分析場景進(jìn)行了分析，為大家細(xì)致剖析了ClickHouse的原理，以及騰訊云ClickHouse是如何在原生的基礎(chǔ)上做出優(yōu)化的。不久的未來，更加完善、性能也更高的騰訊云ClickHouse服務(wù)也將會上線提供服務(wù)，敬請大家期待。

極致性能：騰訊云數(shù)據(jù)庫MySQL 8.0

“騰訊云數(shù)據(jù)庫 MySQL 8.0版本于2020年7月正式發(fā)布，QPS達(dá)到70w+。騰訊云基于官方8.0版本新增什么特性和功能，這些新能力能為大家?guī)砟男?shí)際的價(jià)值和幫助？”，直播間里，騰訊云數(shù)據(jù)庫產(chǎn)品專家黃稚禹為大家做出了細(xì)致的解析。

騰訊MySQL 8.0 新推出了八大特性：數(shù)據(jù)加密、SQL審計(jì)、線程池、強(qiáng)一致性、新硬件支持、輕量級AP、熱點(diǎn)更新、SQL限流。

MySQL 開源社區(qū)版是不支持企業(yè)級審計(jì)功能的，只有商業(yè)版里才提供。而騰訊云 MySQL 8.0實(shí)現(xiàn)了內(nèi)核級別的審計(jì)功能，并且結(jié)合了云產(chǎn)品進(jìn)一步提升了 SQL 審計(jì)功能，讓用戶擁有更好的體驗(yàn)。

用戶連接 session 產(chǎn)生的審計(jì)記錄，由專門的寫盤線程( Flush thread )將內(nèi)存中的審計(jì)記錄寫入審計(jì)文件中( Audit File )，直接落盤。而審計(jì)代理( Audit Agent )則會讀取審計(jì)文件，將審計(jì)記錄發(fā)送到審計(jì)日志中心。

同時(shí)采用 JSON 格式對審計(jì)日志進(jìn)行存儲。記錄的審計(jì)內(nèi)容有時(shí)間戳、影響行數(shù)、執(zhí)行時(shí)間、主機(jī)、來源IP、實(shí)例名、用戶名、數(shù)據(jù)庫名，包括具體的 SQL 語句和類型等。在產(chǎn)品層面上也提供了審計(jì)規(guī)則的過濾。

針對互聯(lián)網(wǎng)高并發(fā)業(yè)務(wù)場景，騰訊云 MySQL 8.0 進(jìn)行了線程模式的改進(jìn)。當(dāng)客戶端發(fā)起連接后，由空閑的線程先對請求進(jìn)行處理，減少上下文切換的消耗和創(chuàng)建銷毀的消耗。同時(shí)引入了多隊(duì)列的機(jī)制，可以按照業(yè)務(wù)的訪問走不同的隊(duì)列。

在數(shù)據(jù)加密方面，通過 KMS和 TDE 的深度集成，實(shí)現(xiàn)了二者的結(jié)合，為騰訊云 MySQL 用戶提供了一整套安全解決方案。

KMS 采用的是兩層密鑰體系，海量的業(yè)務(wù)數(shù)據(jù)在存儲或通信過程中使用數(shù)據(jù)密鑰以對稱加密的方式加密，而數(shù)據(jù)密鑰又通過用戶主密鑰采用非對稱加密方式加密保護(hù)。通過兩層密鑰體系，確保數(shù)據(jù)在在內(nèi)存和文件中都進(jìn)行加密。

在直播的最后，黃稚禹為大家分享了騰訊MySQL 8.0 在電商、游戲、金融、新零售這四大行業(yè)里的應(yīng)用，也和大家暢想一番他對數(shù)據(jù)庫未來的發(fā)展趨勢看法。

金融級別：新一代消息隊(duì)列在騰訊計(jì)費(fèi)的實(shí)踐

云原生場景，多語言、多種協(xié)議兼容，任意多的消息 Topic、任意多的消費(fèi)者，性能的按需快速擴(kuò)展成為消息隊(duì)列基本的要求。而在金融場景下，對交易數(shù)據(jù)的強(qiáng)一致性、跨地域數(shù)據(jù)高可用性、系統(tǒng)的性能方面都有著極高的要求。

騰訊TEG技術(shù)委員會專家工程師劉德志為大家分享了基于 Apache Pulsar 的新一代存儲計(jì)算分離設(shè)計(jì)的消息隊(duì)列 TDMQ在騰訊計(jì)費(fèi)上的技術(shù)實(shí)踐。

騰訊計(jì)費(fèi)是孵化于支撐騰訊內(nèi)部業(yè)務(wù)千億級營收的互聯(lián)網(wǎng)計(jì)費(fèi)平臺，其核心是幫助用戶與產(chǎn)品，安全、便捷的完成支付和收款。平臺承載了騰訊公司每天數(shù)億收入的大盤，為 180+ 個(gè)國家（地區(qū)）、100W+ 計(jì)算商戶提供服務(wù)，托管賬戶總量 300 多億，是一個(gè)全方位一站式計(jì)費(fèi)平臺。

1. 存儲分離架構(gòu)

TDMQ 是基于 Pulsar 內(nèi)核，同樣采用了計(jì)算和存儲分離的 2 層架構(gòu)：

Broker 提供消息的生產(chǎn)、發(fā)送和管理服務(wù)，本身并不存儲任何狀態(tài)信息和消息內(nèi)容。Bookie 提供存儲層服務(wù)，采用邏輯分片存儲模式，也就是 Ledger，一個(gè) Topic 實(shí)際上是一個(gè)Ledgers 流，Ledger里面存儲了具體的消息也就是 entry。

基于存儲分離的架構(gòu)，可以很友好的支持系統(tǒng)的擴(kuò)縮容。如果是計(jì)算層資源不足，可以非常方便的進(jìn)行 Broker 擴(kuò)容，同時(shí) Broker 也可以用相對比較廉價(jià)的機(jī)器來支撐。如果是存儲層資源不足，添加 bk 節(jié)點(diǎn)也是非常簡單的，新加的機(jī)器會在后續(xù)的 Ledger 寫入使用，基本不需要額外的數(shù)據(jù)遷移動作。

2. 跨城容災(zāi)

隨著業(yè)務(wù)的發(fā)展，異地多活成為必然選擇。TDMQ 提供兩種跨城容災(zāi)模式：跨地域異步復(fù)制、跨地域同步復(fù)制。

對于跨地域異步復(fù)制，TDMQ 的 geo-repilcation可以實(shí)現(xiàn)跨地域復(fù)制的能力，通過一些配置化手段實(shí)現(xiàn)多中心的數(shù)據(jù)同步，減少了業(yè)務(wù)的負(fù)擔(dān)。

對于跨地域異步復(fù)制， 由于TDMQ 采用計(jì)算存儲分離的架構(gòu)，存儲是 bookie 集群組成，Broker 在寫消息時(shí)，首先會從 bookie 中選出一組 bookie 節(jié)點(diǎn)，選取的策略可以根據(jù) bookie 部署的機(jī)架信息，由同城和跨城節(jié)點(diǎn)組成，其中機(jī)架信息可以通過配置進(jìn)行指定。這樣就可以保證副本是在多地存儲，在等待ack策略上，可以根據(jù)機(jī)架信息保證等待異地的 ack 應(yīng)答，可以實(shí)現(xiàn)真正意義上跨城容災(zāi)。

與此同時(shí)，在保障數(shù)據(jù)高一致方面，劉德志也為直播間的聽眾詳細(xì)剖析了TDMQ 的一致性模型，在DB數(shù)據(jù)同步上也有很多創(chuàng)新的實(shí)踐。目前TDMQ還處在騰訊云的內(nèi)測階段，主要應(yīng)用于騰訊計(jì)費(fèi)等場景下，未來也將開放到更多應(yīng)用場景下使用。

前沿探索：騰訊云數(shù)據(jù)庫自治服務(wù)最佳實(shí)踐

騰訊云數(shù)據(jù)庫高級產(chǎn)品經(jīng)理劉迪為大家分享了騰訊云在數(shù)據(jù)庫自治方面的最新實(shí)踐。他先從數(shù)據(jù)庫自治的演進(jìn)開始講起，為大家娓娓道來數(shù)據(jù)庫運(yùn)維各個(gè)發(fā)展階段的面貌和特點(diǎn)。

從數(shù)據(jù)庫技術(shù)誕生伊始，數(shù)據(jù)庫運(yùn)維經(jīng)歷了從石器時(shí)代、工具時(shí)代、專家時(shí)代，再到如今智能時(shí)代這四個(gè)階段。從依靠純手工運(yùn)維到沉淀腳本和工具提升人工效率，再到出現(xiàn)統(tǒng)一的數(shù)據(jù)庫自動化運(yùn)維管理平臺。

在云數(shù)據(jù)庫時(shí)代，雖然可以便利使用云上的各種托管能力，但是上云之后也相應(yīng)產(chǎn)生了黑盒現(xiàn)象。在資源評估、故障診斷恢復(fù)、數(shù)據(jù)庫性能優(yōu)化等方面對數(shù)據(jù)庫運(yùn)維同學(xué)提出了新的挑戰(zhàn)。

有沒有一種技術(shù)能夠?qū)?shù)據(jù)庫能力和專家經(jīng)驗(yàn)的共享，把之前已經(jīng)積累好、沉淀好的數(shù)據(jù)庫處理經(jīng)驗(yàn)自動化，能夠讓數(shù)據(jù)庫自己處理一些簡單的問題，不需要人工干預(yù)。面對復(fù)雜問題的時(shí)候能夠提供非常充足的建議，通過專家的干預(yù)進(jìn)行最后的處理呢？數(shù)據(jù)庫自治由此誕生。

經(jīng)過多年的技術(shù)打磨，去年騰訊對外發(fā)布的一款強(qiáng)大的數(shù)據(jù)庫自治產(chǎn)品 —— 數(shù)據(jù)庫智能管家DBbrain。DBbrain 提供的自治服務(wù)涵蓋三個(gè)方面：

1. 性能優(yōu)化

利用機(jī)器學(xué)習(xí)、大數(shù)據(jù)手段快速復(fù)制資深數(shù)據(jù)庫管理員的成熟經(jīng)驗(yàn)，將大 量數(shù)據(jù)庫問題的診斷優(yōu)化工作自動化，服務(wù)于云上和云下企業(yè)。

2. 安全防護(hù)

提供從用戶行為安全、SQL 安全到數(shù)據(jù)存儲加密安全等多項(xiàng)數(shù)據(jù)安全服務(wù)， 公安部認(rèn)證的等保合規(guī)性安全產(chǎn)品。

3. 數(shù)據(jù)庫管理

提供免安裝、免運(yùn)維、即開即用、多種數(shù)據(jù)庫類型與多種環(huán)境統(tǒng)一的 web 數(shù)據(jù)庫管理終端。

DBbrain 提供了宏觀用戶級別的監(jiān)控和告警，讓用戶第一時(shí)間內(nèi)能夠發(fā)現(xiàn)故障、發(fā)現(xiàn)異常。監(jiān)控頁面的易讀性非常高，用戶不需要從幾百個(gè)監(jiān)控指標(biāo)中找出哪個(gè)有問題，DBbrain 會幫助用戶篩選、聚合出相同問題觸發(fā)的監(jiān)控指標(biāo)。

DBbrain還提供了7*24小時(shí)異常診斷、異?？蚣茉\斷、SQL優(yōu)化、數(shù)據(jù)庫審計(jì)與分析、數(shù)據(jù)庫健康評估策略解讀、自動性能優(yōu)化系統(tǒng) CDBTune等能力。同時(shí)提供基于 cost 的分析引擎，能夠在用戶沒有執(zhí)行優(yōu)化建議之前就把優(yōu)化的結(jié)果告訴大家，從而在優(yōu)化前就可以清楚的看到預(yù)期的優(yōu)化效果。

對于容易被運(yùn)維同學(xué)忽略的數(shù)據(jù)庫安全防護(hù)問題，DBbrain 也提供了合規(guī)審計(jì)、安全治理、數(shù)據(jù)脫敏三大功能，為用戶提供更穩(wěn)定安全的數(shù)據(jù)庫服務(wù)。

劉迪還結(jié)合了行業(yè)客戶的案例為大家分享DBbrain在實(shí)際生產(chǎn)場景下的應(yīng)用。談到數(shù)據(jù)庫自治的未來展望，劉迪表示：“數(shù)據(jù)庫自治在未來應(yīng)該會朝著自愈、自優(yōu)化的方向發(fā)展，不僅能自主調(diào)節(jié)索引建議，還可以自主創(chuàng)建索引，自動進(jìn)行識別、添加和刪除，并且在未來還應(yīng)該可以自動對執(zhí)行計(jì)劃進(jìn)行回歸修正，優(yōu)化策略下沉與引擎融合，讓用戶需要干預(yù)的越來越少，提供的優(yōu)化服務(wù)越來越多”。

如何成為一名優(yōu)秀數(shù)據(jù)工匠？

本期沙龍的壓軸專場請來了三位大咖，云和恩墨首席架構(gòu)師 & 騰訊云最具價(jià)值專家TVP蓋國強(qiáng)、Elastic中文社區(qū)深圳負(fù)責(zé)人 & 騰訊云最具價(jià)值專家TVP楊振濤、騰訊數(shù)據(jù)庫負(fù)責(zé)人丁奇，他們就「如何成為一名優(yōu)秀數(shù)據(jù)工匠」這一話題延伸出發(fā)，展開了熱烈的探討。

三位大咖先從自身成長經(jīng)歷出發(fā)，表達(dá)了他們自身對數(shù)據(jù)工匠的感受和理解，雖然在專長領(lǐng)域和成長經(jīng)歷上有所差別，但是源自相同的熱帶和堅(jiān)持，他們最后也都達(dá)到了各自領(lǐng)域內(nèi)的高點(diǎn)。

在談到當(dāng)前數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀和趨勢這一話題時(shí)，蓋國強(qiáng)老師首先談了自己的看法。

他首先認(rèn)為國產(chǎn)數(shù)據(jù)庫必將崛起，因?yàn)榉植际綌?shù)據(jù)庫已然成為趨勢，加上中國擁有龐大的用戶市場，所以國產(chǎn)數(shù)據(jù)庫實(shí)現(xiàn)彎道超車獲得領(lǐng)先優(yōu)勢不是沒有可能；第二，云數(shù)據(jù)庫成為新的潮流；第三，數(shù)據(jù)庫自治也是大勢所趨，數(shù)據(jù)庫未來一定是會更加自動化和智能化。最后不由感嘆道：“很不幸，未來可能不太需要傳統(tǒng)意義上的DBA了”。

對于延伸出來的這個(gè)話題，丁奇顯然來了興趣。他首先對國強(qiáng)老師的這一觀點(diǎn)表示了認(rèn)同，但同時(shí)也有新的理解。他認(rèn)為未來DBA仍然還會存在，但是形態(tài)會發(fā)生改變。在數(shù)據(jù)庫發(fā)展的早期階段，DBA其實(shí)對業(yè)務(wù)有很強(qiáng)的主導(dǎo)性，因?yàn)樗麄兞私鈹?shù)據(jù)庫的業(yè)務(wù)架構(gòu)。隨著云化和自治化的發(fā)展，將DBA從基礎(chǔ)的運(yùn)維中解放出來，重新回到原始的價(jià)值層面，也即了解和主導(dǎo)業(yè)務(wù)架構(gòu)。

對于數(shù)據(jù)庫發(fā)展趨勢的問題，楊振濤保持著樸素的觀點(diǎn)，他認(rèn)為數(shù)據(jù)庫的發(fā)展暗含著合久必分，分久必合的態(tài)勢。從最早期一個(gè)數(shù)據(jù)庫搞定業(yè)務(wù)系統(tǒng)對數(shù)據(jù)的讀寫需求，到現(xiàn)在基于不同業(yè)務(wù)對數(shù)據(jù)讀取的差異化要求，采用多種產(chǎn)品組合。同時(shí)，不同數(shù)據(jù)庫產(chǎn)品也在不斷演化，進(jìn)入了百家爭鳴的階段。包括國產(chǎn)數(shù)據(jù)庫的崛起，更加促進(jìn)了這個(gè)數(shù)據(jù)時(shí)代的多元化。從系統(tǒng)論來說，多元化越強(qiáng)系統(tǒng)蘊(yùn)含的熵、進(jìn)化的能力也是越大的。 如果市場上永遠(yuǎn)是三巨頭，就可能不是一個(gè)很健康的發(fā)展趨勢。

對于如何成為一名數(shù)據(jù)工匠這一話題，三位老師也給出了自己的答案。

蓋國強(qiáng)結(jié)合自己20年來的工作學(xué)習(xí)經(jīng)驗(yàn)，提煉出來8字真言：興趣、勤奮、堅(jiān)持、方法。興趣是你克服苦難，堅(jiān)持下去的源頭；勤奮是要保持對自身的高要求，付出更多的時(shí)間精力來做這件事；堅(jiān)持是不輕易調(diào)整方向，學(xué)透了某一點(diǎn)再拓展不遲；方法是要靈活借鑒他人的成功經(jīng)驗(yàn)補(bǔ)足自身。堅(jiān)持這四點(diǎn)，相信每個(gè)人都能做出優(yōu)秀的成績。

丁奇也同樣分享了他自己的觀點(diǎn)，他認(rèn)為學(xué)習(xí)數(shù)據(jù)技術(shù)最好從點(diǎn)到線，這樣更能獲得點(diǎn)滴的成就感，在閱讀繁復(fù)浩大的技術(shù)圖書或者手冊的時(shí)候，應(yīng)當(dāng)先把骨架弄清楚，然后有針對性地學(xué)習(xí)。對于想要在數(shù)據(jù)技術(shù)更進(jìn)一步的同學(xué)，丁奇建議大家應(yīng)該有意識的增強(qiáng)自己的成本意識、性能意識，以及安全意識。

楊振濤認(rèn)為在成長為數(shù)據(jù)工匠的路上，我們需要一直貫徹專業(yè)主義，對于認(rèn)為正確的事情一定要堅(jiān)定不移的做下去，專業(yè)度決定了你最終能走到哪一步。另外楊振濤也鼓勵(lì)技術(shù)人員應(yīng)該具有利他心理，多多分享自己的知識和經(jīng)驗(yàn)。在成就他人的同時(shí)，往往也能完善自身知識體系，甚至還能收獲新的認(rèn)知，是一件非常值得投入的事情。

在直播的后半段，三位老師同樣解答了直播間彈幕提出的諸多問題。

此次技術(shù)沙龍涵蓋8場深受大家喜愛的數(shù)據(jù)專題，邀請到10位行業(yè)一線大咖分享實(shí)踐干貨。沙龍活動期間不斷收到來自直播間觀眾、技術(shù)社群中傳遞的熱烈討論和提問，收獲了一片稱贊。

正是源于同樣的熱愛，讓我們在這段時(shí)間相約在云+社區(qū)沙龍直播間，一齊成長進(jìn)步。國內(nèi)外數(shù)據(jù)技術(shù)日新月異，每天都在發(fā)生巨大的變革，但無論什么時(shí)代，先進(jìn)的知識始終是優(yōu)質(zhì)生產(chǎn)力，堅(jiān)持、熱愛的開發(fā)者們永遠(yuǎn)是推動技術(shù)發(fā)展、維持技術(shù)生態(tài)繁榮的最根本因素。感謝國內(nèi)的開發(fā)者，也感謝騰訊云云 + 社區(qū)能為廣大開發(fā)者提供這樣一個(gè)交流協(xié)作的平臺。騰訊云愿積極擁抱開發(fā)者，愿與開發(fā)者攜手一起，共建屬于數(shù)據(jù)技術(shù)更先進(jìn)的未來。