今日獲悉，騰訊云數(shù)據(jù)庫2篇論文入選國際數(shù)據(jù)庫頂級(jí)會(huì)議ICDE。其分布式事務(wù)協(xié)議——Lion和內(nèi)存-磁盤跨越索引設(shè)計(jì)框架，解決了數(shù)據(jù)庫領(lǐng)域的普遍難題，技術(shù)創(chuàng)新獲得國際權(quán)威認(rèn)可。

（騰訊云數(shù)據(jù)庫團(tuán)隊(duì)在ICDE會(huì)場進(jìn)行技術(shù)分享）

據(jù)悉，ICDE（IEEE International Conference on Data Engineering）是數(shù)據(jù)庫研究領(lǐng)域歷史悠久的國際會(huì)議，與SIGMOD、VLDB并稱數(shù)據(jù)庫三大頂級(jí)會(huì)議，也是中國計(jì)算機(jī)學(xué)會(huì)(CCF)推薦的A類國際會(huì)議，主要聚焦設(shè)計(jì)、構(gòu)建、管理和評(píng)估高級(jí)數(shù)據(jù)密集型系統(tǒng)和應(yīng)用等前沿研究問題。

如今，分布式數(shù)據(jù)庫已成為企業(yè)存儲(chǔ)和管理海量數(shù)據(jù)的重要工具，在分布式事務(wù)處理過程中，常常涉及多輪跨節(jié)點(diǎn)的通信，處理速度較慢。過去為提高性能，業(yè)內(nèi)多通過遷移將分布式事務(wù)轉(zhuǎn)換為單節(jié)點(diǎn)事務(wù)。但基于遷移的方法可能會(huì)因等待數(shù)據(jù)遷移而導(dǎo)致事務(wù)被阻塞，而超級(jí)節(jié)點(diǎn)可能會(huì)成為瓶頸。

此次，騰訊云和中國人民大學(xué)合作入選ICDE的論文《Lion: Minimizing Distributed Transactions through Adaptive Replica Provision》，則為這一難題提出了一種新穎的事務(wù)處理協(xié)議——Lion。作為一種自適應(yīng)的副本放置機(jī)制，Lion利用基于分區(qū)的復(fù)制來減少分布式事務(wù)的發(fā)生。該機(jī)制增強(qiáng)了基于LSTM的工作負(fù)載預(yù)測算法，以確定定位共同訪問分區(qū)的副本的適當(dāng)節(jié)點(diǎn)。通過采用這種自適應(yīng)副本放置策略，可以確保大多數(shù)事務(wù)可以在單個(gè)節(jié)點(diǎn)上高效處理，而無需額外的開銷。因此，Lion有效地最小化了分布式事務(wù)，同時(shí)避免了由數(shù)據(jù)遷移或超級(jí)節(jié)點(diǎn)的創(chuàng)建引起的任何中斷。大量實(shí)驗(yàn)結(jié)果顯示，Lion與各種先進(jìn)的事務(wù)處理協(xié)議相比，吞吐量提高了最多2.7倍、可擴(kuò)展性提高了76.4%。

ICDE評(píng)審委員會(huì)也對(duì)論文研究成果給予了高度認(rèn)可，認(rèn)為Lion所提出的調(diào)整策略考慮了歷史信息和未來工作負(fù)載的變化，并經(jīng)過全面性評(píng)估實(shí)驗(yàn)，不僅可顯著提高分布式數(shù)據(jù)庫系統(tǒng)的吞吐量，技術(shù)先進(jìn)性還在大部分情況下超越了數(shù)據(jù)遷移技術(shù)、不對(duì)稱復(fù)制方法和確定性方法等。

另外，針對(duì)數(shù)據(jù)庫系統(tǒng)中，索引可能會(huì)消耗大量內(nèi)存而無法完全存放的難題，騰訊云聯(lián)合德州大學(xué)阿靈頓分校，在入選ICDE論文《IndeXY: A Framework for Constructing Indexes Larger than Memory》中，提出了名為IndeXY的內(nèi)存-磁盤跨越索引設(shè)計(jì)框架。該框架解耦了索引內(nèi)存部分和磁盤部分的設(shè)計(jì)，精心設(shè)計(jì)內(nèi)存部分向磁盤的選擇性卸載并優(yōu)化了磁盤重新加載索引并保留在內(nèi)存的策略，以最大化優(yōu)化內(nèi)存訪問機(jī)會(huì)和效率。

該框架允許單獨(dú)采用一個(gè)內(nèi)存索引設(shè)計(jì)，以及一個(gè)被認(rèn)為最適合其工作負(fù)載的磁盤數(shù)據(jù)組織和訪問方案，實(shí)驗(yàn)顯示，這一設(shè)計(jì)可將TPC-C工作負(fù)載提高高達(dá)8.6倍的吞吐量，且可以提高幾乎所有YCSB工作負(fù)載的性能。

ICDE評(píng)審委員會(huì)認(rèn)為，該論文解決了Index在內(nèi)存索引必須溢出到磁盤時(shí)索引效率的關(guān)鍵問題，為企業(yè)提供了一個(gè)可按需選擇的組合方案（任何基于內(nèi)存的索引IndeX+任何基于磁盤的索引IndeY），且內(nèi)存和磁盤上的索引都可以單獨(dú)進(jìn)行優(yōu)化。

作為國產(chǎn)數(shù)據(jù)庫行業(yè)的先行者，騰訊云至今已經(jīng)深耕數(shù)據(jù)庫領(lǐng)域十余年，服務(wù)客戶數(shù)超過50萬，覆蓋金融、政府、電商、游戲等眾多行業(yè)。未來，騰訊云也將持續(xù)創(chuàng)新技術(shù)，打磨產(chǎn)品和解決方案，為更多企業(yè)提供高可靠、高可用、高安全的數(shù)據(jù)庫服務(wù)，加速企業(yè)數(shù)字化升級(jí)與業(yè)務(wù)創(chuàng)新。