?數(shù)據(jù)處理和分析是基礎(chǔ)和普遍的。算法在數(shù)據(jù)處理和分析中發(fā)揮著至關(guān)重要的作用，許多算法設(shè)計都結(jié)合了啟發(fā)式和人類知識和經(jīng)驗的一般規(guī)則，以提高其有效性。

近年來，強化學(xué)習(xí)，特別是深度強化學(xué)習(xí)（DRL）在許多領(lǐng)域得到了越來越多的探索和利用，因為與靜態(tài)設(shè)計的算法相比，它可以在復(fù)雜的交互環(huán)境中學(xué)習(xí)更好的策略。受這一趨勢的推動，我們對最近的工作進行了全面的回顧，重點是利用DRL改進數(shù)據(jù)處理和分析。

首先，我們介紹了DRL中的關(guān)鍵概念、理論和方法。接下來，我們將討論DRL在數(shù)據(jù)庫系統(tǒng)上的部署，在各個方面促進數(shù)據(jù)處理和分析，包括數(shù)據(jù)組織、調(diào)度、調(diào)優(yōu)和索引。

然后，我們調(diào)查了DRL在數(shù)據(jù)處理和分析中的應(yīng)用，從數(shù)據(jù)準備、自然語言處理到醫(yī)療保健、金融科技等。

最后，我們討論了在數(shù)據(jù)處理和分析中使用DRL所面臨的重要挑戰(zhàn)和未來的研究方向。

論文鏈接：https://arxiv.org/abs/2108.04526

在大數(shù)據(jù)時代，數(shù)據(jù)處理和分析是基礎(chǔ)的、無處不在的，對于許多組織來說是至關(guān)重要的，這些組織正在進行數(shù)字化之旅，以改善和轉(zhuǎn)變其業(yè)務(wù)和運營。在提取洞察力之前，數(shù)據(jù)分析通常需要其他關(guān)鍵操作，如數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)集成、建模等。

大數(shù)據(jù)可以在醫(yī)療保健和零售等許多行業(yè)釋放出巨大的價值創(chuàng)造。然而，數(shù)據(jù)的復(fù)雜性（例如，高容量、高速度和高多樣性）給數(shù)據(jù)分析帶來了許多挑戰(zhàn)，因此很難得出有意義的見解。為了應(yīng)對這一挑戰(zhàn)，促進數(shù)據(jù)處理和分析的高效和有效，研究人員和實踐人員設(shè)計了大量的算法和技術(shù)，也開發(fā)了大量的學(xué)習(xí)系統(tǒng)，如Spark MLlib和Rafiki。

為了支持快速的數(shù)據(jù)處理和準確的數(shù)據(jù)分析，大量的算法依賴于基于人類知識和經(jīng)驗開發(fā)的規(guī)則。例如，「最短作業(yè)優(yōu)先」是一種調(diào)度算法，它選擇執(zhí)行時間最短的作業(yè)進行下一次執(zhí)行。但在沒有充分利用工作負載特性的情況下，與基于學(xué)習(xí)的調(diào)度算法相比，其性能較差。另一個例子是計算機網(wǎng)絡(luò)中的包分類，它將一個包與一組規(guī)則中的一條規(guī)則進行匹配。一種解決方案是使用手工調(diào)整的啟發(fā)式分類來構(gòu)造決策樹。具體來說，啟發(fā)式算法是為一組特定的規(guī)則設(shè)計的，因此可能不能很好地工作于具有不同特征的其他工作負載。

我們觀察到現(xiàn)有算法的三個局限性：

首先，算法是次優(yōu)的。諸如數(shù)據(jù)分布之類的有用信息可能會被忽略或未被規(guī)則充分利用。其次，算法缺乏自適應(yīng)能力。為特定工作負載設(shè)計的算法不能在另一個不同的工作負載中很好地執(zhí)行。第三，算法設(shè)計是一個耗時的過程。開發(fā)人員必須花很多時間嘗試很多規(guī)則，以找到一個經(jīng)驗有效的規(guī)則。

基于學(xué)習(xí)的算法也被用于數(shù)據(jù)處理和分析。經(jīng)常使用的學(xué)習(xí)方法有兩種:監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。它們通過直接優(yōu)化性能目標來實現(xiàn)更好的性能。監(jiān)督學(xué)習(xí)通常需要一組豐富的高質(zhì)量標注訓(xùn)練數(shù)據(jù)，這可能是很難和具有挑戰(zhàn)性的獲取。例如，配置調(diào)優(yōu)對于優(yōu)化數(shù)據(jù)庫管理系統(tǒng)（DBMS）的整體性能非常重要。在離散和連續(xù)的空間中，可能有數(shù)百個調(diào)諧旋鈕相互關(guān)聯(lián)。此外，不同的數(shù)據(jù)庫實例、查詢工作負載和硬件特性使得數(shù)據(jù)收集變得不可用，尤其是在云環(huán)境中。

與監(jiān)督學(xué)習(xí)相比，強化學(xué)習(xí)具有較好的性能，因為它采用了試錯搜索，并且需要更少的訓(xùn)練樣本來找到云數(shù)據(jù)庫的良好配置。

另一個具體的例子是查詢處理中的查詢優(yōu)化。數(shù)據(jù)庫系統(tǒng)優(yōu)化器的任務(wù)是為查詢找到最佳的執(zhí)行計劃，以降低查詢成本。傳統(tǒng)的優(yōu)化器通常枚舉許多候選計劃，并使用成本模型來找到成本最小的計劃。優(yōu)化過程可能是緩慢且不準確的。

在不依賴于不準確的成本模型的情況下，深度強化學(xué)習(xí)（DRL）方法通過與數(shù)據(jù)庫交互來改進執(zhí)行計劃（例如，更改表連接順序）。

當(dāng)查詢發(fā)送給agent（即DRL優(yōu)化器）時，代理通過對基本信息（如訪問的關(guān)系和表）進行特征化，生成狀態(tài)向量。agent以狀態(tài)為輸入，利用神經(jīng)網(wǎng)絡(luò)生成一個動作集的概率分布，動作集可以包含所有可能的作為潛在動作的join操作。

每個操作表示一對表上的部分連接計劃，一旦執(zhí)行操作，狀態(tài)將被更新。在采取可能的行動之后，生成一個完整的計劃，然后由DBMS執(zhí)行該計劃以獲得獎勵。

在這個查詢優(yōu)化問題中，獎勵可以根據(jù)實際延遲計算。在有獎勵信號的訓(xùn)練過程中，agent可以改進策略，產(chǎn)生更高獎勵的更好的連接排序（即延遲更少）。

查詢優(yōu)化的DRL工作流程

強化學(xué)習(xí)（RL）專注于學(xué)習(xí)在環(huán)境中做出智能的行動。RL算法在探索和開發(fā)的基礎(chǔ)上，通過環(huán)境反饋來改進自身。在過去的幾十年里，RL在理論和技術(shù)方面都取得了巨大的進步。

值得注意的是，DRL結(jié)合了深度學(xué)習(xí)（DL）技術(shù)來處理復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，并被設(shè)計用于從歷史數(shù)據(jù)中學(xué)習(xí)和自我探索，以解決眾所周知的困難和大規(guī)模問題（如AlphaGo）。

近年來，來自不同社區(qū)的研究人員提出了DRL解決方案，以解決數(shù)據(jù)處理和分析中的問題。我們將現(xiàn)有的使用DRL的作品從系統(tǒng)和應(yīng)用兩個角度進行分類。

從系統(tǒng)的角度來看，我們專注于基礎(chǔ)研究課題，從一般的，如調(diào)度，到系統(tǒng)特定的，如數(shù)據(jù)庫的查詢優(yōu)化。我們還應(yīng)當(dāng)強調(diào)它是如何制定的馬爾可夫決策過程,并討論如何更有效地解決DRL問題與傳統(tǒng)方法相比。由于實際系統(tǒng)中的工作負載執(zhí)行和數(shù)據(jù)采集時間比較長，因此采用了采樣、仿真等技術(shù)來提高DRL訓(xùn)練效率。

從應(yīng)用的角度來看，我們將涵蓋數(shù)據(jù)處理和數(shù)據(jù)分析中的各種關(guān)鍵應(yīng)用，以提供對DRL的可用性和適應(yīng)性的全面理解。許多領(lǐng)域通過采用DRL進行轉(zhuǎn)換，這有助于學(xué)習(xí)有關(guān)應(yīng)用的領(lǐng)域特定知識。

在這次綜述中，我們的目標是提供一個廣泛和系統(tǒng)的回顧，在解決數(shù)據(jù)系統(tǒng)、數(shù)據(jù)處理和分析問題中使用DRL的最新進展。

RL技術(shù)分類?