技術(shù)總言：

這次主要說最近發(fā)展的無監(jiān)督特征學(xué)習(xí)和深入學(xué)習(xí)，其對(duì)于時(shí)間序列模型問題的評(píng)價(jià)。這些技術(shù)已經(jīng)展現(xiàn)了希望對(duì)于建模靜態(tài)數(shù)據(jù)，如計(jì)算機(jī)視覺，把它們應(yīng)用到時(shí)間序列數(shù)據(jù)正在獲得越來越多的關(guān)注。這次主要概述了時(shí)間序列數(shù)據(jù)存在的特殊挑戰(zhàn)，并提供了工作的評(píng)價(jià)，其含有把時(shí)間序列應(yīng)用到非監(jiān)督特征學(xué)習(xí)算法或者是有選擇的促成特征學(xué)習(xí)算法的變動(dòng)去考慮目前時(shí)間序列數(shù)據(jù)的挑戰(zhàn)。

當(dāng) 人們大腦在學(xué)習(xí)任務(wù)的時(shí)候，如語言、視覺和運(yùn)動(dòng)，時(shí)間是一種自然元素總是存在的。大多數(shù)真實(shí)世界的數(shù)據(jù)有一些時(shí)間成份，無論是自然過程的測量值(如天氣，聲波)或者人為的(股市，機(jī)器人)。時(shí)間序列數(shù)據(jù)的分析一直為積極研究的課題幾十年了，被認(rèn)為是由 Yang 和 Wu 作為數(shù)據(jù)挖掘的十大挑戰(zhàn)性的問題之一，由于其獨(dú)特的性質(zhì)。建模連續(xù)數(shù)據(jù)的傳統(tǒng)方法包括從假定時(shí)間序列模型參數(shù)的估計(jì)，如自回歸模型和線性動(dòng)力系統(tǒng)( LDS )，和著名的隱馬爾可夫模型( HMM )。估計(jì)的參數(shù)然后可以在分類器被用作特征去執(zhí)行分類。然而，更復(fù)雜的，更高維的和更繁雜的真實(shí)世界的時(shí)間序列數(shù)據(jù)不能被分析的方程式描述，用方程的參數(shù)去解決，因?yàn)閯?dòng)力學(xué)要么太復(fù)雜或未知和傳統(tǒng)的淺方法，只含有一個(gè)小非線性操作的數(shù)，不必精確地模擬這種復(fù)雜的數(shù)據(jù)的能力。為了更好的模型完成復(fù)雜的真實(shí)世界數(shù)據(jù)，一種方法是開發(fā)強(qiáng)大的功能，獲取相關(guān)信息。然而，開發(fā)特有領(lǐng)域的特征對(duì)于每個(gè)任務(wù)是昂貴的，耗時(shí)的并且需要數(shù)據(jù)的專門知識(shí)?？晒┻x擇的方法是使用無監(jiān)督特征學(xué)習(xí)，以便從未標(biāo)簽數(shù)據(jù)學(xué)到了一層特征表達(dá)。其有優(yōu)勢是因?yàn)槲礃?biāo)簽的數(shù)據(jù)多且容易獲得，利用其特征從數(shù)據(jù)中學(xué)習(xí)而不是手工獲知。另一個(gè)好處是特征表現(xiàn)這些層可以被堆疊以產(chǎn)生深的網(wǎng)絡(luò)，這是更能夠在數(shù)據(jù)中建模復(fù)雜結(jié)構(gòu)。深層網(wǎng)絡(luò)已在多項(xiàng)基準(zhǔn)測試數(shù)據(jù)集中被用來實(shí)現(xiàn)國家的最先進(jìn)的成果和解決困難的 AI 任務(wù)。然而，特征學(xué)習(xí)倍受社會(huì)各界重點(diǎn)關(guān)注，一直放在開發(fā)靜態(tài)數(shù)據(jù)模型然而時(shí)間序列數(shù)據(jù)沒有那么多關(guān)注。

時(shí)間序列數(shù)據(jù)的性質(zhì)

從一個(gè)連續(xù)的采樣數(shù)據(jù)點(diǎn)的時(shí)間序列數(shù)據(jù)，隨時(shí)間實(shí)值一直在處理。有很多的時(shí)間序列數(shù)據(jù)的特性，使得它與其他類型的數(shù)據(jù)的不同。

首先，采樣的時(shí)間序列數(shù)據(jù)往往包含很多噪聲且具有高的維數(shù)。為了處理這一點(diǎn)，如降維技術(shù)、小波分析或?yàn)V波的信號(hào)處理技術(shù)可以應(yīng)用于以去除一些噪聲和降維。利用特征提取具有許多優(yōu)點(diǎn)。然而，有價(jià)值的信息可能丟失，特征和信號(hào)處理技術(shù)的選擇可能需要數(shù)據(jù)的專業(yè)知識(shí)。

第二是時(shí)間序列數(shù)據(jù)的特征是不能確定有可用的足夠信息來了解整個(gè)過程。例如，在電子鼻數(shù)據(jù)，其中傳感器陣列的各種選擇性，對(duì)于許多氣體的組合去識(shí)別特定的氣味，但不保證該傳感器的選擇實(shí)際上能夠識(shí)別目標(biāo)的氣味。在金融數(shù)據(jù)觀測單一股票，這僅測量一個(gè)復(fù)雜的系統(tǒng)的一個(gè)很小的方面，則很可能沒有足夠的信息去預(yù)測未來。

此外，時(shí)間序列對(duì)時(shí)間變量有明顯依賴性。在時(shí)間 t 給定輸入值 x ( t )，該模型預(yù)測為 Y ( t )，但在稍后的時(shí)間相同的輸入可以與不同的預(yù)測相關(guān)聯(lián)。為了解決這個(gè)問題，該模型包括從過去到現(xiàn)在更多的數(shù)據(jù)或者必須具有的過去的輸入的存儲(chǔ)器。對(duì)于長期依賴的第一種方法可以使輸入尺寸過大的模型來處理。另一個(gè)挑戰(zhàn)是，時(shí)間依賴性的長度可能是未知的。

許多時(shí)間序列也是非靜止的，這意味著該數(shù)據(jù)的特征，如平均值，方差和頻率，隨時(shí)間的變化的。對(duì)于一些時(shí)間序列數(shù)據(jù)，在頻率的變化是如此相關(guān)，在頻域比在時(shí)域這是更有利去工作的。

最后，當(dāng)涉及到不變性，時(shí)間序列數(shù)據(jù)和其它類型的數(shù)據(jù)會(huì)有不同。在其他領(lǐng)域，例如計(jì)算機(jī)視覺，它最重要的是要有特征，不變的平移，旋轉(zhuǎn)，和比例。時(shí)間序列大多數(shù)特征需要是不變平移。

總之時(shí)間序列數(shù)據(jù)是高維和復(fù)雜的具有獨(dú)特性質(zhì)的，它們的分析和建模具有挑戰(zhàn)性。有很大興趣在時(shí)間序列數(shù)據(jù)表達(dá)，為了將維且提取相關(guān)的信息。關(guān)鍵對(duì)于任何成功的應(yīng)用在于選擇正確的表示。各種時(shí)序問題包含了不同程度的性質(zhì)，在本節(jié)和先驗(yàn)知識(shí)或假設(shè)有關(guān)這些性質(zhì)的討論，經(jīng)常被注入在所選擇的模型或特征表達(dá)。非標(biāo)簽數(shù)據(jù)學(xué)習(xí)表達(dá)代替手工設(shè)置特征越來越感興趣。無監(jiān)督特征學(xué)習(xí)已經(jīng)證明是成功的，在學(xué)習(xí)的特征表現(xiàn)層的靜態(tài)數(shù)據(jù)集，且可與深度網(wǎng)絡(luò)相結(jié)合去創(chuàng)造更強(qiáng)大的學(xué)習(xí)模型。但是，特征學(xué)習(xí)的時(shí)間序列數(shù)據(jù)必須去修改，為了調(diào)整時(shí)間序列數(shù)據(jù)的特征，為了捕捉時(shí)間信息。

非監(jiān)督學(xué)習(xí)和深度學(xué)習(xí)

接下來主要介紹用于無監(jiān)督特征學(xué)習(xí)模型和技術(shù)，用于建模時(shí)間關(guān)系。從未標(biāo)簽數(shù)據(jù)學(xué)習(xí)特征的優(yōu)點(diǎn)是大量未標(biāo)簽的數(shù)據(jù)可以被利用，但比手工設(shè)定的特征可能有更好的特征可以學(xué)到。這兩個(gè)優(yōu)點(diǎn)減少了需要數(shù)據(jù)的專門知識(shí)。

受限玻爾茲曼機(jī)

受限波爾茲曼機(jī)( RBM )是一個(gè)概率模型，它輸入單元(可見) x 和隱藏單元(隱藏) h 如圖 1 所示。

圖 1 靜態(tài)數(shù)據(jù)的 2 層 RBM

可見和隱藏單元與一個(gè)權(quán)重矩陣相連， W 和有偏置向量分別為 C 和 B ?？梢姷暮碗[藏單位之間沒有聯(lián)系。 RBM 可用于模擬靜態(tài)數(shù)據(jù)。能量函數(shù)和聯(lián)合分布對(duì)于給定的可見和隱藏向量定義為：

其中 Z 是分區(qū)功能，確保了分布是歸一化的。對(duì)于二進(jìn)制可見和隱藏單元，隱藏的單元被激活給出可見向量 x 的概率，可視單元被激活給出隱藏向量 h 的概率，由下式給出：

其中σ(·) 是所有訓(xùn)練樣本的均值。幾個(gè) RBMs 可以堆疊產(chǎn)生一個(gè)深度信念網(wǎng)絡(luò)( DBM )。在一個(gè)深度網(wǎng)絡(luò)里，在第一層隱藏單元的激活是第二層的輸入。

條件 RNM

RBM模型的多元時(shí)間序列數(shù)據(jù)的擴(kuò)展是條件 RBM ( cRBM )，如圖 2 所示。一個(gè)類似的模式是時(shí)間 RBM 。

圖 2 兩層條件 RBM 的時(shí)間序列數(shù)據(jù)，用于第一和第二層的模型順序分別是 3 和 2

該 cRBM 由自回歸權(quán)重組成，該模型的短期時(shí)間結(jié)構(gòu)，和以往可見單元到當(dāng)前隱含單元之間的連接。 cRBM 的偏置向量取決于先前可見單元且被定義為：

其中Ai是在時(shí)間 t-i 的可見單元和目前可見單元之間的自回歸連接，Bi是權(quán)重矩陣連接可視層在時(shí)間 t-i 到目前的隱藏層。模型順序由常數(shù) n 定義。對(duì)于上升或下降一層的概率是：

系數(shù)θ={W,b,c,A,B}，用對(duì)比的分歧進(jìn)行培訓(xùn)。就像 RBM ，所述的 cRBM 也可以作為一個(gè)模塊來創(chuàng)建深度網(wǎng)絡(luò)。

自動(dòng)編碼

不具有一個(gè)配分函數(shù)的模型是自動(dòng)編碼，參見圖 3 。自動(dòng)編碼首次引入作為一個(gè)降維算法。事實(shí)上，一個(gè)基本的線性自編碼實(shí)質(zhì)上學(xué)習(xí)相同的表示作為主成分分析( PCA )?？梢妴卧母鲗?x ，隱單元 h 和重建的可見單元，通過連接權(quán)重矩陣W1和W2，隱含層和重建層分別具有偏置矢量b1 和b2。它是常見的自動(dòng)編碼器去并列權(quán)重，即W2=(W1) T 。這工作可以作為一個(gè)調(diào)整裝置，因?yàn)樗拗屏嗽试S的參數(shù)空間并降低了參數(shù)的數(shù)目去學(xué)習(xí)。前饋激活計(jì)算公式為：

其中 σ(·) 是激活函數(shù)。由于 RBM ，一個(gè)常見的選擇是邏輯激活函數(shù)。最優(yōu)值( the cost function )被最小化表示為：

圖3 靜態(tài)時(shí)間序列輸入的一個(gè)一層的自動(dòng)編碼器。輸入是當(dāng)前和之前可視數(shù)據(jù) x 框架的連接。 x 的重建表示為^X。

遞歸神經(jīng)網(wǎng)絡(luò)

一個(gè)模型已用于建模順序數(shù)據(jù)的是遞推神經(jīng)網(wǎng)絡(luò)( RNN )。通常一個(gè) RNN 從前饋網(wǎng)絡(luò)通過連接的神經(jīng)元的輸出到其輸入端獲得的，參見圖 4 。短期內(nèi)時(shí)間相關(guān)性由隱藏到隱藏連接建模，而無需使用任何時(shí)間延遲。它們經(jīng)常迭代訓(xùn)練，并通過被稱為反向傳播通時(shí)間( BPTT )的過程。當(dāng)時(shí)間展開時(shí) RNNs 可以被看作是非常深的網(wǎng)絡(luò)，其在每一層共享參數(shù)。這導(dǎo)致梯度的消失的問題，并已促使二階方法的深體系和非監(jiān)督預(yù)訓(xùn)練的探索。對(duì)訓(xùn)練 RNNs 策略概述由 Sutskever 提供。一個(gè)著名的拓展是使用特制的長短期記憶細(xì)胞，其能更好地發(fā)現(xiàn)長期相關(guān)性。

圖4 遞推神經(jīng)網(wǎng)絡(luò)( RNN )。輸入 x 被變換到輸出表示 y ，其通過隱單位 h 。隱單元連接當(dāng)前時(shí)間幀的輸入值和隱單元從先前時(shí)間幀。

深度學(xué)習(xí)

這個(gè)所介紹的隱單元是使用非線性激活函數(shù)。這種非線性使得一個(gè)更富有表現(xiàn)的模型能夠?qū)W習(xí)更抽象的表示，當(dāng)多個(gè)模塊被堆疊在彼此的頂部以形成深度網(wǎng)絡(luò)(如果線性特征被堆疊的結(jié)果仍然是一個(gè)線性操作)。深度網(wǎng)絡(luò)的目標(biāo)是在較低層構(gòu)建特征，其將會(huì)區(qū)分開輸入數(shù)據(jù)變化的因素，然后組合這些表示在更高層。已提出了一個(gè)深度網(wǎng)絡(luò)將概括的很好，因?yàn)樗哂懈暾谋磉_(dá)。然而，當(dāng)誤差信號(hào)反向傳播時(shí)，在梯度消失的問題中隨著訓(xùn)練隱單元的多個(gè)層會(huì)很困難。這可以通過在每一層執(zhí)行無監(jiān)督貪婪逐層預(yù)訓(xùn)練來解決。這作為正規(guī)化的一個(gè)不尋常的形式，避免了較差的局部最小值并給出比隨機(jī)初始化一個(gè)更好的初始化。然而，與其他因素相比參數(shù)初始化的重要性是不一至關(guān)重要的，例如輸入連接和結(jié)構(gòu)。

卷積和池化

這種技術(shù)是特別有趣的高維數(shù)據(jù)，比如圖像和時(shí)間序列數(shù)據(jù)，其就是是卷積。在一個(gè)卷積設(shè)置中，隱單元不完全連接到輸入而是分為互補(bǔ)局部連接的段，見圖 5 。卷積已應(yīng)用于 RBMs 和自動(dòng)編碼器去創(chuàng)建卷積 RBMs ( convRBM )和卷積自動(dòng)編碼器( convAE )。時(shí)延神經(jīng)網(wǎng)絡(luò)( TDNN )是人工神經(jīng)網(wǎng)絡(luò)( ANN )的一個(gè)特例，通過對(duì)重疊窗口進(jìn)行卷積利用輸入的時(shí)間結(jié)構(gòu)。

圖5 兩層的卷積神經(jīng)網(wǎng)絡(luò)

一個(gè)常用的操作是與卷積一起使用，它通過一個(gè)最大、平均或直方圖的操作結(jié)合輸入或特征空間附近的值，其就是池化。池的目的是實(shí)現(xiàn)小局部變形的不變性，并減少了特征空間的維數(shù)。 Lee 等人的工作引入了概率最大 - 池化在卷積 RBMS 的上下文中。時(shí)空 DBN ( ST-DBN )使用卷積 RBMs 與空間池化層和時(shí)域池化層一起從時(shí)空數(shù)據(jù)建立不變性特征。

時(shí)間相干性

有很多其他方法除了體系結(jié)構(gòu)，其可用于捕獲數(shù)據(jù)中的時(shí)間相干性。一種方法是引入一個(gè)平滑懲罰在正規(guī)化的隱變量。這是通過最小化的變化的隱藏單元從一個(gè)幀到下一幀激活通過如下完成：

這背后的動(dòng)機(jī)是連續(xù)數(shù)據(jù)的隱單元激活不應(yīng)有太大變化，如果時(shí)間相關(guān)性數(shù)據(jù)按時(shí)間順序被反饋到該模型。其他策略包括懲罰的平方差，慢速特征分析，或作為其他因素的函數(shù)，例如在輸入數(shù)據(jù)中的變化，以便適應(yīng)慢速和快速變化的輸入數(shù)據(jù)。

時(shí)間相干性是關(guān)系到不變性特征的表示，因?yàn)檫@兩種方法要實(shí)現(xiàn)在輸入數(shù)據(jù)中特征表達(dá)的微小變化。因此建議在，其姿勢參數(shù)和仿射變換應(yīng)被建模，而不是使用不變性特征表示。在這種情況下，時(shí)間相干性應(yīng)超過一些組，如位置和姿勢的目標(biāo)，而不是單一的標(biāo)量。這例子可以用結(jié)構(gòu)稀疏性懲罰來實(shí)現(xiàn)。

小結(jié)一下

表 1 給出了簡要介紹模型的總結(jié)。第一列表示模型是否能夠捕捉時(shí)序關(guān)系。一個(gè)模型捕捉時(shí)序關(guān)系由具過去輸入的內(nèi)存完成。一個(gè)模型的內(nèi)存，在第二列中指示，意味著在當(dāng)前幀上有多少步及時(shí)回到輸入。沒有時(shí)序次序，特征序列的任何排列會(huì)產(chǎn)生相同的分布。一個(gè)存儲(chǔ)器的實(shí)現(xiàn)在模型之間執(zhí)行不同。在一個(gè) cRBM ，延遲被用于創(chuàng)建關(guān)于過去可見單元的短期相關(guān)性。長期相關(guān)性來自模擬后續(xù)層。這意味著對(duì)于一個(gè) cRBM 存儲(chǔ)器的長度增加對(duì)于每個(gè)添加層。在一層 cRBM 模型次序中通常低于 5 個(gè)輸入大小的大約 50 左右。在輸入尺寸減小將允許更高模型次序。在一個(gè) RNN 中，隱單元在當(dāng)前時(shí)間幀受到在先前時(shí)間幀隱單元狀態(tài)的影響。這可以創(chuàng)建帶有潛在的無限時(shí)間幀的持續(xù)時(shí)間的連鎖反應(yīng)。另一方面，這種連鎖反應(yīng)可以通過用忘記門避免。利用長短期記憶或 hessian-free 優(yōu)化可以產(chǎn)生遞推網(wǎng)絡(luò)，其擁有超過 100 個(gè)時(shí)間步驟的記憶。門控 RBM 和卷積 GRBM 模型在一對(duì)駛?cè)胂蛄恐g轉(zhuǎn)換，所以這些模型的內(nèi)存為 2 。時(shí)空 DBN 模型 6 個(gè)輸出序列來自空間池化層，對(duì)于 GRBM 這是一個(gè)較長內(nèi)存，但使用了一個(gè)較低的輸入大小。

在表 1 中的最后一列表示假如模型生成(相對(duì)于判別)。一個(gè)生成模型可以產(chǎn)生觀測數(shù)據(jù)給予一個(gè)隱藏表示，并且這能力主要是用于產(chǎn)生未來的時(shí)間步長的合成數(shù)據(jù)。盡管自動(dòng)編碼器沒有生成，一個(gè)概率的解釋可以使用自動(dòng)編碼器的得分生成。

表 1 常用模型的特征學(xué)習(xí)的總結(jié)

經(jīng)典時(shí)間序列問題

在這我們將重點(diǎn)介紹一些常見的時(shí)間序列問題和模型，并已解決他們?cè)谖墨I(xiàn)中給出。我們將專注于復(fù)雜問題，對(duì)于特征表達(dá)需要用隱變量，其中表示完全或部分從未標(biāo)簽的數(shù)據(jù)學(xué)習(xí)。那會(huì)在本節(jié)呈現(xiàn)經(jīng)典的時(shí)間序列問題，總結(jié)如表 2 。

表 2 常用時(shí)間序列問題的總結(jié)

舉個(gè)小例子：視頻

視頻數(shù)據(jù)是隨著時(shí)間推移的圖像系列(時(shí)空數(shù)據(jù))，并可以因此被看作是高維的時(shí)序數(shù)據(jù)。如圖 6 表示從 KTH 行為識(shí)別數(shù)據(jù)集的圖像序列。傳統(tǒng)的方法是模擬視頻流，是將用共同的特征檢測每一個(gè)個(gè)體的靜態(tài)圖像和檢測有趣的點(diǎn)，如 SIFT 或 HOG 。這些特征是特定域的靜態(tài)圖像，并且不容易擴(kuò)展到其他領(lǐng)域，例如視頻。

圖6 四個(gè)圖像從 100 、 105 、 110 和 115 幀上運(yùn)行的人的 KTH 動(dòng)作識(shí)別數(shù)據(jù)集。 KTH 數(shù)據(jù)集還包含走路、慢跑、打拳、揮手和熱烈鼓掌的視頻。

采取 Stavens 和特龍的方法學(xué)習(xí)自己的領(lǐng)域優(yōu)化特征，而不是用預(yù)先定義的特征，但仍來自靜態(tài)圖像。更好的方法是去模擬視頻，去學(xué)習(xí)圖像的轉(zhuǎn)換而不是用靜態(tài)圖像工作。 GRBM 已被用于這一目的，其中輸入 x ， GRBM 在一個(gè)時(shí)間幀是完整的圖像，且輸出 y 是隨后時(shí)間幀中的完整圖像。然而，由于網(wǎng)絡(luò)是全連接到圖像，該方法不能很好地?cái)U(kuò)展到更大的圖像，并在多個(gè)位置的局部變換必須重新學(xué)習(xí)。

利用概率最大池化的 GRBM 的卷積版本被泰勒等人提出。利用卷積減少參數(shù)的學(xué)習(xí)數(shù)量，允許更大的輸入規(guī)模，更好地處理可能出現(xiàn)在圖像中的任何地方的局部仿射變換。該模型是對(duì)合成數(shù)據(jù)和多個(gè)基準(zhǔn)數(shù)據(jù)集的驗(yàn)證，包括 KTH 行為識(shí)別數(shù)據(jù)集。

Le等人的工作提出使用獨(dú)立子空間分析( ISA )的擴(kuò)展，無監(jiān)督的時(shí)空特征學(xué)習(xí)方法。該擴(kuò)展包括分層(疊)卷積 ISA 模塊連同池化一起。 ISA 的缺點(diǎn)是它不能很好地?cái)U(kuò)展到大規(guī)模的輸入。卷積和堆疊解決了這個(gè)問題，是通過學(xué)習(xí)輸入數(shù)據(jù)的較小塊。該方法的若干基準(zhǔn)組包括 KTH 被驗(yàn)證。該方法的一個(gè)優(yōu)點(diǎn)是， ISA 的使用減少了在 RBM 為基礎(chǔ)的方法的調(diào)整，例如學(xué)習(xí)率，權(quán)重衰減，收斂參數(shù)等。

模擬視頻中的時(shí)間關(guān)系也已經(jīng)用時(shí)間池化完成。 Chen 和 Freitas 的工作采用卷積 RBMs 作為空間池的塊，然后在空間池化單元執(zhí)行空間池化。該方法被稱為時(shí)空深度信念網(wǎng)絡(luò)( ST-DBN )。 STDBN 允許在空間和時(shí)間的不變性和統(tǒng)計(jì)獨(dú)立性。相比于標(biāo)準(zhǔn)卷積 DBN 的方法來實(shí)現(xiàn)上述應(yīng)用，如動(dòng)作識(shí)別和視頻降噪性能都很優(yōu)越。

對(duì)于模擬視頻時(shí)間相干性的使用是由 Zou 等人完成的，其中自動(dòng)編碼器上的池化單元的時(shí)間差 L1-coast 是用來學(xué)習(xí)特征的，其改善了靜止圖像的目標(biāo)識(shí)別。對(duì)于學(xué)習(xí)表達(dá)， Hyvärinende 的工作也用時(shí)間信息為準(zhǔn)則。

深度學(xué)習(xí)的采用，特征學(xué)習(xí)和用池化卷積，已經(jīng)推動(dòng)了視頻處理的進(jìn)展。模擬視頻數(shù)據(jù)流是一個(gè)自然延續(xù)對(duì)于深度學(xué)習(xí)算法，因?yàn)樗鼈円驯蛔C明是成功的，在靜態(tài)圖像中構(gòu)建有用的特征。在視頻中通過重點(diǎn)學(xué)習(xí)時(shí)間特征，在靜態(tài)圖像上的性能可以提高，從而激發(fā)了需要繼續(xù)發(fā)展深度學(xué)習(xí)的算法，去捕捉時(shí)間關(guān)系。早期的嘗試在延伸深度學(xué)習(xí)算法，視頻數(shù)據(jù)通過模擬兩幀之間的轉(zhuǎn)換完成的。時(shí)間池化的使用擴(kuò)展了時(shí)間相關(guān)性，模型可以學(xué)習(xí)超過一單獨(dú)幀的轉(zhuǎn)換。但是，時(shí)間相關(guān)性已被建模，其仍然只是幾幀。對(duì)于視頻處理的一個(gè)可能的未來發(fā)展方向是看模型可以學(xué)習(xí)更長的時(shí)間相關(guān)性。

再來一個(gè)小例子： 股市預(yù)測

股票市場數(shù)據(jù)是高度復(fù)雜和難以預(yù)料的，即使對(duì)于人類專家，由于一些外部因素，例如，政治、全球經(jīng)濟(jì)和交易商期望。在股票市場數(shù)據(jù)的趨勢傾向于非線性、不確定的和非平穩(wěn)的。圖 7 顯示了超過十年的 Dow Jones 工業(yè)平均指數(shù)( DJOI )。

圖7 十年的 Dow Jones 工業(yè)平均指數(shù)( DJOI )

根據(jù)有效市場假說( EMH )，股票市場價(jià)格遵循隨機(jī)游走模式，這意味著一個(gè)股有相同的概率去上升，因?yàn)樗淹陆?，?dǎo)致該預(yù)測不能有超過 50 個(gè)%的精度。 EMH 狀態(tài)的股價(jià)是由“新聞”推動(dòng)，而不是現(xiàn)在和過去的價(jià)格。然而它也被認(rèn)為股票市場的價(jià)格遵循隨機(jī)游走且它們可以預(yù)測。比起十年前，現(xiàn)金獲取新聞和股票信息看起來是非常不同的。有一個(gè)例子，它已經(jīng)顯示如果從在線社交媒體，如 Twitter feed 和在線聊天活動(dòng)中提取進(jìn)一步信息預(yù)測可以被改善。

一種模型已經(jīng)出現(xiàn)并證明是適合股市預(yù)測的一個(gè)模型就是人工神經(jīng)網(wǎng)絡(luò)( ANN )。這是因?yàn)樗軌蛱幚矸蔷€性復(fù)雜系統(tǒng)的能力。 ANNs 的調(diào)查適用于股市預(yù)測在給出。然而， ANN 的大多數(shù)方法應(yīng)用于股票預(yù)測給出了不理想的結(jié)果。神經(jīng)網(wǎng)絡(luò)的反饋也試被試用過，例如 TDNN 的遞歸版本，具有 RNN 的小波變換，反饋狀態(tài)網(wǎng)絡(luò)。許多這些方法都是直接對(duì)原始數(shù)據(jù)應(yīng)用，而其他報(bào)紙更注重特征選擇的步驟。

總之，可以斷定仍有改進(jìn)的空間用于安全和精確的庫存預(yù)測系統(tǒng)的現(xiàn)有技術(shù)。如果從影響股市來源的額外信息看，它可以被測量和獲取，如社交媒體廣大市民的意見，成交量，市場特定領(lǐng)域的知識(shí)以及政治和經(jīng)濟(jì)因素，它可以與股價(jià)數(shù)據(jù)結(jié)合在一起，實(shí)現(xiàn)更高的股票價(jià)格的預(yù)測。應(yīng)用小范圍的成功，一層神經(jīng)網(wǎng)絡(luò)的股市預(yù)測，并認(rèn)識(shí)到有必要增加更多的信息去做出更好的預(yù)測，表明對(duì)于股市預(yù)測的未來發(fā)展方向是采用組合數(shù)據(jù)的，對(duì)于更強(qiáng)大的模型能夠處理復(fù)雜的，高維數(shù)據(jù)。深度學(xué)習(xí)方法的多元時(shí)間序列符合這一描述，并為金融領(lǐng)域提供了新的興趣方法，對(duì)于深度學(xué)習(xí)共同體的新的挑戰(zhàn)是筆者的知識(shí)還沒有被嘗試法。

大總結(jié)

無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)技術(shù)已成功應(yīng)用于多種領(lǐng)域中。而在深學(xué)習(xí)和無監(jiān)督特征學(xué)習(xí)的已經(jīng)注重在計(jì)算機(jī)視覺領(lǐng)域，本次分享回顧了一些深度學(xué)習(xí)方法對(duì)時(shí)間序列域的成功應(yīng)用。其中一些方法已處理輸入作為靜態(tài)數(shù)據(jù)，但最成功的是那些已經(jīng)修改了的深度學(xué)習(xí)模型去更好地處理時(shí)間序列數(shù)據(jù)。

處理時(shí)間序列數(shù)據(jù)作為靜態(tài)輸入的問題是重要的時(shí)間不被捕獲。建模時(shí)間序列面臨許多作為建模靜態(tài)數(shù)據(jù)一樣的挑戰(zhàn)，如用高維觀測和變量之間非線性關(guān)系的對(duì)應(yīng)，通過簡單忽略時(shí)間和應(yīng)用靜態(tài)數(shù)據(jù)的模式，到時(shí)間序列之一忽略許多豐富結(jié)構(gòu)中存在的數(shù)據(jù)。當(dāng)采用這種方法，當(dāng)前輸入幀的上下文丟失，且唯一時(shí)間的相關(guān)性被捕獲是在輸入規(guī)模之內(nèi)。為了捕捉長期相關(guān)性，輸入規(guī)模已被增加，這可以是不切實(shí)際的多元信號(hào)或如果數(shù)據(jù)具有非常長期相關(guān)性。解決方案是使用一個(gè)模型，結(jié)合時(shí)間相干性，執(zhí)行時(shí)域池化，或隱單位激活的模型序列。

模型的選擇和數(shù)據(jù)應(yīng)該如何被呈現(xiàn)模型高度依賴于數(shù)據(jù)的類型。選擇模型之內(nèi)，有附加的設(shè)計(jì)選擇就連接、結(jié)構(gòu)和超參數(shù)而言。對(duì)于這些原因，盡管許多無監(jiān)督特征學(xué)習(xí)模型對(duì)于當(dāng)前域提供去減輕想出有用特征的用戶，對(duì)于應(yīng)用它們到時(shí)間序列數(shù)據(jù)仍有諸多挑戰(zhàn)。還值得一提的是，許多工作是從輸入數(shù)據(jù)構(gòu)建一個(gè)有用特征，事實(shí)還是從預(yù)處理特征使用輸入數(shù)據(jù)。

深度學(xué)習(xí)方法提供更好的表達(dá)性和分類在眾多的時(shí)間序列問題相比于比較淺的方法，當(dāng)設(shè)置和適當(dāng)訓(xùn)練的時(shí)候。仍有余地，特別是改善學(xué)習(xí)算法對(duì)于時(shí)間序列數(shù)據(jù)，例如在執(zhí)行信號(hào)選擇，在多變量輸入數(shù)據(jù)中處理榮譽(yù)信號(hào)。

另一種可能的未來發(fā)展方向是發(fā)展模型，在學(xué)習(xí)或使用模型平均改變其內(nèi)部結(jié)構(gòu)，為了捕捉短期和長期的時(shí)間相關(guān)性。在這方面還需要進(jìn)一步研究，去發(fā)展時(shí)間序列建模算法，學(xué)習(xí)更好的特征和更容易更快的訓(xùn)練模型。因此，需要較少關(guān)注先前處理流水線對(duì)于特定的時(shí)間序列的問題，更注重學(xué)習(xí)更好特征表達(dá)對(duì)于一個(gè)通用的算法，且對(duì)于其結(jié)構(gòu)化數(shù)據(jù)不管該應(yīng)用程序。