這篇文章回顧了幾個(gè)最新的基于TCN的解決方案。

我們首先介紹運(yùn)動(dòng)檢測(cè)的案例研究，并簡(jiǎn)要回顧一下TCN架構(gòu)及其相對(duì)于傳統(tǒng)方法(如卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN))的優(yōu)勢(shì)。然后介紹了TCN的幾個(gè)新穎應(yīng)用，包括改善交通預(yù)測(cè)，聲音事件定位和檢測(cè)以及概率預(yù)測(cè)。

TCN簡(jiǎn)要回顧

Lea等人的開創(chuàng)性工作。(2016)首先提出了基于視頻的動(dòng)作分割的時(shí)間卷積網(wǎng)絡(luò)(TCN)。此常規(guī)過程的兩個(gè)步驟包括：首先，使用(通常)對(duì)時(shí)空信息進(jìn)行編碼的CNN來計(jì)算低級(jí)特征，其次，將這些低級(jí)特征輸入到使用(通常是)捕獲高級(jí)時(shí)域信息的分類器中)RNN。這種方法的主要缺點(diǎn)是需要兩個(gè)單獨(dú)的模型。 TCN提供了一種統(tǒng)一的方法來分層捕獲所有兩個(gè)級(jí)別的信息。

編碼器-解碼器框架如圖1所示，其中有關(guān)體系結(jié)構(gòu)的更多信息可以在前兩個(gè)參考文獻(xiàn)中找到(在文章末尾)。提供了最關(guān)鍵的問題，如下所示：TCN可以采用一系列任意長度并將其輸出為相同長度。在使用一維完全卷積網(wǎng)絡(luò)體系結(jié)構(gòu)的情況下，使用因果卷積。一個(gè)關(guān)鍵特征是，時(shí)間t的輸出 僅與t之前發(fā)生的元素卷積 。

隨著Yan等人最近發(fā)表的研究成果，圍繞TCN的話題甚至傳到了《自然》雜志上。(2020)在TCN上進(jìn)行天氣預(yù)報(bào)任務(wù)。在他們的工作中，使用TCN和LSTM進(jìn)行了對(duì)比實(shí)驗(yàn)。他們的結(jié)果之一是，除其他方法外，TCN在使用時(shí)序數(shù)據(jù)的預(yù)測(cè)任務(wù)中表現(xiàn)出色。

下一部分提供了此經(jīng)典TCN的實(shí)現(xiàn)和擴(kuò)展。

改善流量預(yù)測(cè)

拼車和在線導(dǎo)航服務(wù)可以改善交通預(yù)測(cè)效果并改變?nèi)藗兊某鲂蟹绞健Ｍㄟ^更好的交通預(yù)測(cè)可以實(shí)現(xiàn)更少的交通擁堵，更少的污染，安全和快速的駕駛等。由于這是實(shí)時(shí)數(shù)據(jù)驅(qū)動(dòng)的問題，因此有必要利用即將到來的流量的累積數(shù)據(jù)。基于此，Dai等人最近(2020)提出了一種混合時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(H-STGCN)?？傮w思路是利用分段襯里流量密度關(guān)系的優(yōu)勢(shì)，并將即將來臨的交通量轉(zhuǎn)換為等效的行進(jìn)時(shí)間。他們?cè)谶@項(xiàng)工作中使用的最有趣的方法之一是圖卷積以捕獲空間依賴性。復(fù)合鄰接矩陣捕獲流量近似的固有特征(更多信息，請(qǐng)參見Li，2017)。在以下架構(gòu)中，提出了四個(gè)模塊來描述整個(gè)預(yù)測(cè)過程。

聲音事件定位和檢測(cè)

聲音事件定位和檢測(cè)(SELD)的領(lǐng)域在不斷增長。對(duì)環(huán)境的了解在自主導(dǎo)航中起著至關(guān)重要的作用。Guirguis等最近(2020)提出了一種聲音事件SELD-TCN的新穎架構(gòu)。他們聲稱，他們的框架在現(xiàn)場(chǎng)培訓(xùn)方面比當(dāng)前最先進(jìn)的技術(shù)領(lǐng)先。在他們的SELDnet(以下結(jié)構(gòu))中，以44.1 kHz采樣的多聲道音頻記錄通過應(yīng)用短時(shí)傅立葉變換提取頻譜的相位和幅度，并將其堆疊為單獨(dú)的輸入特征。然后，連接卷積塊和循環(huán)塊(雙向GRU)，然后連接完全連接的塊。SELDnet的輸出是聲音事件檢測(cè)(SED)和到達(dá)方向(DOA)。

為了超越它，他們提出了SELD-TCN：

由于擴(kuò)張的卷積使網(wǎng)絡(luò)能夠處理各種輸入，因此可能需要更深入的網(wǎng)絡(luò)(在反向傳播期間，網(wǎng)絡(luò)會(huì)受到不穩(wěn)定梯度的影響)。他們通過適應(yīng)WaveNet(Dario et al。，2017)架構(gòu)克服了這一挑戰(zhàn)。他們表明SELD任務(wù)不需要循環(huán)層，并成功檢測(cè)到活動(dòng)聲音事件的開始和結(jié)束時(shí)間。

概率預(yù)測(cè)

由Chen等人設(shè)計(jì)的新穎框架(2020)可用于估計(jì)概率密度。時(shí)間序列預(yù)測(cè)改善了許多業(yè)務(wù)決策方案(例如，資源管理)。概率預(yù)測(cè)可以從歷史數(shù)據(jù)中提取信息，并最大限度地減少未來事件的不確定性。當(dāng)預(yù)測(cè)任務(wù)是預(yù)測(cè)數(shù)以百萬計(jì)的相關(guān)數(shù)據(jù)系列時(shí)(如在零售業(yè)務(wù)中)，它需要大量的勞動(dòng)力和計(jì)算資源來進(jìn)行參數(shù)估計(jì)。為了解決這些困難，他們提出了基于CNN的密度估計(jì)和預(yù)測(cè)框架。他們的框架可以學(xué)習(xí)系列之間的潛在關(guān)聯(lián)。他們的工作中的新穎之處在于他們提出的深層TCN，如其體系結(jié)構(gòu)所示：

編碼器-解碼器模塊解決方案可能有助于實(shí)際的大規(guī)模應(yīng)用設(shè)計(jì)。