[[266258]]

大數(shù)據(jù)文摘出品

作者：李雷、張弛、蔣寶尚

轉(zhuǎn)眼間2019年已經(jīng)過去了快一半，這對(duì)于日新月異的深度學(xué)習(xí)技術(shù)已經(jīng)算是很長一段發(fā)展時(shí)間。Open Data Science在Medium上整理了2019年到現(xiàn)在為止深度學(xué)習(xí)技術(shù)發(fā)布的精華成果，選擇的論文都是在GitHub平臺(tái)上有相關(guān)代碼的論文。文摘菌為大家做了編譯工作，希望大家緊跟時(shí)代的步伐～

用PyTorch Geometric實(shí)現(xiàn)快速圖表示學(xué)習(xí)

這篇論文介紹了PyTorch Geometric，這是一個(gè)基于PyTorch(深度學(xué)習(xí)框架)的非結(jié)構(gòu)化數(shù)據(jù)(如圖形，點(diǎn)云和流形)深度學(xué)習(xí)庫。除了通用圖形數(shù)據(jù)結(jié)構(gòu)和處理方法之外，它還包含關(guān)系學(xué)習(xí)和三維數(shù)據(jù)處理領(lǐng)域的各種***方法。PyTorch Geometric通過利用稀疏GPU加速，提供專用CUDA內(nèi)核以及為不同大小的輸入樣本引入高效小批量處理，從而實(shí)現(xiàn)了高數(shù)據(jù)吞吐量。

GitHub鏈接：https://github.com/rusty1s/pytorch_geometric

蒙版得分R-CNN(Mask Scoring R-CNN)

在大多數(shù)計(jì)算機(jī)視覺的實(shí)例分割任務(wù)中，通常將實(shí)例分類的置信度作為實(shí)例分割框架的蒙版(mask)質(zhì)量分?jǐn)?shù)，這可能會(huì)出現(xiàn)偏差。這篇論文研究了這一問題，并提出了蒙版得分R-CNN(Mask Scoring R-CNN )，即用一個(gè)模塊來學(xué)習(xí)預(yù)測(cè)實(shí)例蒙版的質(zhì)量。蒙版評(píng)分策略校準(zhǔn)了蒙版質(zhì)量和分類評(píng)分之間的差異，并在對(duì)COCO數(shù)據(jù)集的平均準(zhǔn)確度(AP)評(píng)估中優(yōu)先考慮更為準(zhǔn)確的蒙版預(yù)測(cè)來改善實(shí)例分割效果。

GitHub鏈接：https://github.com/zjhuang22/maskscoring_rcnn

如何用更少標(biāo)簽生成高保真圖像

深度生成模型是現(xiàn)代機(jī)器學(xué)習(xí)的基礎(chǔ)。近期關(guān)于條件生成對(duì)抗網(wǎng)絡(luò)(GAN)的研究表明，自然圖像的復(fù)雜高維分布是可以學(xué)習(xí)的。雖然***的模型能夠生成高分辨率、高保真、多樣化的自然圖像，但它們往往依賴于大量標(biāo)記數(shù)據(jù)。本論文展示了如何利用目前關(guān)于自主和半監(jiān)督學(xué)習(xí)的研究，在無監(jiān)督及條件設(shè)定下實(shí)現(xiàn)***水平的ImageNet圖像合成。

GitHub鏈接：https://github.com/google/compare_gan

GCNv2：實(shí)時(shí)SLAM的高效響應(yīng)預(yù)測(cè)

這篇論文介紹了GCNv2，一個(gè)用于生成關(guān)鍵點(diǎn)和描述符的深度學(xué)習(xí)網(wǎng)絡(luò)。GCNv2建立在圖卷積神經(jīng)網(wǎng)絡(luò)GCN之上，GCN是用于訓(xùn)練三維投影幾何的網(wǎng)絡(luò)。GCNv2使用二進(jìn)制描述符向量作為ORB(Oriented FAST and Rotated BRIEF)特征，因此它可以輕松替換ORB-SLAM(一種基于ORB特征的三維即時(shí)定位與地圖構(gòu)建算法)等系統(tǒng)中的ORB。

GitHub鏈接：https://github.com/jiexiong2016/GCNv2_SLAM

ALiPy：Python的主動(dòng)學(xué)習(xí)

監(jiān)督式的機(jī)器學(xué)習(xí)方法通常需要大量標(biāo)記樣本用于模型訓(xùn)練。但是，在許多實(shí)際應(yīng)用中存在大量未標(biāo)記的數(shù)據(jù)，已標(biāo)記數(shù)據(jù)其實(shí)并不多，并且數(shù)據(jù)打標(biāo)的成本很高。主動(dòng)學(xué)習(xí)(AL)通過迭代地選擇最有價(jià)值的數(shù)據(jù)樣本并從標(biāo)注器查詢其標(biāo)簽，從而降低標(biāo)注成本。這篇論文介紹了用于主動(dòng)學(xué)習(xí)的Python 工具庫 ALiPy。

GitHub鏈接：https://github.com/NUAA-AL/ALiPy

DeepFashion2：用于服裝圖像的檢測(cè)，姿勢(shì)判斷，實(shí)例分割和重新識(shí)別的多功能基準(zhǔn)數(shù)據(jù)集

基準(zhǔn)數(shù)據(jù)集DeepFashion提升了人們對(duì)服裝時(shí)尚的理解，它具有豐富的標(biāo)簽，包括服裝類別，標(biāo)記和賣家秀-買家秀圖像。然而，DeepFashion也有不可忽視的問題，例如每副圖像只有單個(gè)服裝類別，標(biāo)記稀疏(僅4~8個(gè))，并且沒有像素蒙版，這些都與現(xiàn)實(shí)場(chǎng)景有著顯著差距。本論文介紹的DeepFashion2解決了上述問題。它是一個(gè)多功能數(shù)據(jù)集，包含四個(gè)功能，服裝檢測(cè)，姿勢(shì)判斷，實(shí)例分割和識(shí)別。

GitHub鏈接：https://github.com/switchablenorms/DeepFashion2

星際爭(zhēng)霸多智能體挑戰(zhàn)賽

在過去幾年中，深層多智能體強(qiáng)化學(xué)習(xí)(RL)一直是一個(gè)非?；钴S的研究領(lǐng)域。這一領(lǐng)域中有非常具有挑戰(zhàn)性的問題，就是局部觀察、局部合作，和多智能體學(xué)習(xí)，在這種學(xué)習(xí)中各智能體必須學(xué)會(huì)基于自己的觀察來與他人協(xié)調(diào)合作。這一研究領(lǐng)域非常吸引人，因?yàn)槠渲袚碛写罅楷F(xiàn)實(shí)世界相關(guān)的場(chǎng)景，并且這些問題比一般匯總問題更適合算法評(píng)估。諸如ALE(街機(jī)游戲模式學(xué)習(xí)環(huán)境)和MuJoCo(物理模擬引擎)之類的標(biāo)準(zhǔn)化環(huán)境使單智能體強(qiáng)化學(xué)習(xí)突破了小型領(lǐng)域，如網(wǎng)格世界。但是，合作式多智能體強(qiáng)化學(xué)習(xí)卻缺乏相應(yīng)的基準(zhǔn)環(huán)境。因此，該領(lǐng)域的大多數(shù)論文都針對(duì)一次性小型問題，難以衡量實(shí)際效用。這篇論文提出的星際爭(zhēng)霸多智能體挑戰(zhàn)賽(SMAC)可以作為填補(bǔ)這一空白的基準(zhǔn)問題。

GitHub鏈接：https://github.com/oxwhirl/smac

Dropout - 隨機(jī)δ規(guī)則特例：更快，更準(zhǔn)確的深度學(xué)習(xí)

多層神經(jīng)網(wǎng)絡(luò)在文本、語音和圖像處理等多種基準(zhǔn)任務(wù)中表現(xiàn)出色。在分層模型中，非線性參數(shù)估計(jì)受到過擬合和誤差的影響。這些估計(jì)及相關(guān)問題(局部最小值，共線性，特征發(fā)現(xiàn)等)的其中一種解決方法就是Dropout。Dropout算法在每次更新之前會(huì)根據(jù)具有先驗(yàn)概率p的Bernoulli隨機(jī)變量暫時(shí)丟棄某些隱藏單元，從而對(duì)平均更新的網(wǎng)絡(luò)產(chǎn)生隨機(jī)“沖擊”。本論文表明Dropout是一個(gè)稱為隨機(jī)δ規(guī)則(SDR)的更為通用模型的特例，這個(gè)模型最早于1990年發(fā)布。

GitHub鏈接：https://github.com/noahfl/sdr-densenet-pytorch

Lingvo：用于序列到序列建模的模塊化可擴(kuò)展框架

Lingvo是一個(gè)Tensorflow框架，為協(xié)作深度學(xué)習(xí)研究提供完整的解決方案，側(cè)重于序列到序列模型。Lingvo模型由模塊化構(gòu)件組成，靈活，易擴(kuò)展，實(shí)驗(yàn)配置集中且高度可定制。它內(nèi)置支持分布式訓(xùn)練和量化推理，附帶大量關(guān)于實(shí)際應(yīng)用，輔助函數(shù)和***研究理念的實(shí)現(xiàn)代碼。在過去兩年中，Lingvo已被數(shù)十名研究人員使用，相關(guān)論文有20多篇。這篇論文概述了Lingvo的底層設(shè)計(jì)，并介紹了框架各個(gè)部分，同時(shí)還提供了高級(jí)功能示例，以展示框架能力。

GitHub鏈接：https://github.com/tensorflow/lingvo

學(xué)習(xí)率動(dòng)態(tài)邊界的自適應(yīng)梯度算法

自適應(yīng)優(yōu)化算法，如AdaGrad，RMSProp和Adam可以用來實(shí)現(xiàn)快速訓(xùn)練過程，且具有學(xué)習(xí)率的元素縮放項(xiàng)。盡管很流行，但與隨機(jī)梯度下降算法SGD相比，它們的泛化能力較差，甚至?xí)捎诓环€(wěn)定或極端的學(xué)習(xí)率而未能收斂。這篇論文證明極端學(xué)習(xí)率會(huì)導(dǎo)致算法表現(xiàn)不佳，并給出了Adam和AMSGrad算法的新變體，分別稱為AdaBound和AMSBound，引入學(xué)習(xí)率的動(dòng)態(tài)邊界，實(shí)現(xiàn)從自適應(yīng)方法到SGD的逐步平滑過渡，并給出收斂的理論證明。作者對(duì)各種流行任務(wù)和模型做了進(jìn)一步的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，新變體可以消除自適應(yīng)方法與SGD之間的泛化差距，同時(shí)在訓(xùn)練早期保持較高的學(xué)習(xí)速度。

GitHub鏈接：https://github.com/Luolc/AdaBound

相關(guān)報(bào)道：

https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)文章，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文