緊跟近些年的趨勢(shì)，2020年深度學(xué)習(xí)依然是發(fā)展最快的領(lǐng)域之一，直奔未來(lái)工作。其發(fā)展是多方面的，而且是多方位的。以下是對(duì)今年發(fā)展中一些突出亮點(diǎn)的梳理與盤(pán)點(diǎn)。

[[374257]]

2020年1月

OpenAI宣布將PyTorch作為其標(biāo)準(zhǔn)的深度學(xué)習(xí)框架

AI研究組織OpenAI宣布PyTorch為其新的標(biāo)準(zhǔn)深度學(xué)習(xí)框架。PyTorch將提高其在GPU上的大規(guī)模研究生產(chǎn)率。在PyTorch的支持下，OpenAI將其生成式建模迭代時(shí)間從幾周縮短到幾天。

2020年3月

(1) Megvii 開(kāi)源深度學(xué)習(xí)AI框架

中國(guó)的初創(chuàng)公司Megvii Technology表示，將把其深度學(xué)習(xí)框架開(kāi)源。MegEngine是Megvii專有AI平臺(tái)Brain++的一部分。它可以在廣泛的范圍內(nèi)訓(xùn)練計(jì)算機(jī)視覺(jué)，并幫助世界各地的開(kāi)發(fā)人員構(gòu)建商業(yè)和工業(yè)用途的AI解決方案。

(2) Keras 2.4.0發(fā)布

新版本清除了關(guān)于tf.keras和獨(dú)立的Keras包之間的不兼容和差異的困惑?，F(xiàn)在，一個(gè)單一的Keras模型--tf.keras--已經(jīng)投入使用。

(3) 華為技術(shù)有限公司開(kāi)源 "Mindspore

華為技術(shù)公司開(kāi)源了MindSpore，這是一個(gè)面向移動(dòng)、邊緣和云場(chǎng)景的深度學(xué)習(xí)訓(xùn)練框架。該框架是輕量級(jí)的，正在給TensorFlow和PyTorch帶來(lái)激烈的競(jìng)爭(zhēng)。

它可以跨設(shè)備擴(kuò)展，并且在自然語(yǔ)言處理(NLP)等功能上使用的代碼減少了20%。它還支持并行訓(xùn)練，節(jié)省不同硬件的訓(xùn)練時(shí)間，并維護(hù)和保存敏感數(shù)據(jù)。

MindSpore本身并不處理任何數(shù)據(jù)，而是只攝取預(yù)處理后的模型和梯度信息，保持模型的魯棒性。

2020年4月

IBM公司的CogMol加速了COVID-19的治療開(kāi)發(fā)

IBM的深度學(xué)習(xí)框架CogMol將幫助研究人員加速治愈COVID-19等傳染病。新框架將解決當(dāng)前 "生成式人工智能模型以創(chuàng)建新型肽、蛋白質(zhì)、候選藥物和材料 "中的挑戰(zhàn)。

2020年6月

(1) ABBYY開(kāi)源NeoML，深度學(xué)習(xí)和算法的框架

ABBYY，宣布推出NeoML。它是一個(gè)用于構(gòu)建、訓(xùn)練和部署ML模型的開(kāi)源庫(kù)。NeoML是一個(gè)跨平臺(tái)的框架。它針對(duì)在云端、桌面和移動(dòng)設(shè)備上運(yùn)行的應(yīng)用進(jìn)行了優(yōu)化，并支持深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法。

ABBYY的工程師使用它來(lái)完成計(jì)算機(jī)視覺(jué)和NLP任務(wù)。這些任務(wù)包括圖像預(yù)處理、分類、OCR、文檔布局分析以及從文檔中提取數(shù)據(jù)，這些文檔可以是結(jié)構(gòu)化的，也可以是非結(jié)構(gòu)化的。

"NeoML為運(yùn)行在任何設(shè)備上的預(yù)訓(xùn)練圖像處理模型提供了15-20%的性能。" 該庫(kù)被設(shè)計(jì)為處理和分析多格式數(shù)據(jù)(視頻、圖像等)的綜合工具。

(2) FINDER發(fā)布

網(wǎng)絡(luò)科學(xué)家多年來(lái)一直在努力解決一個(gè)重要問(wèn)題。他們一直在試圖確定最影響網(wǎng)絡(luò)功能的關(guān)鍵角色或一組最佳節(jié)點(diǎn)。

今年6月，中國(guó)國(guó)防科技大學(xué)、加州大學(xué)洛杉磯分校(UCLA)和哈佛醫(yī)學(xué)院(HMS)的研究人員發(fā)表了一個(gè)名為FINDER(Finding key players in Networks through Deep Reinforcement learning)的深度強(qiáng)化學(xué)習(xí)(DRL)框架。它在一小套合成網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，然后應(yīng)用于真實(shí)世界的場(chǎng)景。該框架可以識(shí)別復(fù)雜網(wǎng)絡(luò)中的關(guān)鍵角色。它發(fā)表在《自然機(jī)器智能》的一篇論文中。

2020年8月

(1) scikit-learn發(fā)布了0.23版本

新版本包括一些新的主要功能，并修復(fù)了上一個(gè)版本中的bug。其主要功能包括：廣義線性模型，以及梯度提升的泊松損失;豐富的估計(jì)器的可視化表示;對(duì)KMeans的可擴(kuò)展性和穩(wěn)定性的改進(jìn);對(duì)基于直方圖的梯度提升估計(jì)器的改進(jìn);對(duì)Lasso和ElasticNet的樣本權(quán)重支持。

2020年9月

亞馬遜出版《深度學(xué)習(xí)分析》《Dive into Deep Learning》一書(shū)

亞馬遜團(tuán)隊(duì)在書(shū)中加入了關(guān)鍵的編程框架。這本書(shū)--Dive into Deep Learning--是通過(guò)Jupyter筆記本起草的，整合了數(shù)學(xué)、文本和可運(yùn)行代碼。它是一個(gè)完全開(kāi)源的實(shí)時(shí)文檔，可觸發(fā)更新為HTML、PDF和筆記本版本。

雖然這本書(shū)最初是為MXNeT編寫(xiě)的，但其作者也將PyTorch和TensorFlow加入其中。

對(duì)于對(duì)深度學(xué)習(xí)感興趣的學(xué)生、開(kāi)發(fā)者和科學(xué)家來(lái)說(shuō)，亞馬遜的這本書(shū)是一個(gè)很好的開(kāi)源資源。

2020年10月

(1) 《自然機(jī)器智能》雜志發(fā)表了一個(gè)突破性的模型

今年10月，來(lái)自維也納理工大學(xué)(TU Wien)、奧地利IST和美國(guó)麻省理工學(xué)院(MIT)的一個(gè)國(guó)際研究團(tuán)隊(duì)公布了一個(gè)新的人工智能系統(tǒng)。這個(gè)新時(shí)代的人工智能系統(tǒng)建立在線蟲(chóng)等微小動(dòng)物的大腦上，只需幾個(gè)人工神經(jīng)元就能控制車(chē)輛。

與以往的深度學(xué)習(xí)模型相比，該方案具有顯著的優(yōu)勢(shì)。遠(yuǎn)離了臭名昭著的 "黑盒子"，它可以處理嘈雜的輸入，并且簡(jiǎn)單易懂。該模型發(fā)表在《自然機(jī)器智能》上。

(2) MIScnn 發(fā)布

MIScnn是一個(gè)開(kāi)源的Python框架，用于卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的醫(yī)學(xué)圖像分割。

它擁有直觀的API，只需幾行代碼就能快速設(shè)置醫(yī)學(xué)圖像分割管道。MIScnn還具有數(shù)據(jù)I/O、預(yù)處理;貼片式分析;數(shù)據(jù)增強(qiáng);度量;具有最先進(jìn)的深度學(xué)習(xí)模型和模型利用的庫(kù);以及自動(dòng)評(píng)估。

(3) TensorFlow 2.3發(fā)布

tf.data解決了輸入管道瓶頸，提高了資源利用率。對(duì)于高級(jí)用戶來(lái)說(shuō)，它的訓(xùn)練速度有所提高。tf.data允許用戶在不同的訓(xùn)練運(yùn)行中重復(fù)使用輸出，從而釋放出額外的CPU時(shí)間。

TF Profiler增加了一個(gè)內(nèi)存剖析器來(lái)可視化模型的內(nèi)存使用情況，以及一個(gè)Python追蹤器來(lái)追蹤模型中的Python函數(shù)調(diào)用。它還提供了對(duì)新的 Keras 預(yù)處理層 API 的實(shí)驗(yàn)性支持。

(4) PyTorch 1.7.0 發(fā)布

它包括許多新的API，包括 "支持NumPy兼容的FFT操作、剖析工具，以及對(duì)分布式數(shù)據(jù)并行(DDP)和基于遠(yuǎn)程過(guò)程調(diào)用(RPC)的分布式訓(xùn)練的重大更新。"

11月及以后

隨著2020年進(jìn)入最后一圈，我們期待更多令人印象深刻的新進(jìn)展出現(xiàn)。

馬克-庫(kù)班曾說(shuō)說(shuō)。"人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)--不管你在做什么，如果你不懂的話，就學(xué)趕緊學(xué)起來(lái)吧。因?yàn)榉駝t你的知識(shí)將在3年內(nèi)成為老古董。"

為深入研究深度學(xué)習(xí)干杯!