2019中國(guó)人工智能產(chǎn)業(yè)年會(huì)重磅發(fā)布《2019人工智能發(fā)展報(bào)告》（Report of Artificial Intelligence Development 2019）。唐杰教授代表報(bào)告編寫相關(guān)單位就《2019人工智能發(fā)展報(bào)告》主要內(nèi)容進(jìn)行了介紹。報(bào)告力圖綜合展現(xiàn)中國(guó)乃至全球人工智能重點(diǎn)領(lǐng)域發(fā)展現(xiàn)狀與趨勢(shì)，助力產(chǎn)業(yè)健康發(fā)展，服務(wù)國(guó)家戰(zhàn)略決策。

報(bào)告概要視頻報(bào)告依托于AMiner平臺(tái)數(shù)據(jù)資源及技術(shù)挖掘成果生成相關(guān)數(shù)據(jù)報(bào)告及圖表，邀請(qǐng)清華大學(xué)、同濟(jì)大學(xué)等高校專家解讀核心技術(shù)及提出觀點(diǎn)建議，在一定程度上保證了報(bào)告的科學(xué)性和權(quán)威性。

報(bào)告涉及AI 13個(gè)子領(lǐng)域

內(nèi)容涵蓋了人工智能13個(gè)子領(lǐng)域，包括：機(jī)器學(xué)習(xí)、知識(shí)工程、計(jì)算機(jī)視覺、自然語(yǔ)言處理、語(yǔ)音識(shí)別、計(jì)算機(jī)圖形學(xué)、多媒體技術(shù)、人機(jī)交互、機(jī)器人、數(shù)據(jù)庫(kù)技術(shù)、可視化、數(shù)據(jù)挖掘、信息檢索與推薦。

報(bào)告基本框架如上圖所示，包括領(lǐng)域概念闡釋、發(fā)展歷史梳理、人才概括、關(guān)鍵論文解讀以及相應(yīng)領(lǐng)域的前沿進(jìn)展。

1、報(bào)告呈現(xiàn)兩大亮點(diǎn)

唐杰教授介紹，“該報(bào)告對(duì)人工智能每一個(gè)子領(lǐng)域進(jìn)行了詳細(xì)的分析，包括基本概念、發(fā)展歷史、人才概況、代表性論文解讀和前沿技術(shù)進(jìn)展。相比于2018年的人工智能發(fā)展報(bào)告，具有兩方面亮點(diǎn)，一方面體現(xiàn)在「AI技術(shù)的近期發(fā)展」，另一方面體現(xiàn)在「人才脈絡(luò)一網(wǎng)打盡」。亮點(diǎn)一：AI技術(shù)的近期發(fā)展唐杰教授以 “深度學(xué)習(xí)”為例做了詳細(xì)闡述。深度學(xué)習(xí)是近10年機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展最快的一個(gè)分支，由于其重要性，Geoffrey Hinton、Yann Lecun、Yoshua Bengio 三位教授因此同獲2018年圖靈獎(jiǎng)。深度學(xué)習(xí)模型的發(fā)展可以追溯到1958年的感知機(jī)（Perceptron）。1943年神經(jīng)網(wǎng)絡(luò)就已經(jīng)出現(xiàn)雛形（源自NeuroScience），1958年研究認(rèn)知的心理學(xué)家Frank發(fā)明了感知機(jī)，當(dāng)時(shí)掀起一股熱潮。后來(lái)Marvin Minsky（人工智能大師）和Seymour Papert發(fā)現(xiàn)感知機(jī)的缺陷：不能處理異或回路等非線性問題，以及當(dāng)時(shí)存在計(jì)算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)的問題，于是整個(gè)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入停滯期。最近30年來(lái)深度學(xué)習(xí)取得了快速發(fā)展?！?019人工智能發(fā)展報(bào)告》羅列了深度學(xué)習(xí)的四個(gè)主要脈絡(luò)，最上層是卷積網(wǎng)絡(luò)，中間層是無(wú)監(jiān)督學(xué)習(xí)脈絡(luò)，再下面一層是序列深度模型發(fā)展脈絡(luò)，最底層是增強(qiáng)學(xué)習(xí)發(fā)展脈絡(luò)。這四條脈絡(luò)全面展示了“深度學(xué)習(xí)技術(shù)”的發(fā)展近況。

深度學(xué)習(xí)模型最近若干年的重要進(jìn)展第一個(gè)發(fā)展脈絡(luò)（上圖淺紫色區(qū)域）以計(jì)算機(jī)視覺和卷積網(wǎng)絡(luò)為主。這個(gè)脈絡(luò)的進(jìn)展可以追溯到1979年，F(xiàn)ukushima 提出的Neocognitron。該研究給出了卷積和池化的思想。1986年Hinton提出的反向傳播訓(xùn)練MLP（之前也有幾個(gè)類似的研究），該研究解決了感知機(jī)不能處理非線性學(xué)習(xí)的問題。1998年，以Yann LeCun為首的研究人員實(shí)現(xiàn)了一個(gè)七層的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5以識(shí)別手寫數(shù)字?，F(xiàn)在普遍把Yann LeCun的這個(gè)研究作為卷積網(wǎng)絡(luò)的源頭，但其實(shí)在當(dāng)時(shí)由于SVM的迅速崛起，這些神經(jīng)網(wǎng)絡(luò)的方法還沒有引起廣泛關(guān)注。真正使得卷積神經(jīng)網(wǎng)絡(luò)登上大雅之堂的事件是2012年Hinton組的AlexNet（一個(gè)設(shè)計(jì)精巧的CNN）在ImageNet上以巨大優(yōu)勢(shì)奪冠，這引發(fā)了深度學(xué)習(xí)的熱潮。

AlexNet在傳統(tǒng)CNN的基礎(chǔ)上加上了ReLU、Dropout等技巧，并且網(wǎng)絡(luò)規(guī)模更大。這些技巧后來(lái)被證明非常有用，成為卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)配，被廣泛發(fā)展，于是后來(lái)出現(xiàn)了VGG、GoogLenet等新模型。2016年，青年計(jì)算機(jī)視覺科學(xué)家何愷明在層次之間加入跳躍連接，提出殘差網(wǎng)絡(luò)ResNet。ResNet極大增加了網(wǎng)絡(luò)深度，效果有很大提升。一個(gè)將這個(gè)思路繼續(xù)發(fā)展下去的是近年的CVPR Best Paper中黃高提出的DenseNet。在計(jì)算機(jī)視覺領(lǐng)域的特定任務(wù)出現(xiàn)了各種各樣的模型（Mask-RCNN等）。2017年，Hinton認(rèn)為反向傳播和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)還存在一定缺陷，因此提出Capsule Net，該模型增強(qiáng)了可解釋性，但目前在CIFAR等數(shù)據(jù)集上效果一般，這個(gè)思路還需要繼續(xù)驗(yàn)證和發(fā)展。第二個(gè)發(fā)展脈絡(luò)（上圖淺綠色區(qū)域）以生成模型為主。傳統(tǒng)的生成模型是要預(yù)測(cè)聯(lián)合概率分布P（x， y）。機(jī)器學(xué)習(xí)方法中生成模型一直占據(jù)著一個(gè)非常重要的地位，但基于神經(jīng)網(wǎng)絡(luò)的生成模型一直沒有引起廣泛關(guān)注。Hinton在2006年的時(shí)候基于受限玻爾茲曼機(jī)（RBM，一個(gè)19世紀(jì)80年代左右提出的基于無(wú)向圖模型的能量物理模型）設(shè)計(jì)了一個(gè)機(jī)器學(xué)習(xí)的生成模型，并且將其堆疊成為Deep Belief Network，使用逐層貪婪或者wake-sleep的方法訓(xùn)練，當(dāng)時(shí)模型的效果其實(shí)并沒有那么好。但值得關(guān)注的是，正是基于RBM模型Hinton等人開始設(shè)計(jì)深度框架，因此這也可以看做深度學(xué)習(xí)的一個(gè)開端。

Auto-Encoder也是上個(gè)世紀(jì)80年代Hinton就提出的模型，后來(lái)隨著計(jì)算能力的進(jìn)步也重新登上舞臺(tái)。Bengio等人又提出了Denoise Auto-Encoder，主要針對(duì)數(shù)據(jù)中可能存在的噪音問題。Max Welling（這也是變分和概率圖模型的高手）等人后來(lái)使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個(gè)有一層隱變量的圖模型，由于使用了變分推斷，并且最后長(zhǎng)得跟Auto-Encoder有點(diǎn)像，被稱為Variational Auto-Encoder。此模型中可以通過隱變量的分布采樣，經(jīng)過后面的Decoder網(wǎng)絡(luò)直接生成樣本。生成對(duì)抗模型GAN（Generative Adversarial Network）是2014年提出的非?；鸬哪Ｐ停且粋€(gè)通過判別器和生成器進(jìn)行對(duì)抗訓(xùn)練的生成模型，這個(gè)思路很有特色，模型直接使用神經(jīng)網(wǎng)絡(luò)G隱式建模樣本整體的概率分布，每次運(yùn)行相當(dāng)于從分布中采樣。后來(lái)引起大量跟隨的研究，包括：DCGAN是一個(gè)相當(dāng)好的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，WGAN是通過維爾斯特拉斯距離替換原來(lái)的JS散度來(lái)度量分布之間的相似性的工作，使得訓(xùn)練穩(wěn)定。

PGGAN逐層增大網(wǎng)絡(luò)，生成逼真的人臉。第三個(gè)發(fā)展脈絡(luò)（上圖橙黃色區(qū)域）是序列模型。序列模型不是因?yàn)樯疃葘W(xué)習(xí)才有的，而是很早以前就有相關(guān)研究，例如有向圖模型中的隱馬爾科夫HMM以及無(wú)向圖模型中的條件隨機(jī)場(chǎng)模型CRF都是非常成功的序列模型。即使在神經(jīng)網(wǎng)絡(luò)模型中，1982年就提出了Hopfield Network，即在神經(jīng)網(wǎng)絡(luò)中加入了遞歸網(wǎng)絡(luò)的思想。1997年Jürgen Schmidhuber發(fā)明了長(zhǎng)短期記憶模型LSTM（Long-Short Term Memory），這是一個(gè)里程碑式的工作。當(dāng)然，真正讓序列神經(jīng)網(wǎng)絡(luò)模型得到廣泛關(guān)注的還是2013年Hinton組使用RNN做語(yǔ)音識(shí)別的工作，比傳統(tǒng)方法高出一大截。

在文本分析方面，另一個(gè)圖靈獎(jiǎng)獲得者Yoshua Bengio在SVM很火的時(shí)期提出了一種基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型（當(dāng)然當(dāng)時(shí)機(jī)器學(xué)習(xí)還是SVM和CRF的天下），后來(lái)Google提出的word2vec（2013）也有一些反向傳播的思想，最重要的是給出了一個(gè)非常高效的實(shí)現(xiàn)，從而引發(fā)這方面研究的熱潮。后來(lái)，在機(jī)器翻譯等任務(wù)上逐漸出現(xiàn)了以RNN為基礎(chǔ)的seq2seq模型，通過一個(gè)Encoder把一句話的語(yǔ)義信息壓成向量再通過Decoder轉(zhuǎn)換輸出得到這句話的翻譯結(jié)果，后來(lái)該方法被擴(kuò)展到和注意力機(jī)制（Attention）相結(jié)合，也大大擴(kuò)展了模型的表示能力和實(shí)際效果。再后來(lái)，大家發(fā)現(xiàn)使用以字符為單位的CNN模型在很多語(yǔ)言任務(wù)也有不俗的表現(xiàn)，而且時(shí)空消耗更少。Self-attention實(shí)際上就是采取一種結(jié)構(gòu)去同時(shí)考慮同一序列局部和全局的信息，Google有一篇很有名的文章“attention is all you need”把基于Attention的序列神經(jīng)模型推向高潮。當(dāng)然2019年ACL上同樣有另一篇文章給這一研究也稍微降了降溫。第四個(gè)發(fā)展脈絡(luò)（上圖粉色區(qū)域）是增強(qiáng)學(xué)習(xí)。這個(gè)領(lǐng)域最出名的當(dāng)屬Deep Mind，圖中標(biāo)出的David Silver博士是一直研究RL的高管。Q-learning是很有名的傳統(tǒng)RL算法，Deep Q-learning將原來(lái)的Q值表用神經(jīng)網(wǎng)絡(luò)代替，做了一個(gè)打磚塊的任務(wù)。后來(lái)又應(yīng)用在許多游戲場(chǎng)景中，并將其成果發(fā)表在Nature上。Double Dueling對(duì)這個(gè)思路進(jìn)行了一些擴(kuò)展，主要是Q-Learning的權(quán)重更新時(shí)序上。DeepMind的其他工作如DDPG、A3C也非常有名，它們是基于Policy Gradient和神經(jīng)網(wǎng)絡(luò)結(jié)合的變種。大家都熟知的AlphaGo，里面其實(shí)既用了RL的方法也有傳統(tǒng)的蒙特卡洛搜索技巧。Deep Mind后來(lái)提出了一個(gè)使用AlphaGo的框架，但通過主學(xué)習(xí)來(lái)玩不同（棋類）游戲的新算法Alpha Zero。唐杰教授表示：“報(bào)告還展示了近一兩年深度學(xué)習(xí)的發(fā)展熱點(diǎn)，比如去年谷歌Bert一經(jīng)發(fā)布，就引起了整個(gè)產(chǎn)業(yè)界和學(xué)術(shù)界的轟動(dòng)，或?qū)⒂绊懮疃葘W(xué)習(xí)乃至整個(gè)機(jī)器學(xué)習(xí)的未來(lái)。報(bào)告對(duì)Bert的相關(guān)研究進(jìn)行了詳細(xì)梳理，無(wú)論是最新還是最經(jīng)典的研究都進(jìn)行了整理，可以讓讀者從相關(guān)研究中窺見未來(lái)。”

通過AMiner可生成趨勢(shì)分析

亮點(diǎn)一還體現(xiàn)在詳細(xì)的知識(shí)圖譜中。

唐杰教授指出，“每一個(gè)領(lǐng)域都有豐富的知識(shí)圖譜架構(gòu)，從知識(shí)圖譜可以一覽整個(gè)領(lǐng)域的發(fā)展脈絡(luò)。同時(shí)，通過這樣的知識(shí)圖譜還可以進(jìn)一步開展包含主題分析、熱點(diǎn)話題分析等多層次的趨勢(shì)分析、趨勢(shì)洞察等”。

亮點(diǎn)二：人才脈絡(luò)一網(wǎng)打盡唐杰教授做了簡(jiǎn)單分析。報(bào)告通過對(duì)人工智能頂級(jí)期刊/會(huì)議近10年論文及相關(guān)學(xué)者數(shù)據(jù)的深度挖掘分析，研究了各領(lǐng)域?qū)W者在世界及我國(guó)的分布規(guī)律。

同時(shí)，報(bào)告進(jìn)一步統(tǒng)計(jì)分析了各領(lǐng)域?qū)W者性別比例、h-index分布以及中國(guó)在各領(lǐng)域的合作情況，通過統(tǒng)計(jì)中外合作論文中作者的單位信息，將作者映射到各個(gè)國(guó)家中，進(jìn)而統(tǒng)計(jì)出中國(guó)與各國(guó)之間合作論文的情況。

唐杰教授介紹說，“我們還開發(fā)了人才精準(zhǔn)畫像和超大規(guī)模知識(shí)圖譜，通過數(shù)據(jù)挖掘，首先找到作者，對(duì)每一個(gè)作者進(jìn)行深度的人才畫像，不僅能看到每一個(gè)學(xué)者的聯(lián)系方式、職位、單位信息，還有職位變遷、興趣變化等等。”

另一方面，通過對(duì)學(xué)者的精準(zhǔn)畫像，針對(duì)每一個(gè)領(lǐng)域的專家全球分布圖和國(guó)內(nèi)分布圖可以進(jìn)行國(guó)內(nèi)外對(duì)比分析，甚至可以開展人才流失分析，比如分析一個(gè)國(guó)家人才引進(jìn)和人才流出的情況是盈利還是虧損等。

最后，唐杰教授對(duì)報(bào)告撰寫的數(shù)據(jù)支持平臺(tái)AMiner進(jìn)行了介紹。AMiner系統(tǒng)自2006年上線以來(lái)已經(jīng)運(yùn)行了十多年，它是一個(gè)知識(shí)驅(qū)動(dòng)科技情報(bào)挖掘平臺(tái)，包含超過三億篇論文和一億多科研人員數(shù)據(jù)，能夠提供包括專家發(fā)現(xiàn)、智能推薦、機(jī)構(gòu)評(píng)估、人才地圖和科技趨勢(shì)分析等多種服務(wù)。AMiner平臺(tái)諸多功能已在科技部、教育部、北京市科委、自然基金委等多家單位應(yīng)用，希望AMiner平臺(tái)未來(lái)能有更多方面的應(yīng)用前景。

2、為智能產(chǎn)業(yè)發(fā)展助力獻(xiàn)策當(dāng)前，我國(guó)進(jìn)入科技高速發(fā)展期，人工智能作為科技領(lǐng)域冉冉升起的新星，受到國(guó)家的高度重視。在多層次戰(zhàn)略規(guī)劃的指導(dǎo)下，無(wú)論是學(xué)術(shù)界還是產(chǎn)業(yè)界，我國(guó)在人工智能國(guó)際同行中均有不錯(cuò)的表現(xiàn)。我國(guó)人工智能的發(fā)展已駛?cè)肟燔嚨?。在這個(gè)階段下，能夠推動(dòng)技術(shù)突破和創(chuàng)造性應(yīng)用的高端人才對(duì)人工智能的發(fā)展起著至關(guān)重要的作用。

此次發(fā)布的《2019人工智能發(fā)展報(bào)告》，通過深入探討研究方法，對(duì)近年來(lái)的熱點(diǎn)及前沿技術(shù)進(jìn)行了深度解讀，展現(xiàn)最新研究成果，內(nèi)容在聚焦當(dāng)下人工智能發(fā)展現(xiàn)狀的同時(shí)，并作出技術(shù)性分析，更對(duì)相關(guān)領(lǐng)域的未來(lái)發(fā)展方向進(jìn)行了展望，為讀者了解近期人工智能相關(guān)領(lǐng)域的發(fā)展動(dòng)向、基礎(chǔ)及應(yīng)用研究的代表性成果提供信息窗口。該報(bào)告是集嚴(yán)謹(jǐn)性、綜合性、技術(shù)性、前瞻性為一體的專業(yè)領(lǐng)域報(bào)告，具有極高的學(xué)術(shù)價(jià)值和參考價(jià)值。不僅有利于推進(jìn)我國(guó)人工智能的研究探索，同時(shí)還對(duì)國(guó)家洞悉人工智能發(fā)展態(tài)勢(shì)、實(shí)施人工智能發(fā)展策略起到重要參考借鑒。