年度指數(shù)報(bào)告發(fā)現(xiàn)人工智能正在“產(chǎn)業(yè)化”但需要更好的指標(biāo)和測試
據(jù)外媒VentureBeat報(bào)道,中國在人工智能研究論文總數(shù)上已經(jīng)超過了美國,獲得資金的人工智能初創(chuàng)公司越來越少,美國國會(huì)比以往任何時(shí)候都更多地談?wù)撊斯ぶ悄堋?/strong>這是斯坦福大學(xué)上周發(fā)布的年度報(bào)告《2021年人工智能指數(shù)報(bào)告》中強(qiáng)調(diào)的三大趨勢。該報(bào)告試圖記錄人工智能的進(jìn)展,以及該技術(shù)對教育、創(chuàng)業(yè)公司和政府政策的影響。報(bào)告詳細(xì)介紹了人工智能主要子領(lǐng)域的性能進(jìn)展,如深度學(xué)習(xí)、圖像識(shí)別和物體檢測,以及蛋白質(zhì)折疊等領(lǐng)域。
《人工智能指數(shù)報(bào)告》由斯坦福大學(xué)以人為中心的人工智能研究所和一個(gè)由11名成員組成的指導(dǎo)委員會(huì)編制,貢獻(xiàn)者來自哈佛大學(xué)、經(jīng)合組織、AI伙伴關(guān)系和SRI國際。該報(bào)告利用了一系列來源的數(shù)據(jù)集,比如arXiv的AI研究數(shù)據(jù),Crunchbase的資金數(shù)據(jù),以及對Black in AI和Queer in AI等團(tuán)體的調(diào)查。經(jīng)合組織一個(gè)研究算法影響評(píng)估的小組負(fù)責(zé)人、OpenAI的前政策總監(jiān)Jack Clark表示,報(bào)告中還發(fā)現(xiàn)的一個(gè)主要趨勢是人工智能的產(chǎn)業(yè)化。
“我認(rèn)為對我來說,這個(gè)故事是人工智能正在產(chǎn)業(yè)化,而我們不太知道如何全面評(píng)估它的產(chǎn)業(yè)化,因?yàn)槲覀冇悬c(diǎn)缺乏很多你所期望的數(shù)據(jù)。而我認(rèn)為這是因?yàn)槿斯ぶ悄軇倓倧? ‘不能用’到‘能很好地進(jìn)行商業(yè)部署’的速度比你想象的要快。這意味著......每個(gè)人都在比賽,包括研究界,以跟上商業(yè)部署的步伐,”他說。
報(bào)告中的其他主要啟示:
- 根據(jù)LinkedIn提供的數(shù)據(jù),巴西、印度、加拿大、新加坡和南非從2016年到2020年的AI招聘水平最高。
- 2020年,全球總投資,如私人投資和并購,增長了40%。但連續(xù)第三年,AI創(chuàng)業(yè)公司的資金流向的創(chuàng)業(yè)公司越來越少。
- 2019年,在北美,每3個(gè)擁有人工智能博士學(xué)位的畢業(yè)生中,約有2個(gè)進(jìn)入了工業(yè)領(lǐng)域,高于2010年的44%。
- 大多數(shù)人工智能博士畢業(yè)生來自美國以外的地方,每5個(gè)畢業(yè)生中就有4個(gè)畢業(yè)后留在美國。
- 對50萬個(gè)博客和6萬條英文新聞進(jìn)行的新聞分析發(fā)現(xiàn),人工智能倫理故事是2020年最受歡迎的人工智能相關(guān)新聞之一,包括谷歌解雇Timnit Gebru以及歐盟委員會(huì)、聯(lián)合國和梵蒂岡推出的倫理倡議等話題的報(bào)道。
- 2020年,主要人工智能研究會(huì)議的出席率翻了一番,因?yàn)榇蠖鄶?shù)團(tuán)體選擇舉行虛擬聚會(huì)。
- 根據(jù)2020年計(jì)算研究協(xié)會(huì)的調(diào)查,女性占AI博士畢業(yè)生的18%。
- 中國在論文總數(shù)上超過了美國,但美國在AI研究會(huì)議上的引用量延續(xù)了20年的領(lǐng)先優(yōu)勢。
- 根據(jù)GitHub Stars的總數(shù),TensorFlow是最受歡迎的AI軟件庫,其次是Keras和PyTorch。
- arXiv上的AI相關(guān)論文從2015年的大約5500篇增長到2020年的近35000篇。
- Queer in AI 2020成員調(diào)查發(fā)現(xiàn),大約有一半的受訪者經(jīng)歷過騷擾或歧視,遇到過圍繞包容性的問題。
- 學(xué)術(shù)研究人員在全球范圍內(nèi)發(fā)表的論文總數(shù)領(lǐng)先。但在美國,企業(yè)研究排名第二,而政府研究在歐洲和中國排名第二。
- 從2004年到2019年,卡內(nèi)基梅隆大學(xué)(16人)、佐治亞理工學(xué)院(14人)和華盛頓大學(xué)(12人)流失到工業(yè)界的教員人數(shù)最多。
報(bào)告中專門介紹技術(shù)挑戰(zhàn)進(jìn)展的部分突出了計(jì)算機(jī)視覺系統(tǒng)和語言模型的進(jìn)展,以及用于藥物發(fā)現(xiàn)或有效化學(xué)和分子合成等任務(wù)的人工智能。
人工智能指數(shù)報(bào)告顯示了可用于監(jiān)控的AI系統(tǒng)的進(jìn)展,比如物體檢測系統(tǒng)YOLO。VoxCeleb也取得了相當(dāng)大的進(jìn)展,它衡量了從包含6000人的數(shù)據(jù)集中識(shí)別聲音的能力。AI指數(shù)圖表顯示,2017年平等錯(cuò)誤率約為8%,到2020年下降到1%以下。
“這個(gè)指標(biāo)告訴我們,人工智能系統(tǒng)的平等錯(cuò)誤率已經(jīng)從8%下降到了0.5%左右,這告訴你,這種能力將在全球范圍內(nèi)悄然部署?!盋lark說。
一個(gè)技術(shù)進(jìn)步專家小組將AlphaFold預(yù)測蛋白質(zhì)如何折疊的能力和GPT-3作為2020年最受關(guān)注的兩個(gè)AI系統(tǒng)。雖然AI Index承認(rèn)GPT-3取得的學(xué)習(xí)成果很少,但它引用了前Ethical AI團(tuán)隊(duì)聯(lián)合負(fù)責(zé)人Timnit Gebru等人的一篇論文,對大型語言模型及其延續(xù)偏見的能力進(jìn)行了批判。它還提到了OpenAI和斯坦福大學(xué)上個(gè)月發(fā)表的一篇論文,認(rèn)為需要在為時(shí)已晚之前解決大型語言模型的社會(huì)影響。在2019年接受VentureBeat采訪時(shí),AI Index創(chuàng)始人Yoav Shoham對根據(jù)有限任務(wù)的表現(xiàn)來判斷語言模型的價(jià)值表示懷疑。
VentureBeat對指數(shù)中提到的這兩篇研究報(bào)告進(jìn)行了廣泛的報(bào)道。VentureBeat報(bào)道過的其他被引用的報(bào)告還包括麥肯錫的《人工智能現(xiàn)狀》報(bào)告,該報(bào)告發(fā)現(xiàn),在應(yīng)對部署人工智能的相關(guān)風(fēng)險(xiǎn)方面,企業(yè)領(lǐng)導(dǎo)者進(jìn)展甚微。另一份報(bào)告則對深度學(xué)習(xí)時(shí)代人工智能的去民主化提出了警告,共同作者表示,這可能會(huì)使不平等現(xiàn)象長期存在。
人工智能指數(shù)報(bào)告包括呼吁在計(jì)算機(jī)視覺、倫理學(xué)和NLP領(lǐng)域進(jìn)行更多的基準(zhǔn)和測試。正如GLUE和SuperGLUE等基準(zhǔn)所證明的那樣,Clark說:“我們正在用完測試,因?yàn)槲覀兛梢越⑺鼈兊乃俣??!眲?chuàng)建新的基準(zhǔn)和測試也是一個(gè)機(jī)會(huì),使衡量標(biāo)準(zhǔn)能夠反映人們的價(jià)值觀,并衡量解決宏大挑戰(zhàn)的進(jìn)展,如砍伐森林。
“我認(rèn)為在一個(gè)空間中獲得整體問責(zé)制的方法之一是擁有相同的測試,你將所有的東西都與之相對應(yīng),或者是同一套測試。而在我們擁有這一點(diǎn)之前,談?wù)撨@些系統(tǒng)中的偏見和其他道德問題將是非常模糊的,我認(rèn)為這只會(huì)阻礙我們作為一個(gè)社區(qū),同時(shí)也讓那些想要假裝這些問題不存在的人更容易繼續(xù)假裝他們不存在或不提這些問題,”他說。
前幾年,人工智能指數(shù)擴(kuò)大了范圍,納入了arXiv監(jiān)測器等工具,用于搜索預(yù)印本論文。AI指數(shù)的全球活力工具,提供國家AI計(jì)劃之間的比較,現(xiàn)在適用于23個(gè)類別的26個(gè)國家。
今年,報(bào)告刪除了與自動(dòng)駕駛汽車進(jìn)展相關(guān)的數(shù)據(jù),而Clark表示,由于缺乏數(shù)據(jù),報(bào)告中并沒有包括完全自主武器的信息。