人工智能即將改變社會(huì)。各個(gè)領(lǐng)域的決策者們正在努力應(yīng)對(duì)人工智能帶來(lái)的機(jī)遇和威脅，無(wú)論是在私營(yíng)企業(yè)、學(xué)術(shù)界還是在國(guó)家和國(guó)際層面的政府。要應(yīng)對(duì)這種局面，就需要對(duì)人工智能的進(jìn)展和影響如何展開(kāi)做出判斷。

人工智能專家對(duì)人工智能的未來(lái)并沒(méi)有明顯的共識(shí)，這些判斷很困難，而且沒(méi)有確定的方法能夠做得很好。因此我們必須結(jié)合各種有噪聲的方法，比如推斷進(jìn)展趨勢(shì)，根據(jù)類似事件的參考類別進(jìn)行推理，分析代理的本質(zhì)，探索當(dāng)前人工智能系統(tǒng)和技術(shù)的特點(diǎn)，將經(jīng)濟(jì)模型應(yīng)用于人工智能場(chǎng)景，以及依賴于預(yù)測(cè)聚合系統(tǒng)，如市場(chǎng)，專業(yè)預(yù)測(cè)者和各種主題專家的判斷。

AI的進(jìn)展速度、影響范圍、安全性、公平性、道德性等，這些問(wèn)題需要我們認(rèn)真地思考和應(yīng)對(duì)。人工智能的未來(lái)會(huì)是怎樣的呢？我們應(yīng)該如何看待人工智能的機(jī)遇和威脅呢？我們又應(yīng)該如何規(guī)范和引導(dǎo)人工智能的發(fā)展和利用呢？

為了探索這些問(wèn)題，AI Impacts（人工智能影響）這個(gè)致力于研究人類水平人工智能可能帶來(lái)的影響的項(xiàng)目，開(kāi)始這項(xiàng)調(diào)查名為“2023 年??智能進(jìn)展專家調(diào)查”（ESPAI）組織了一項(xiàng)前所未有的大規(guī)模的調(diào)查，向在六個(gè)頂級(jí)人工智能會(huì)議上發(fā)表過(guò)論文的2778名人工智能研究人員詢問(wèn)了他們對(duì)人工智能進(jìn)展、影響和安全的看法。這些人工智能研究人員來(lái)自世界各地，涵蓋了人工智能的各個(gè)子領(lǐng)域，他們的觀點(diǎn)和預(yù)測(cè)可以反映出人工智能領(lǐng)域的專業(yè)和權(quán)威的聲音。這項(xiàng)調(diào)查的結(jié)果已經(jīng)以預(yù)印本的形式發(fā)表在網(wǎng)上，題為《數(shù)以千計(jì)的人工智能作者探討人工智能的未來(lái)》（THOUSANDS OF AI AUTHORS ON THE FUTURE OF AI）。這篇文章的作者包括來(lái)自美國(guó)加州大學(xué)伯克利分校、德國(guó)波恩大學(xué)、英國(guó)牛津大學(xué)等知名學(xué)府的學(xué)者和研究人員。

AI Impacts對(duì)2,778名人工智能研究者進(jìn)行了一項(xiàng)調(diào)查，他們?cè)谇耙荒暝诹鶄€(gè)頂級(jí)人工智能會(huì)議上發(fā)表了同行評(píng)審的研究。據(jù)我們所知，這是迄今為止最大的人工智能研究者調(diào)查。這項(xiàng)調(diào)查是在2023年秋季進(jìn)行的，在這一年里，人工智能取得了廣泛的進(jìn)步（包括ChatGPT和GPT-4，谷歌的Bard，必應(yīng)人工智能聊天，Anthropic的Claude 1和2的發(fā)布），公眾對(duì)人工智能問(wèn)題的認(rèn)識(shí)也發(fā)生了變化，以及美國(guó)，英國(guó)和歐盟的政府開(kāi)始處理人工智能監(jiān)管的問(wèn)題[Biden, 2023, Amodei, 2023, gov.uk, 2023, European Parliament, 2023]。這項(xiàng)調(diào)查包括了關(guān)于人工智能進(jìn)展的速度和動(dòng)態(tài)，以及更先進(jìn)的人工智能帶來(lái)的社會(huì)后果的問(wèn)題。

圖片

圖1：大多數(shù)里程碑被預(yù)測(cè)在未來(lái)十年內(nèi)發(fā)生的可能性甚至更大，盡管有很多合理的日期。該圖顯示了預(yù)期選定里程碑時(shí)的總體分布，包括39項(xiàng)任務(wù)、四種職業(yè)和兩種一般人類水平績(jī)效指標(biāo)，分別顯示為實(shí)心圓、空心圓和實(shí)心正方形。圓圈/正方形表示總分布使里程碑有50%的概率達(dá)到的年份，區(qū)間表示25%至75%概率之間的年份范圍。請(qǐng)注意這些區(qū)間表示參與者表達(dá)的不確定性的總和，而不是估計(jì)不確定性。

 01 人工智能進(jìn)展的預(yù)測(cè)：實(shí)現(xiàn)各種任務(wù)和水平的時(shí)間和概率

人工智能的進(jìn)展是人工智能系統(tǒng)能夠?qū)崿F(xiàn)的任務(wù)和水平的提高，以及人工智能的技術(shù)和應(yīng)用的創(chuàng)新和擴(kuò)展。人工智能的進(jìn)展速度是指人工智能實(shí)現(xiàn)某些任務(wù)和水平所需的時(shí)間的長(zhǎng)短，以及人工智能的技術(shù)和應(yīng)用的變化和更新的頻率。人工智能的進(jìn)展和進(jìn)展速度是影響人工智能的未來(lái)的重要因素，它們決定了人工智能對(duì)人類社會(huì)的影響的程度和方向，以及人類應(yīng)對(duì)人工智能的挑戰(zhàn)和機(jī)遇的策略和方法。

在調(diào)查中，人工智能研究人員被問(wèn)及了他們對(duì)人工智能實(shí)現(xiàn)各種任務(wù)和水平的時(shí)間和概率的預(yù)測(cè)，以及他們對(duì)人工智能進(jìn)展速度對(duì)人類未來(lái)的影響的看法。這些任務(wù)和水平包括：

32個(gè)具體的人工智能任務(wù)，如自動(dòng)駕駛、語(yǔ)音識(shí)別、圖像生成、音樂(lè)創(chuàng)作、文本摘要、編程、翻譯、游戲、醫(yī)療診斷等。

人類水平的人工智能（HLMI），即人工智能系統(tǒng)能夠在所有領(lǐng)域和任務(wù)上達(dá)到或超過(guò)人類的水平。

超人類水平的人工智能（SHAI），即人工智能系統(tǒng)能夠在所有領(lǐng)域和任務(wù)上遠(yuǎn)遠(yuǎn)超過(guò)人類的水平。

人類職業(yè)的自動(dòng)化，即人工智能系統(tǒng)能夠完全替代人類在某些職業(yè)中的工作。

對(duì)于這些任務(wù)和水平，人工智能研究人員被要求給出他們認(rèn)為人工智能實(shí)現(xiàn)它們的時(shí)間和概率的預(yù)測(cè)，使用兩種不同的提問(wèn)方式：固定年份和固定概率。在固定年份的提問(wèn)方式中，人工智能研究人員被要求給出他們認(rèn)為人工智能在未來(lái)10年、20年和50年內(nèi)實(shí)現(xiàn)某個(gè)任務(wù)或水平的概率。在固定概率的提問(wèn)方式中，人工智能研究人員被要求給出他們認(rèn)為人工智能實(shí)現(xiàn)某個(gè)任務(wù)或水平的10%、50%和90%的概率所對(duì)應(yīng)的年數(shù)。這兩種提問(wèn)方式的目的是為了探究不同的提問(wèn)方式對(duì)人工智能研究人員的預(yù)測(cè)的影響，以及反映出人工智能研究人員對(duì)人工智能進(jìn)展的不確定性和敏感性。

圖片

圖2：許多人工智能里程碑的預(yù)期可行性在一年內(nèi)（2022年至2023年）大幅提前。里程碑按2022年預(yù)測(cè)到2023年預(yù)測(cè)的下降幅度進(jìn)行排序（在每個(gè)規(guī)模調(diào)整后的圖表中），首先是最大的變化?？偡植际估锍瘫_(dá)到50%幾率的年份分別用實(shí)心圓、空心圓和實(shí)心正方形表示任務(wù)、職業(yè)和一般人類水平表現(xiàn)。這三組問(wèn)題有不同的形式，也可能影響答案。

根據(jù)調(diào)查的結(jié)果，人工智能研究人員對(duì)人工智能進(jìn)展的預(yù)測(cè)有以下幾個(gè)特點(diǎn)：

人工智能研究人員對(duì)人工智能實(shí)現(xiàn)各種任務(wù)和水平的時(shí)間和概率的預(yù)測(cè)非常分散，表明他們對(duì)人工智能進(jìn)展的不確定性很高，也反映了人工智能領(lǐng)域的多樣性和復(fù)雜性。例如，對(duì)于人工智能實(shí)現(xiàn)人類水平的人工智能（HLMI）的時(shí)間的中位數(shù)預(yù)測(cè)，根據(jù)不同的提問(wèn)方式，從2028年到2060年不等，而且有些受訪者認(rèn)為HLMI永遠(yuǎn)不可能實(shí)現(xiàn)，有些受訪者認(rèn)為HLMI已經(jīng)實(shí)現(xiàn)或即將實(shí)現(xiàn)。

圖片

圖3：2022年至2023年間，高級(jí)機(jī)器智能（HLMI）第50百分位到達(dá)時(shí)間的總體預(yù)測(cè)下降了13年。同期，對(duì)勞動(dòng)力全自動(dòng)化（FAOL）第50百分位到達(dá)時(shí)間的預(yù)測(cè)下降了48年。然而，仍然存在許多不確定性?！熬酆项A(yù)測(cè)”

是所有個(gè)體累積分布函數(shù)的平均分布。為了進(jìn)行比較，我們納入了2022年綜合預(yù)測(cè)。為了了解反應(yīng)的范圍，我們納入了2023年和2022年個(gè)人預(yù)測(cè)的隨機(jī)子集。請(qǐng)注意，2023年的“置信區(qū)間”較低（與2022年相比）是由于樣本量較大，而不是受訪者的預(yù)測(cè)趨同，我們對(duì)平均受訪者的觀點(diǎn)的信心增加。

人工智能研究人員對(duì)人工智能進(jìn)展的預(yù)測(cè)普遍提前了，與2022年的調(diào)查相比，他們對(duì)人工智能實(shí)現(xiàn)各種任務(wù)和水平的時(shí)間的預(yù)測(cè)平均提前了13到48年，而且有21個(gè)短期的人工智能任務(wù)的預(yù)測(cè)也提前了。這可能說(shuō)明人工智能研究人員對(duì)人工智能的發(fā)展速度和能力有了更高的估計(jì)，也可能受到了近年來(lái)人工智能的技術(shù)和應(yīng)用的突破和創(chuàng)新的影響。

人工智能研究人員對(duì)人工智能進(jìn)展速度的偏好存在分歧，有些人認(rèn)為更快更好，有些人認(rèn)為更慢更好，但大幅偏離目前的速度的選擇不太受歡迎。這可能表明人工智能研究人員對(duì)人工智能進(jìn)展速度的影響有不同的看法和期待，也可能反映了他們對(duì)人工智能進(jìn)展速度的控制和調(diào)節(jié)的需求和困難。

人工智能研究人員對(duì)人工智能進(jìn)展的預(yù)測(cè)顯示了他們對(duì)人工智能的未來(lái)的不確定性和多樣性，也顯示了他們對(duì)人工智能的進(jìn)展速度的影響的關(guān)注和分歧。這些預(yù)測(cè)可以幫助我們了解人工智能的發(fā)展趨勢(shì)和可能性，也可以為我們制定人工智能的發(fā)展和利用的策略和方法提供一些參考和依據(jù)。

 02 人工智能影響的評(píng)估：對(duì)人類社會(huì)的好壞結(jié)果的可能性

人工智能的影響是人工智能系統(tǒng)對(duì)人類社會(huì)的各個(gè)方面的作用和改變，包括經(jīng)濟(jì)、政治、文化、教育、健康、環(huán)境、安全、道德等。人工智能的影響可以是好的，也可以是壞的，也可以是中性的，取決于人工智能的設(shè)計(jì)、應(yīng)用、管理和監(jiān)督等多個(gè)因素。人工智能的影響也可以是短期的，也可以是長(zhǎng)期的，也可以是持續(xù)的，取決于人工智能的發(fā)展速度、范圍、水平和目標(biāo)等多個(gè)因素。人工智能的影響是影響人工智能的未來(lái)的另一個(gè)重要因素，它決定了人工智能對(duì)人類社會(huì)的利益和價(jià)值的分配和平衡，以及人類對(duì)人工智能的態(tài)度和反饋。

在調(diào)查中，人工智能研究人員被問(wèn)及了他們對(duì)人工智能影響的評(píng)估，包括人工智能對(duì)人類社會(huì)的好壞結(jié)果的可能性，以及人工智能帶來(lái)的各種風(fēng)險(xiǎn)和挑戰(zhàn)的關(guān)注程度。這些好壞結(jié)果和風(fēng)險(xiǎn)挑戰(zhàn)包括：

人工智能的極端好結(jié)果，如人類幸福的大幅提高、人類社會(huì)的和平與繁榮、人類的智能與能力的提升等。

人工智能的極端壞結(jié)果，如人類滅絕或類似的永久嚴(yán)重的人類劣勢(shì)、人類的智能與能力的喪失或削弱、人類的價(jià)值與尊嚴(yán)的損害等。

人工智能帶來(lái)的11個(gè)可能引起關(guān)注的情景，如虛假信息的傳播、公眾輿論的操縱、危險(xiǎn)團(tuán)體制造強(qiáng)大工具、專制統(tǒng)治者利用人工智能控制人口、人工智能系統(tǒng)加劇經(jīng)濟(jì)不平等、人工智能系統(tǒng)加劇社會(huì)不公、人工智能系統(tǒng)威脅人類的隱私和安全、人工智能系統(tǒng)威脅人類的自由和權(quán)利、人工智能系統(tǒng)威脅人類的道德和責(zé)任、人工智能系統(tǒng)威脅人類的創(chuàng)造力和多樣性、人工智能系統(tǒng)威脅人類的意義和目的等。

對(duì)于這些好壞結(jié)果和風(fēng)險(xiǎn)挑戰(zhàn)，人工智能研究人員被要求給出他們認(rèn)為它們發(fā)生的概率和關(guān)注程度的評(píng)估，使用百分比和等級(jí)的方式。這些評(píng)估的目的是為了探究人工智能研究人員對(duì)人工智能影響的態(tài)度和看法，以及他們對(duì)人工智能影響的重要性和緊迫性的認(rèn)識(shí)。

人工智能進(jìn)步的原因是什么？

他們?cè)儐?wèn)了人工智能能力的進(jìn)展對(duì)五個(gè)輸入變化的敏感性：1）研究人員的努力，2）計(jì)算成本的下降，3）增加訓(xùn)練數(shù)據(jù)集的規(guī)模和可用性的努力，4）資金，以及5）人工智能算法的進(jìn)展。他們讓受訪者想象一下，在過(guò)去十年中，每種投入只有一半可用，2以及他們預(yù)計(jì)這會(huì)對(duì)人工智能進(jìn)步速度產(chǎn)生的影響。結(jié)果如圖所示。

圖片

圖4：如果在過(guò)去十年中投入減半，人工智能進(jìn)展的估計(jì)減少。紅點(diǎn)表示平均值。方框包含第25至75百分位范圍；中間線是中間線。晶須是最小值和最大值，不超過(guò)中值四分位間距的1.5倍。參與者估計(jì)，在過(guò)去十年中，將計(jì)算成本下降減半對(duì)人工智能進(jìn)步的影響最大，而將計(jì)算成本減半，“研究人員的努力”和“人工智能算法的進(jìn)步”的影響最小?？傮w而言，所有納入的投入都被視為對(duì)人工智能的進(jìn)步做出了重大貢獻(xiàn)。

根據(jù)調(diào)查的結(jié)果，人工智能研究人員對(duì)人工智能影響的評(píng)估有以下幾個(gè)特點(diǎn)：

人工智能研究人員對(duì)人工智能影響的評(píng)估非常多樣，表明他們對(duì)人工智能的利益和價(jià)值有不同的觀點(diǎn)和期待，也反映了人工智能的社會(huì)影響的復(fù)雜性和不確定性。例如，對(duì)于人工智能帶來(lái)的極端好結(jié)果的概率的中位數(shù)預(yù)測(cè)，從5%到50%不等，而且有些受訪者認(rèn)為極端好結(jié)果是不可能的，有些受訪者認(rèn)為極端好結(jié)果是非?？赡艿?。

人工智能研究人員對(duì)人工智能影響的評(píng)估普遍偏向于樂(lè)觀，與2022年的調(diào)查相比，他們對(duì)人工智能帶來(lái)的極端好結(jié)果的概率的預(yù)測(cè)平均提高了5個(gè)百分點(diǎn)，而且有68.3%的受訪者認(rèn)為好結(jié)果比壞結(jié)果更有可能，而且有57.8%的受訪者認(rèn)為極端壞結(jié)果（如人類滅絕）是有一定可能性的。這可能說(shuō)明人工智能研究人員對(duì)人工智能的發(fā)展和利用有了更多的信心和期望，也可能受到了近年來(lái)人工智能的技術(shù)和應(yīng)用的積極和正面的影響。

人工智能研究人員對(duì)人工智能影響的評(píng)估非常關(guān)注，對(duì)于所有的11個(gè)可能引起關(guān)注的人工智能情景，都有超過(guò)30%的受訪者認(rèn)為它們值得大量或極大的關(guān)注，而且有86%的受訪者認(rèn)為虛假信息的傳播是最令人擔(dān)憂的情景，其次是公眾輿論的操縱、危險(xiǎn)團(tuán)體制造強(qiáng)大工具、專制統(tǒng)治者利用人工智能控制人口和人工智能系統(tǒng)加劇經(jīng)濟(jì)不平等等。這可能表明人工智能研究人員對(duì)人工智能的風(fēng)險(xiǎn)和挑戰(zhàn)有了更多的認(rèn)識(shí)和警惕，也可能反映了他們對(duì)人工智能的發(fā)展和利用的責(zé)任和擔(dān)憂。

會(huì)有智能爆發(fā)嗎？

他們向受訪者詢問(wèn)了假設(shè)實(shí)現(xiàn)HLMI后“智能爆發(fā)”的可能性，如本問(wèn)題所述：

一些人提出以下觀點(diǎn)：

如果人工智能系統(tǒng)幾乎完成所有的研發(fā)，人工智能的改進(jìn)將加快技術(shù)進(jìn)步的步伐，包括人工智能的進(jìn)一步進(jìn)步。

在短時(shí)間內(nèi)（不到5年），這種反饋回路可能會(huì)使技術(shù)進(jìn)步加快一個(gè)數(shù)量級(jí)以上。

你認(rèn)為這個(gè)論點(diǎn)大致正確的可能性有多大？

第一個(gè)問(wèn)題的結(jié)果如圖5所示。

圖片

圖5：自2016年以來(lái)，大多數(shù)受訪者認(rèn)為，在實(shí)現(xiàn)HLMI的5年內(nèi)，技術(shù)進(jìn)步“很可能”、“可能”或“幾乎均等的機(jī)會(huì)”會(huì)加快一個(gè)數(shù)量級(jí)以上。

人工智能研究人員對(duì)人工智能影響的評(píng)估顯示了他們對(duì)人工智能的未來(lái)的多樣性和關(guān)注性，也顯示了他們對(duì)人工智能的利益和價(jià)值的看法和期待。這些評(píng)估可以幫助我們了解人工智能的社會(huì)影響和風(fēng)險(xiǎn)挑戰(zhàn)，也可以為我們制定人工智能的發(fā)展和利用的目標(biāo)和標(biāo)準(zhǔn)提供一些參考和依據(jù)。

 03  人工智能安全：安全研究的定義、優(yōu)先級(jí)、價(jià)值和難度

人工智能的安全指人工智能系統(tǒng)的設(shè)計(jì)、應(yīng)用、管理和監(jiān)督等過(guò)程中，保證人工智能系統(tǒng)不會(huì)對(duì)人類社會(huì)造成傷害或威脅的能力和措施。人工智能的安全涉及到人工智能系統(tǒng)的可靠性、魯棒性、可解釋性、可控制性、可信任性、可協(xié)作性、可適應(yīng)性、可倫理性等多個(gè)方面。人工智能的安全是影響人工智能的未來(lái)的又一個(gè)重要因素，它決定了人工智能系統(tǒng)與人類社會(huì)的關(guān)系和協(xié)調(diào)，以及人類對(duì)人工智能系統(tǒng)的信任和接受。

在調(diào)查中，人工智能研究人員被問(wèn)及了他們對(duì)人工智能安全的看法，包括人工智能安全研究的定義、優(yōu)先級(jí)、價(jià)值和難度，以及人工智能對(duì)齊問(wèn)題的重要性和困難性。這些問(wèn)題的目的是為了探究人工智能研究人員對(duì)人工智能安全的認(rèn)識(shí)和態(tài)度，以及他們對(duì)人工智能安全的投入和貢獻(xiàn)。

人工智能導(dǎo)致人類滅絕的可能性有多大？

為了進(jìn)一步澄清對(duì)總體影響問(wèn)題中“極其糟糕（如人類滅絕）”情景的看法，參與者被問(wèn)及關(guān)于人類滅絕的三個(gè)類似問(wèn)題之一。他們的差異旨在幫助準(zhǔn)確地隔離不同場(chǎng)景的關(guān)注程度、受訪者預(yù)期會(huì)發(fā)生什么以及工作的差異有多大。

這些問(wèn)題的答案基本一致，中位數(shù)為5%或10%。這些也接近于長(zhǎng)期影響的一般價(jià)值問(wèn)題的答案，這可能表明該問(wèn)題的大部分“極其糟糕（例如人類滅絕）”答案來(lái)自人類滅絕或類似的人類物種永久性和嚴(yán)重的權(quán)力喪失，而不是該問(wèn)題的回答者可能已經(jīng)考慮到的其他結(jié)果，但這不會(huì)那么嚴(yán)重。

根據(jù)提問(wèn)方式，41.2%至51.4%的受訪者估計(jì)人類滅絕或嚴(yán)重喪失權(quán)力的可能性超過(guò)10%（見(jiàn)圖6）。這與38%的受訪者在提問(wèn)“高級(jí)機(jī)器智能對(duì)人類有多好或有多壞？”時(shí)將至少10%的人認(rèn)為“極其糟糕”的結(jié)果“（例如人類滅絕）”的比例相當(dāng)，但略高于此比例。

圖片

圖6：對(duì)HLMI的極壞結(jié)果（如人類滅絕）或三個(gè)特別是關(guān)于人類滅絕或喪失權(quán)力的問(wèn)題給出10%或更高概率的參與者百分比。

根據(jù)調(diào)查的結(jié)果，人工智能研究人員對(duì)人工智能安全的看法有以下幾個(gè)特點(diǎn)：

人工智能研究人員對(duì)人工智能安全研究的定義非常一致，他們普遍認(rèn)同了人工智能安全研究是指那些主要旨在降低人工智能系統(tǒng)的潛在風(fēng)險(xiǎn)，而不是主要旨在提高人工智能系統(tǒng)的能力的研究，而且他們給出了一些具體的人工智能安全研究的例子，如可解釋的機(jī)器學(xué)習(xí)、長(zhǎng)期的人工智能存在風(fēng)險(xiǎn)、人工智能的形式化驗(yàn)證、人工智能的公共利益政策等。

人工智能研究人員對(duì)人工智能安全研究的優(yōu)先級(jí)非常高，他們普遍認(rèn)為人工智能安全研究應(yīng)該比目前更受重視，而且有70%的受訪者認(rèn)為人工智能安全研究應(yīng)該被優(yōu)先或大幅優(yōu)先，而且這一比例與2022年的調(diào)查相比只有輕微的增加，表明人工智能研究人員對(duì)人工智能安全研究的重視程度一直很高。

人工智能研究人員對(duì)人工智能安全研究的價(jià)值非常認(rèn)可，他們普遍認(rèn)為人工智能安全研究與其他人工智能研究一樣有價(jià)值或更有價(jià)值，而且有57%的受訪者認(rèn)為人工智能安全研究比其他人工智能研究更有價(jià)值或多得多的價(jià)值，而且這一比例與2022年的調(diào)查相比有顯著的增加，表明人工智能研究人員對(duì)人工智能安全研究的價(jià)值認(rèn)識(shí)有了提高。

人工智能研究人員對(duì)人工智能安全研究的難度非常清楚，他們普遍認(rèn)為人工智能安全研究比其他人工智能研究更難或多得多的難，而且有57%的受訪者認(rèn)為人工智能安全研究比其他人工智能研究更難或多得多的難，而且這一比例與2022年的調(diào)查相比沒(méi)有顯著的變化，表明人工智能研究人員對(duì)人工智能安全研究的難度認(rèn)識(shí)一直很高。

人工智能研究人員對(duì)人工智能對(duì)齊問(wèn)題的重要性和困難性非常認(rèn)同，他們普遍認(rèn)為人工智能對(duì)齊問(wèn)題是一個(gè)非常重要且非常困難的問(wèn)題，而且有54%的受訪者認(rèn)為人工智能對(duì)齊問(wèn)題是人工智能領(lǐng)域最重要或最困難的問(wèn)題之一，而且這一比例與2022年的調(diào)查相比有所增加，表明人工智能研究人員對(duì)人工智能對(duì)齊問(wèn)題的關(guān)注和重視有了提高。

對(duì)齊問(wèn)題的價(jià)值和難度有多大？

調(diào)查中第二組人工智能安全問(wèn)題是基于斯圖爾特·拉塞爾對(duì)對(duì)齊問(wèn)題的表述。

這組問(wèn)題從羅素的論點(diǎn)摘要開(kāi)始——該論點(diǎn)聲稱，使用先進(jìn)的人工智能，“你得到的正是你想要的，而不是你想要的”——然后問(wèn)道：

1.你認(rèn)為這個(gè)論點(diǎn)指向一個(gè)重要問(wèn)題嗎？

2.與人工智能中的其他問(wèn)題相比，今天研究這個(gè)問(wèn)題有多大價(jià)值？

3.與人工智能中的其他問(wèn)題相比，你認(rèn)為這個(gè)問(wèn)題有多難？

大多數(shù)受訪者表示，對(duì)齊問(wèn)題要么是“非常重要的問(wèn)題”（41%），要么是“該領(lǐng)域最重要的問(wèn)題之一”（13%），大多數(shù)人表示，它比人工智能中的其他問(wèn)題“更難”（36%）或“困難得多”（21%）。然而，受訪者普遍不認(rèn)為今天解決對(duì)齊問(wèn)題比解決其他問(wèn)題更有價(jià)值。（圖7）

圖片

圖7：對(duì)斯圖爾特·拉塞爾提出的路線問(wèn)題的態(tài)度。與會(huì)者認(rèn)為，對(duì)齊問(wèn)題既重要又困難，但并不比其他問(wèn)題更有價(jià)值。

人工智能研究人員對(duì)人工智能安全的看法顯示了他們對(duì)人工智能安全的認(rèn)識(shí)和態(tài)度，也顯示了他們對(duì)人工智能安全的投入和貢獻(xiàn)。這些看法可以幫助我們了解人工智能安全的定義和范圍，也可以為我們制定人工智能安全的研究和實(shí)踐提供一些參考和依據(jù)。

 04 人工智能風(fēng)險(xiǎn)的關(guān)注：對(duì)人工智能的誤解和偏見(jiàn)的看法

人工智能風(fēng)險(xiǎn)指人工智能系統(tǒng)對(duì)人類社會(huì)造成的潛在的或?qū)嶋H的傷害或威脅，包括人工智能系統(tǒng)的失控、誤用、濫用、攻擊、競(jìng)爭(zhēng)、沖突、歧視、剝奪、破壞等。人工智能風(fēng)險(xiǎn)是影響人工智能的未來(lái)的最后一個(gè)重要因素，它決定了人類對(duì)人工智能的防范和應(yīng)對(duì)的能力和措施，以及人類對(duì)人工智能的信心和態(tài)度。

在調(diào)查中，人工智能研究人員被問(wèn)及了他們對(duì)其他人對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注的評(píng)價(jià)，包括他們對(duì)其他人工智能研究人員、其他科學(xué)家、政府和公眾對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度的看法，以及他們對(duì)其他人對(duì)人工智能的誤解和偏見(jiàn)的看法。這些問(wèn)題的目的是為了探究人工智能研究人員對(duì)人工智能風(fēng)險(xiǎn)的認(rèn)知和溝通，以及他們對(duì)人工智能風(fēng)險(xiǎn)的共識(shí)和協(xié)作。

根據(jù)調(diào)查的結(jié)果，人工智能研究人員對(duì)其他人對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注的評(píng)價(jià)有以下幾個(gè)特點(diǎn)：

人工智能研究人員對(duì)其他人工智能研究人員對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度非常滿意，他們普遍認(rèn)為其他人工智能研究人員對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是合適的或稍微不足的，而且有74%的受訪者認(rèn)為其他人工智能研究人員對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是合適的或稍微不足的，而且這一比例與2022年的調(diào)查相比有所增加，表明人工智能研究人員對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度有了一定的提高和一致性。

人工智能研究人員對(duì)其他科學(xué)家對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度非常不滿意，他們普遍認(rèn)為其他科學(xué)家對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是不足的或嚴(yán)重不足的，而且有79%的受訪者認(rèn)為其他科學(xué)家對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是不足的或嚴(yán)重不足的，而且這一比例與2022年的調(diào)查相比沒(méi)有顯著的變化，表明人工智能研究人員對(duì)其他科學(xué)家對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度一直很低和不滿。

人工智能研究人員對(duì)政府對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度非常不滿意，他們普遍認(rèn)為政府對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是不足的或嚴(yán)重不足的，而且有84%的受訪者認(rèn)為政府對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是不足的或嚴(yán)重不足的，而且這一比例與2022年的調(diào)查相比沒(méi)有顯著的變化，表明人工智能研究人員對(duì)政府對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度一直很低和不滿。

人工智能研究人員對(duì)公眾對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度非常不滿意，他們普遍認(rèn)為公眾對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是過(guò)度的或嚴(yán)重過(guò)度的，而且有67%的受訪者認(rèn)為公眾對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度是過(guò)度的或嚴(yán)重過(guò)度的，而且這一比例與2022年的調(diào)查相比有所增加，表明人工智能研究人員對(duì)公眾對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注程度有了更多的不滿和不信任。

人工智能研究人員對(duì)其他人對(duì)人工智能的誤解和偏見(jiàn)非常清楚，他們普遍認(rèn)為其他人對(duì)人工智能的誤解和偏見(jiàn)是普遍的或非常普遍的，而且有86%的受訪者認(rèn)為其他人對(duì)人工智能的誤解和偏見(jiàn)是普遍的或非常普遍的，而且這一比例與2022年的調(diào)查相比沒(méi)有顯著的變化，表明人工智能研究人員對(duì)其他人對(duì)人工智能的誤解和偏見(jiàn)一直很高和清楚。

預(yù)測(cè)很難，即使對(duì)專家來(lái)說(shuō)也是如此

一般來(lái)說(shuō)預(yù)測(cè)也很困難，而且據(jù)觀察，主題專家的表現(xiàn)很差。我們的參與者的專業(yè)知識(shí)是人工智能，據(jù)我們所知，他們?cè)谝话泐A(yù)測(cè)方面沒(méi)有任何不同尋常的技能。

這項(xiàng)研究和過(guò)去的調(diào)查表明，這些專家并不是我們所問(wèn)問(wèn)題的準(zhǔn)確預(yù)測(cè)者。首先，在許多問(wèn)題上，不同的受訪者給出了截然不同的答案，這限制了他們接近真相的人數(shù)。盡管如此，在其他情況下，一大組有噪聲的預(yù)測(cè)的平均值仍然相對(duì)準(zhǔn)確，因此這些綜合預(yù)測(cè)的信息量仍然存在問(wèn)題。

另一個(gè)證明預(yù)測(cè)準(zhǔn)確性的證據(jù)是對(duì)實(shí)質(zhì)性框架效應(yīng)的觀察。如果問(wèn)題框架中看似不重要的變化導(dǎo)致回答的巨大變化，這表明即使是對(duì)任何特定問(wèn)題的綜合回答也不是答案的準(zhǔn)確指南。在一項(xiàng)密切相關(guān)的研究中的一個(gè)極端例子中，Karger等人發(fā)現(xiàn)，當(dāng)被問(wèn)及以不同的方式估計(jì)人工智能存在風(fēng)險(xiǎn)的大小時(shí)，大學(xué)畢業(yè)生給出的答案相差近六個(gè)數(shù)量級(jí)：當(dāng)給出低概率事件的例子幾率時(shí)，估計(jì)值要低得多。類似的影響可能會(huì)在一定程度上適用于我們的參與者，盡管他們的專業(yè)知識(shí)和定量培訓(xùn)可能會(huì)減輕這種影響。過(guò)去對(duì)人工智能風(fēng)險(xiǎn)思考更多的參與者似乎給出了更高的數(shù)字，這表明他們不太可能在進(jìn)一步的風(fēng)險(xiǎn)示例中給出更低的數(shù)字。

盡管存在這些限制，人工智能研究人員仍有能力為我們對(duì)未來(lái)的集體猜測(cè)的準(zhǔn)確性做出貢獻(xiàn)。雖然不可靠，但有根據(jù)的猜測(cè)是我們所有人都必須依賴的，他們的猜測(cè)是由相關(guān)領(lǐng)域的專業(yè)知識(shí)提供的。這些預(yù)測(cè)應(yīng)該是來(lái)自計(jì)算機(jī)硬件趨勢(shì)、人工智能能力進(jìn)步、經(jīng)濟(jì)分析和預(yù)測(cè)專家見(jiàn)解等來(lái)源的更廣泛證據(jù)的一部分。然而，人工智能研究人員對(duì)相關(guān)技術(shù)的熟悉程度，以及對(duì)其進(jìn)展動(dòng)態(tài)的經(jīng)驗(yàn)，使他們成為最有能力做出有信息依據(jù)的猜測(cè)的人之一。

人工智能研究人員對(duì)其他人對(duì)人工智能風(fēng)險(xiǎn)的關(guān)注的評(píng)價(jià)顯示了他們對(duì)人工智能風(fēng)險(xiǎn)的認(rèn)知和溝通，也顯示了他們對(duì)人工智能風(fēng)險(xiǎn)的共識(shí)和協(xié)作。這些評(píng)價(jià)可以幫助我們了解人工智能風(fēng)險(xiǎn)的認(rèn)知和關(guān)注的差異和障礙，也可以為我們制定人工智能風(fēng)險(xiǎn)的防范和應(yīng)對(duì)的合作和對(duì)話提供一些參考和依據(jù)。

參考資料：https://arxiv.org/abs/2401.02843。