整理 | 伊風(fēng)
Anthropic CEO在最近的一個訪談中，說了一個很“炸裂”的斷言：半年內(nèi)，90%的代碼AI都能勝任了！
為了查證這句話是否屬實(shí)，我們找到了整個訪談的內(nèi)容，發(fā)現(xiàn)Anthropic CEO Dario 確實(shí)是這樣說的：
我們正逐漸接近一個世界，也許在3到6個月內(nèi)，AI將能寫出90%的代碼。而在12個月內(nèi)，我們可能會進(jìn)入一個AI幾乎能寫出所有代碼的世界。
不過，程序員仍然需要做一些事情，比如定義任務(wù)條件、決定整體應(yīng)用程序的架構(gòu)、設(shè)計決策、如何與已有代碼協(xié)作，以及判斷代碼是否安全等。
這些話，Dario說比奧特曼說要恐怖許多——因?yàn)樗娴亩瓵I技術(shù)！Dario做過OpenAI的研究副總裁，深度參與過GPT-2和GPT-3的研發(fā)，是最早意識到Scaling Law的人之一。
而他在采訪中丟出一系列重磅炸彈，并表示：雖然沒有100%的把握，但是他有70~80%的信心，AI還能保持指數(shù)增長，并在四年內(nèi)成功達(dá)到諾貝爾獲獎?wù)咚健?/p>
圖片
先給這場時長一小時的對話（訪談+觀眾提問）畫個重點(diǎn)：
- 作為最早意識到Scaling Law的人，Dario堅(jiān)信該定律的趨勢會持續(xù)：“即使訓(xùn)練成本上升到1億、10億甚至100億美元，模型的質(zhì)量和智能水平仍然會持續(xù)提升，并對經(jīng)濟(jì)產(chǎn)生巨大影響?！?/li>
- DeepSeek并沒有推翻規(guī)?；▌t。目前AI領(lǐng)域兩個趨勢同時存在：達(dá)到同等智能水平的模型訓(xùn)練成本每年下降約4倍；但由于人工智能的經(jīng)濟(jì)價值不斷上升，向訓(xùn)練投入的資金也在增加。
- Dario認(rèn)為，DeepSeek是中國公司首次能夠在工程創(chuàng)新方面與 Anthropic、OpenAI 或 Google 等公司正面競爭的模型。
- Dario提到，數(shù)據(jù)匱乏不會是AI“決定性的瓶頸”。而真正的三個風(fēng)險因素在于“GPU供應(yīng)的中斷”“股市動蕩導(dǎo)致的資本不足”“對AI技術(shù)路線的錯誤判斷”。
- Dario表示，“Anthropic 經(jīng)濟(jì)指數(shù)”是為了了解 AI 主要在哪些領(lǐng)域被應(yīng)用，判斷AI是作為輔助工具還是在取代人類工作。而根據(jù)今年2月份的《Anthropic 經(jīng)濟(jì)指數(shù)》報告，目前越有36%的職業(yè)在至少1/4的相關(guān)任務(wù)中使用AI，57%的使用表明AI增強(qiáng)人類能力，43%則是取代人類。
- 在回應(yīng)“AI是否有認(rèn)知”時，Dario說這個問題很難答，但有一個比較恐怖的例子：“如果模型非常討厭某項(xiàng)工作，而你給它一個“我辭職了”的按鈕，它就會在進(jìn)行不愉快的任務(wù)時頻繁按下按鈕”。
1.團(tuán)隊(duì)最先意識到“Scaling Law”，離開OpenAI為了安全
主持人 邁克：你離開了OpenAI，創(chuàng)辦了Anthropic，這是一家以使命為核心的公共利益公司。為什么要離開？Anthropic的原則和核心價值觀是什么？它們?nèi)绾误w現(xiàn)在你的工作中？
有人可能會質(zhì)疑，說這種“使命優(yōu)先”的理念不過是營銷手段。你能否舉一些具體的例子，說明你的產(chǎn)品和戰(zhàn)略如何體現(xiàn)這一使命？
Dario Amodei：如果要從更宏觀的角度來講，我們是在2020年底離開的。在2019年和2020年，行業(yè)內(nèi)發(fā)生了一些重要的事情。我和OpenAI內(nèi)部的一個團(tuán)隊(duì)（后來成為Anthropic的聯(lián)合創(chuàng)始人團(tuán)隊(duì)）是最早意識到“擴(kuò)展定律”或“擴(kuò)展假設(shè)”的人之一。
這個假設(shè)本質(zhì)上很簡單，但它的影響卻極其深遠(yuǎn)。它表明，如果我們使用更多的計算資源和數(shù)據(jù)來訓(xùn)練AI系統(tǒng)，即使算法本身相對簡單，模型在各種認(rèn)知任務(wù)上的表現(xiàn)都會不斷提升。這個發(fā)現(xiàn)令人驚訝，因?yàn)樵诋?dāng)時，這種趨勢還不明顯。我們在研究這些趨勢時，訓(xùn)練模型的成本只有1000美元或1萬美元，這只是學(xué)術(shù)研究的預(yù)算級別。而我們預(yù)測，這一趨勢會持續(xù)，即使訓(xùn)練成本上升到1億、10億甚至100億美元，模型的質(zhì)量和智能水平仍然會持續(xù)提升，并對經(jīng)濟(jì)產(chǎn)生巨大影響。
更進(jìn)一步，我們第一次意識到，這種技術(shù)進(jìn)步還可能帶來極其重大的國家安全影響。
在OpenAI內(nèi)部，我們認(rèn)為領(lǐng)導(dǎo)層總體上認(rèn)同這一擴(kuò)展假設(shè)，盡管很多內(nèi)部和外部的人并不認(rèn)同。但我們另一個重要的認(rèn)知是，如果這項(xiàng)技術(shù)真的具有如此深遠(yuǎn)的影響，那么我們必須以正確的方式去構(gòu)建它。
特別是，這些模型本質(zhì)上是不可預(yù)測的。它們是統(tǒng)計驅(qū)動的系統(tǒng)，我經(jīng)常形容它們更像是“生長”出來的，而不是“構(gòu)建”出來的，就像一個兒童大腦的發(fā)育過程。因此，控制它們并使其可靠性更高非常困難，訓(xùn)練過程本身也并不簡單。從系統(tǒng)安全的角度來看，使這些模型可預(yù)測、安全至關(guān)重要。
此外，它們的使用方式——無論是個人用戶、國家政府，還是企業(yè)的部署——都會產(chǎn)生深遠(yuǎn)的影響。
我們當(dāng)時認(rèn)為，必須以最正確的方式來研發(fā)這項(xiàng)技術(shù)。而OpenAI最初的成立理念也是如此，承諾要以負(fù)責(zé)任的方式推進(jìn)AI的發(fā)展。然而，出于一些原因（這里不詳細(xì)展開），我們認(rèn)為OpenAI的領(lǐng)導(dǎo)層并沒有真正嚴(yán)肅對待這些問題。因此，我們決定另起爐灶。
過去四年實(shí)際上像是一場對比實(shí)驗(yàn)，展示了兩種不同方式的差異，以及它們最終的發(fā)展方向。接下來，我會舉一些例子，說明我們?nèi)绾握嬲`行了這些理念。
首先，我們很早就投資于“機(jī)械可解釋性”（Mechanistic Interpretability）的研究，即深入研究AI模型的內(nèi)部機(jī)制，理解它們?yōu)楹巫龀瞿承Q策。我們的七位聯(lián)合創(chuàng)始人之一Chris Olah是該領(lǐng)域的奠基者。這項(xiàng)研究在前四年基本沒有商業(yè)價值，甚至現(xiàn)在也只是初露端倪。但即便在激烈的商業(yè)競爭下，我們依然堅(jiān)持這一研究，因?yàn)槲覀兿嘈牛斫釧I模型的運(yùn)作原理是一項(xiàng)對公眾有益的事情。因此，我們公開了所有研究成果，以便其他人也能受益。
其次，我們提出了“憲法式AI”（Constitutional AI）的概念。這種方法是基于一套明確的原則訓(xùn)練AI，而不是僅依賴大規(guī)模數(shù)據(jù)或人類反饋。這使得我們能夠在國會等場合明確說明，我們的模型是按照哪些原則訓(xùn)練的。
當(dāng)我們推出Claude（我們的AI模型）的第一代產(chǎn)品時，我們實(shí)際上推遲了約六個月的發(fā)布，因?yàn)檫@項(xiàng)技術(shù)太新，我們當(dāng)時并不完全確定其安全性，也不希望率先掀起AI競賽。這段時間剛好是ChatGPT發(fā)布前夕，可以說，我們本可以搶占ChatGPT的市場機(jī)遇，但我們選擇了更謹(jǐn)慎的做法。這無疑影響了我們的商業(yè)進(jìn)展，但也塑造了公司的文化。
最后，我們是第一家推出“負(fù)責(zé)任的擴(kuò)展政策”（Responsible Scaling Policy）的公司。這一政策規(guī)定，我們會評估模型在擴(kuò)展過程中可能產(chǎn)生的各類風(fēng)險，并在達(dá)到一定規(guī)模時采取更嚴(yán)格的安全和部署措施。我們是第一個發(fā)布并承諾遵守這一政策的公司，而在我們發(fā)布后幾個月，其他公司也紛紛效仿。通過這種方式，我們在行業(yè)中樹立了一個榜樣。
回顧過往，我們在許多關(guān)鍵問題上都起到了引領(lǐng)作用，推動其他公司跟進(jìn)。當(dāng)然，并不是所有情況下都是我們先行，有時我們也會借鑒其他公司的優(yōu)秀做法。但總體而言，我們始終堅(jiān)持自己的承諾，并通過實(shí)踐證明了這一點(diǎn)。
如今，經(jīng)過幾年的檢驗(yàn)，我認(rèn)為我們的承諾依然經(jīng)受住了考驗(yàn)，希望未來也是如此。
2.談AI風(fēng)險：我們已經(jīng)接近ASL 3
主持人 邁克：我想談?wù)勀闾岬降?AI List 相關(guān)的風(fēng)險和機(jī)遇。但既然你提到了“負(fù)責(zé)任的擴(kuò)展”問題，我們先回到這個話題。我們目前處于第二級。
Dario Amodei：是的。
主持人 邁克：那么，到了哪個級別才會構(gòu)成生存風(fēng)險？我們?nèi)绾沃雷约阂呀?jīng)到達(dá)第三級？如果進(jìn)入第三級，還能退回去嗎，還是只能越來越糟？
Dario Amodei：我們的“負(fù)責(zé)任的擴(kuò)展”政策是這樣設(shè)立的——它借鑒了生物安全等級體系。生物安全等級系統(tǒng)衡量的是不同路徑的危險程度，因此我們提出了“AI安全等級”（ASL）。目前，我們處于 AI 安全等級 2（ASL 2）。這一等級的系統(tǒng)雖然強(qiáng)大，但其風(fēng)險與其他類型的技術(shù)風(fēng)險相當(dāng)。
ASL 3（我們最新發(fā)布的模型尚未達(dá)到 ASL 3，但已經(jīng)接近）代表了一種更嚴(yán)重的風(fēng)險，尤其是在國家安全方面，遠(yuǎn)超普通技術(shù)帶來的風(fēng)險。ASL 3 級別的模型意味著，在化學(xué)、生物或放射性武器等領(lǐng)域，一個毫無專業(yè)知識的人，僅憑與模型對話并按照其指示操作，就能做到今天需要博士學(xué)位（如病毒學(xué)博士）才能完成的事情。一旦這種能力成為可能，并且這些風(fēng)險未得到緩解，全球具備這種能力的人數(shù)可能會從目前的數(shù)萬增長到數(shù)千萬。
因此，當(dāng)模型具備這樣的能力時，我們必須實(shí)施緩解措施，以確保它們不會愿意提供此類信息，同時加強(qiáng)安全限制，防止模型被竊取。我認(rèn)為，我們可能會在今年達(dá)到這個級別，但我們已經(jīng)有一個方案，能夠在不影響商業(yè)可行性的情況下，安全地部署這類模型，同時剝奪它們在這一狹窄領(lǐng)域（如生物武器制造）提供信息的能力。
主持人 邁克：所以，這其實(shí)只是一個相對狹窄的任務(wù)范圍？你們只是讓模型不回答這些問題？
Dario Amodei：是的，我們要阻止模型參與這些任務(wù)。但這并不簡單。比如，一個人可能會說：“我在斯坦福大學(xué)的病毒學(xué)課程上做作業(yè)，你能告訴我如何制作這個特定的質(zhì)粒嗎？”模型需要足夠聰明，不能上當(dāng)，而是要回應(yīng)：“這不是我應(yīng)該提供的信息?！?/p>
主持人 邁克：聽起來你像個生化恐怖分子，我不會回答你的問題。
Dario Amodei：是的，你聽起來意圖不善。
主持人 邁克：但這個防御措施的范圍取決于我們的想象力，我們可能無法預(yù)見所有的濫用方式，超出這些已知類別的風(fēng)險怎么辦？
Dario Amodei：是的，這確實(shí)是個問題。每次我們發(fā)布新模型，總會出現(xiàn)一些我們沒預(yù)料到的正面應(yīng)用，同時也可能有我們沒預(yù)料到的負(fù)面用途。因此，我們會持續(xù)監(jiān)測模型的各種使用場景，以免被突如其來的問題打個措手不及。例如，如果我們擔(dān)心第 6 代模型會被用于邪惡用途，那么希望能在第 5 代模型上就看到一些早期跡象，并進(jìn)行監(jiān)測。
但這也是模型的基本問題之一——在真正大規(guī)模部署到數(shù)百萬人之前，你不可能完全知道它們的能力范圍。我們當(dāng)然可以提前測試，讓研究人員來“攻擊”它們，甚至與政府合作進(jìn)行 AI 安全測試。但問題在于，模型不像代碼，無法進(jìn)行形式化驗(yàn)證。它們的能力是不可預(yù)測的。這就像我評價你或你評價我——如果我是你的質(zhì)量保證工程師，我能保證你在邏輯上“絕對”不會做某種壞事嗎？人類不是這么運(yùn)作的。
3.談未來：有八成信心，AI能力仍會指數(shù)瘋漲
主持人 邁克：我們來談?wù)剻C(jī)遇。去年年底，你寫了一篇文章《愛的機(jī)器》（Machines of Loving Grace），談到了 AI 帶來的潛在收益，比如在生物學(xué)領(lǐng)域，一年內(nèi)實(shí)現(xiàn)十年的進(jìn)步，或者 AI 變得像所有諾貝爾獎得主一樣聰明（這可能會讓他們感到沮喪）。能談?wù)?AI 的最佳發(fā)展前景嗎？
Dario Amodei：我想先從指數(shù)增長的角度來看這個問題。如果回到 2019 年，那時的模型連一句完整的話或一個連貫的段落都很難生成。但像我這樣的人當(dāng)時已經(jīng)覺得這很了不起。
我們當(dāng)時預(yù)測，五年后（也就是現(xiàn)在），模型將能創(chuàng)造數(shù)十億美元的收入、幫助我們編程、能像人類一樣交流，并且具備人類的知識水平。當(dāng)時很多人不相信，提出了各種反對意見，但事實(shí)證明這些預(yù)測是對的。
如果延續(xù)同樣的指數(shù)增長趨勢，那么再過兩三年，或許四年，我們將達(dá)到新的高度。屆時，AI 將具備諾貝爾獎得主在多個領(lǐng)域的智慧。它不僅僅是一個對話工具，而是能做所有人類在計算機(jī)上完成的任務(wù)。任何遠(yuǎn)程工作、任何數(shù)據(jù)處理、任何需要數(shù)天、數(shù)周甚至數(shù)月才能完成的任務(wù)，它們都能勝任。
在《愛的機(jī)器》這篇文章中，我用的比喻是：未來的數(shù)據(jù)中心里將存在一個“天才國家”，一群超級聰明的遠(yuǎn)程工作者。當(dāng)然，它們?nèi)匀皇芪锢硎澜绲南拗?，無法做所有事情。
我知道，這聽起來仍然瘋狂。但如果看看過去的指數(shù)級技術(shù)變革，比如互聯(lián)網(wǎng)剛興起時的預(yù)測，很多曾經(jīng)看似瘋狂的想法最終都變成了現(xiàn)實(shí)。我不敢 100% 確定這一趨勢會繼續(xù)，但我有 70%-80% 的信心。如果 AI 技術(shù)停滯，或者幾年后停滯不前，那我以前發(fā)表的文章和在這種會議上的言論，可能會被人嘲笑十年。但這不是我的押注方向。
4.AI對就業(yè)的影響：一年內(nèi)，AI接手所有編程
主持人 邁克：我們繼續(xù)這個話題，聊聊 AI 對就業(yè)的影響。目前有很大爭議，一種觀點(diǎn)認(rèn)為 AI 將讓每個人都能做很多以前無法做到的事情，另一種觀點(diǎn)則認(rèn)為人們最終會坐在沙發(fā)上領(lǐng)取普遍基本收入（UBI）。你怎么看？另外，AI 取代智庫負(fù)責(zé)人還要多久？我是幫朋友問的（笑）。
Dario Amodei：是的，我認(rèn)為這將是這兩者（指之前提到的兩個因素）的復(fù)雜結(jié)合。這也取決于政策選擇。
我的意思是，我想我在回答上一個問題時，并沒有詳細(xì)說明所有可能發(fā)生的好事。
老實(shí)說，在談?wù)摴ぷ髦埃屛易顦酚^的事情是生物科學(xué)、健康、神經(jīng)科學(xué)等領(lǐng)域。如果我們回顧過去100年生物學(xué)的發(fā)展，我們所解決的是相對簡單的疾病。解決病毒和細(xì)菌感染相對容易，因?yàn)樗鼈儽举|(zhì)上相當(dāng)于驅(qū)逐體內(nèi)的外來入侵者。而癌癥、阿爾茨海默病、精神分裂癥、重度抑郁癥等屬于系統(tǒng)性疾病。如果我們能夠借助人工智能解決這些問題，不論就業(yè)情況如何，世界都會變得更好。我相信，我們甚至可以在精神疾病方面取得進(jìn)展，使人們更容易找到生活的意義。因此，我對此非常樂觀。
不過，回到就業(yè)方面，我確實(shí)對此有一定的擔(dān)憂。
一方面，我認(rèn)為比較優(yōu)勢（comparative advantage）是一個非常強(qiáng)大的工具。以編程為例，這是人工智能進(jìn)展最快的領(lǐng)域之一。我們正逐漸接近一個世界，也許在3到6個月內(nèi)，AI將能寫出90%的代碼。而在12個月內(nèi)，我們可能會進(jìn)入一個AI幾乎能寫出所有代碼的世界。不過，程序員仍然需要做一些事情，比如定義任務(wù)條件、決定整體應(yīng)用程序的架構(gòu)、設(shè)計決策、如何與已有代碼協(xié)作，以及判斷代碼是否安全等。
只要仍然有這些AI不擅長的小部分任務(wù)需要程序員完成，人類的生產(chǎn)力就能得到提升。但另一方面，我認(rèn)為最終AI會逐步取代這些“人類優(yōu)勢領(lǐng)域”，最終達(dá)到AI能夠完成所有人類任務(wù)的地步。我認(rèn)為這不僅會發(fā)生在編程領(lǐng)域，而是適用于所有行業(yè)。從社會角度來看，如果AI只是隨機(jī)取代50%的工作，那才是最具分裂性的結(jié)果。因?yàn)檫@意味著社會在向一半的人群傳遞這樣的信息：“你們是無用的，你們的價值被削弱了，你們是不必要的?！?/p>
主持人 邁克：那不如干脆說：“你們?nèi)紱]用了?！?/p>
Dario Amodei：是啊，我們終究要面對這個問題。我們必須重新思考“有用”與“無用”的含義，而不是沿用過去的觀念。過去的觀念已經(jīng)站不住腳了。我不知道解決方案是什么，但它一定不能是“我們?nèi)紱]用了”。這種虛無主義的答案不會帶我們走向任何積極的方向，我們必須想出別的辦法。
主持人 邁克：這聽起來可不怎么樂觀。
Dario Amodei：其實(shí)，我不完全同意。我想到了很多我日常做的事情，比如游泳、玩電子游戲。
再比如國際象棋。30年前，當(dāng)深藍(lán)（Deep Blue）擊敗卡斯帕羅夫（Kasparov）時，你可能會認(rèn)為人類國際象棋的意義已經(jīng)消失了。但事實(shí)正好相反，如今的人類國際象棋冠軍，比如馬格努斯·卡爾森（Magnus Carlsen），不僅是象棋界的明星，甚至還涉足時尚界，成為一種偶像般的存在。所以，我相信我們可以建立一個讓人類生活仍然充滿意義的世界，也許AI會幫助我們，或與我們合作，共同創(chuàng)造偉大的事物。因此，我并不那么悲觀。但如果我們處理不當(dāng)，可能沒有太多試錯的空間。
Adam Bunker（觀眾提問）：我有個問題，你已經(jīng)概述了這項(xiàng)技術(shù)在政治和經(jīng)濟(jì)方面的影響，但我想了解一下你如何看待其社會和道德層面的影響。
特別是因?yàn)?，我認(rèn)為大多數(shù)公眾看到聊天機(jī)器人時，認(rèn)為這只是一個更先進(jìn)的谷歌搜索，而不會去思考它對勞動力市場的沖擊等連鎖反應(yīng)。因此，我很好奇，在你們打造這家公司、開發(fā)商業(yè)產(chǎn)品的過程中，你如何看待這些問題之間的平衡？
Dario Amodei：首先，我認(rèn)為這些問題確實(shí)非常重要。
目前最讓我感到不安的是，人們對這項(xiàng)技術(shù)可能帶來的影響缺乏認(rèn)知。當(dāng)然，我可能是錯的，我可能在說一些瘋狂的事情——答案可能是，公眾的看法是對的，而我是錯的，我被自己的想法迷住了。我承認(rèn)這有可能。但如果不是這樣呢？
在我看來，人們對這項(xiàng)技術(shù)潛力的認(rèn)識是分層的，像是同心圓。可能有幾百萬個人，主要集中在硅谷，還有一些政策制定者，他們對這項(xiàng)技術(shù)的影響有更深入的認(rèn)識。
當(dāng)然，我們目前無法確定他們的判斷是否正確。但如果他們是對的，那么整個社會都誤解了這項(xiàng)技術(shù)。現(xiàn)在大多數(shù)人認(rèn)為這只是個聊天機(jī)器人。如果我們說它很危險，如果我們說它可能取代所有的人類工作，聽起來會很荒謬，因?yàn)樗麄兛吹降闹皇且粋€在某些情況下顯得有些“輕飄飄”的工具。但他們不知道即將發(fā)生什么。這也是為什么這個問題讓我徹夜難眠，我一直試圖讓更多人意識到它的潛在影響。
因此，我認(rèn)為第一步是提高認(rèn)知。
關(guān)于人類勞動和工作的未來，我們正處在一個可以用技術(shù)復(fù)制人類思維效果的時代，這引發(fā)了非常深刻的問題。我不認(rèn)為自己已經(jīng)有了答案。正如你所說的，這些問題甚至是道德層面、甚至是關(guān)于人生意義的探討，甚至可以說是“精神層面”的問題。我們必須共同尋找答案。
我能提供的只是一個初步的想法，那就是——人類的自我價值感長期以來都與創(chuàng)造經(jīng)濟(jì)價值的能力緊密相連。這種聯(lián)系在一定程度上植根于我們的心理，但它同時也是一種文化現(xiàn)象。
這確實(shí)促進(jìn)了現(xiàn)代經(jīng)濟(jì)體系的發(fā)展，但技術(shù)或許會揭示這個體系的“幻象”。這可能會成為我們認(rèn)知世界的又一次重大變革，就像我們發(fā)現(xiàn)地球繞著太陽轉(zhuǎn)，而不是太陽繞著地球轉(zhuǎn)，或者我們認(rèn)識到宇宙中存在許多太陽系，又或者我們明白有機(jī)物和無機(jī)物的分子本質(zhì)并無不同。這可能會是一場巨大的認(rèn)知沖擊。
但另一方面，我也注意到，人類仍然可以從不創(chuàng)造經(jīng)濟(jì)價值的活動中獲得深刻的滿足感。我發(fā)現(xiàn)自己可以非常享受一些事情，即使我并不是這個領(lǐng)域里最優(yōu)秀的人。
如果一個活動只有在“成為世界上最強(qiáng)者”時才具有精神上的價值，那么這本身可能就存在問題。我這么說，并不是因?yàn)槲也慌ψ非笞吭健∏∠喾?，我花了大量時間試圖在某些事情上做到極致，因?yàn)槲艺J(rèn)為這很重要。但無論如何，我們必須找到比“經(jīng)濟(jì)價值”更深層次的意義來源。
5.談DeepSeek：中國AI發(fā)展很猛，但并沒有推翻Scaling Law
主持人 邁克：幾個月前，DeepSeek發(fā)布時，這座城市里引發(fā)了不小的恐慌。有人把它稱作“人工智能的斯普特尼克時刻”（Sputnik moment）。這真的是一個“斯普特尼克時刻”嗎？從中我們能學(xué)到什么？這是否證明你所說的計算力、數(shù)據(jù)、算法優(yōu)化的規(guī)?；?guī)則仍然適用？還是說，這里面有一些捷徑？
Dario Amodei：關(guān)于DeepSeek，我認(rèn)為它并沒有推翻規(guī)?；▌t，反而是規(guī)?；▌t的一個例證。我之前發(fā)過一篇帖子，談到這里有兩種趨勢同時在發(fā)生。
第一，達(dá)到同等智能水平的模型訓(xùn)練成本每年下降約4倍。這是因?yàn)槲覀冊谒惴▋?yōu)化上不斷進(jìn)步，能夠以更少的資源實(shí)現(xiàn)相同的結(jié)果。換句話說，隨著時間推移，你可以用比一年前少4倍的成本，訓(xùn)練出與一年前相同水平的模型；或者在相同成本下，訓(xùn)練出比一年前強(qiáng)4倍的模型。
但這也意味著，從經(jīng)濟(jì)角度來看，人工智能的經(jīng)濟(jì)價值不斷上升，而其生產(chǎn)成本的下降反而促使我們投入更多資金，去訓(xùn)練更強(qiáng)的模型，因?yàn)楦鼜?qiáng)的模型帶來更高的經(jīng)濟(jì)回報。盡管訓(xùn)練成本每年下降4倍，但市場對更智能模型的需求增長速度更快，每年愿意投入的資金增長約10倍。因此，我們不斷推動AI的發(fā)展，因?yàn)檎麄€經(jīng)濟(jì)體系“渴望”更智能的模型。
所以這就是 DeepSeek 的背景。DeepSeek 只是成本下降曲線上的另一個數(shù)據(jù)點(diǎn)。
這并沒有什么特別的。并不是說美國公司花費(fèi)數(shù)十億美元，而 DeepSeek 只用了幾百萬美元。它們的成本并不離譜。確實(shí)，他們在模型上花了幾百萬美元，但美國公司花費(fèi)的金額也與此相當(dāng)。像我們一樣，他們在整個模型的研發(fā)和努力上投入了數(shù)十億美元。如果你看看他們擁有的芯片數(shù)量，其實(shí)大致相當(dāng)。
不過，我確實(shí)認(rèn)為這件事值得關(guān)注。因?yàn)橹钡阶罱蛑挥腥?、四、也許五家公司能夠開發(fā)前沿模型，而這些公司全都在美國。而 DeepSeek 是第一個真正顯著的案例——這是中國公司首次能夠在工程創(chuàng)新方面與 Anthropic、OpenAI 或 Google 等公司正面競爭。這確實(shí)非常重要，同時也讓我感到擔(dān)憂。
6.將推出Anthropic 經(jīng)濟(jì)指數(shù)，判斷AI在成為生產(chǎn)工具還是取代了人類
主持人 邁克：在我們開放提問之前，最后一個問題。您最近向 OSTP（白宮科技政策辦公室）提交了一份行動計劃，建議新一屆政府在這個領(lǐng)域應(yīng)該采取的措施。這個計劃的主要內(nèi)容是什么？
Dario Amodei：是的，我認(rèn)為這個計劃分為兩個部分：涉及安全和國家安全的三個要點(diǎn)，以及涉及機(jī)遇的三個要點(diǎn)。
首先是我們之前討論過的，確保繼續(xù)執(zhí)行這些出口管制。我真心認(rèn)為，在所有政策領(lǐng)域，不僅僅是人工智能，這都是美國國家安全最重要的政策。
第二點(diǎn)與“負(fù)責(zé)任的擴(kuò)展計劃”（Responsible Scaling Plans）有關(guān)。美國政府通過 AISI（人工智能安全研究所）一直在對模型進(jìn)行測試，以評估國家安全風(fēng)險，比如生物和核風(fēng)險。
Dario Amodei：嚴(yán)格來說，這個研究所的名字可能不太準(zhǔn)確，叫“安全研究所”可能會讓人誤以為它關(guān)注的是信任和安全（Trust & Safety），但實(shí)際上它的重點(diǎn)是衡量國家安全風(fēng)險。至于這個職能應(yīng)該由誰來執(zhí)行，叫什么名字，我們沒有具體的意見。但進(jìn)行這類風(fēng)險評估的機(jī)構(gòu)或機(jī)制是非常重要的。
這不僅僅是為了評估我們自己的安全風(fēng)險，還可以用于衡量對手的能力。比如，他們可以測試 DeepSeek 這樣的模型，以了解這些模型可能帶來的危險，特別是在這些模型被用于美國的情況下，它們能做什么，可能會帶來哪些風(fēng)險。因此，這就是第二點(diǎn)。
第三點(diǎn)是關(guān)于我們之前沒討論過的內(nèi)容——我非常擔(dān)心美國公司的工業(yè)間諜問題，尤其是像 Anthropic 這樣的公司。眾所周知，中國在大規(guī)模工業(yè)間諜活動方面有著豐富的經(jīng)驗(yàn)。我們正在采取各種措施，在“負(fù)責(zé)任的擴(kuò)展計劃”中也有更好的安全措施。但許多算法機(jī)密可能只是一段價值數(shù)億美元的幾行代碼，而毫無疑問，有人正在試圖竊取這些機(jī)密，而且他們可能已經(jīng)成功了。因此，美國政府在這方面提供更多支持，幫助保護(hù)我們的公司免受這一風(fēng)險，非常重要。這是關(guān)于安全的三個要點(diǎn)。
在機(jī)遇方面，我認(rèn)為主要有三個方面：
首先是該技術(shù)在應(yīng)用層面的潛力，比如醫(yī)療保健領(lǐng)域。我認(rèn)為我們有一個前所未有的機(jī)會，去攻克那些困擾人類數(shù)百年、數(shù)千年的重大復(fù)雜疾病。無論如何，我相信 AI 終將幫助我們實(shí)現(xiàn)這一點(diǎn)，但監(jiān)管政策可能會決定這需要 5 年還是 30 年。對于那些患病的人來說，這個時間差別是至關(guān)重要的。
第二個要點(diǎn)是能源供應(yīng)。目前的目標(biāo)是加快能源供應(yīng)，我們整個行業(yè)可能需要在 2027 年之前新增約 50 吉瓦（GW）的電力供應(yīng)，以滿足 AI 的計算需求。
50 吉瓦是什么概念？2024 年美國全國新增電力總量大約就是 50 吉瓦，而我們未來兩年就需要額外增加一半的總量。這將是一項(xiàng)巨大的挑戰(zhàn)。
最后一個重點(diǎn)是經(jīng)濟(jì)影響。正如我們討論過的，我認(rèn)為經(jīng)濟(jì)方面的擔(dān)憂與國家安全方面的擔(dān)憂一樣嚴(yán)峻。短期來看，我們需要管理技術(shù)變革帶來的沖擊，同時確保經(jīng)濟(jì)總量不斷增長。
從長期來看，我必須坦誠地說，AI 未來的發(fā)展方向就是——AI 將在幾乎所有領(lǐng)域都比幾乎所有人類做得更好。我們必須盡快正視這個現(xiàn)實(shí)。
目前，我們能做的最好事情就是測量和理解正在發(fā)生的變化。例如，我們計劃推出“Anthropic 經(jīng)濟(jì)指數(shù)”，通過隱私保護(hù)的方式分析 AI 的使用情況，以了解 AI 主要在哪些領(lǐng)域被應(yīng)用，它是作為輔助工具還是在取代人類工作？
但從長遠(yuǎn)來看，這將涉及稅收政策和財富分配的問題。
有一種看似天方夜譚的設(shè)想，但值得認(rèn)真思考：如果 AI 讓經(jīng)濟(jì)增長率達(dá)到 10%/年，那稅基將大幅增長，我們不僅能消除財政赤字，甚至可能有足夠的資源來應(yīng)對 AI 帶來的巨大社會變革。
這聽起來可能像是在癡人說夢，但我邀請大家認(rèn)真考慮這個可能性，并思考 AI 可能帶來的“瘋狂”變化。
7.數(shù)據(jù)匱乏不會成為阻礙AI發(fā)展的關(guān)鍵
Cam（觀眾提問）：我是 Cam Cary，來自布魯金斯學(xué)會。我在英國政府的 AI 安全報告中看到一個觀點(diǎn)讓我印象深刻：到 2030 年左右，AI 可能會面臨“數(shù)據(jù)耗盡”的問題。如果數(shù)據(jù)規(guī)模無法繼續(xù)擴(kuò)大，你們將如何推進(jìn) AI 發(fā)展？你們?nèi)绾巫屇Ｐ妥兊酶斆鳎?/p>
畢竟，雖然已經(jīng)有大量的文本、視頻和數(shù)字化信息，但仍有大量知識存在于人類大腦中，或是尚未被數(shù)字化的世界中。
Dario Amodei：關(guān)于這個問題，我有幾個回答。
首先，在過去六個月里，我們看到了一些創(chuàng)新，這些創(chuàng)新實(shí)際上并非我們發(fā)明的，最早由 OpenAI 提出，后來我們也有所改進(jìn)。這些創(chuàng)新減少了 AI 對于大量數(shù)據(jù)的依賴。
比如，"Self-Correcting Reasoning Models"（自我糾正推理模型），它們可以進(jìn)行“思考”，自己推敲復(fù)雜問題的答案，并基于自己的思考結(jié)果進(jìn)行訓(xùn)練。你可以把它想象成人類的思維方式——我們有時候會在腦海里制定一個計劃，然后再思考一遍，發(fā)現(xiàn)某些地方不合理，于是調(diào)整計劃。這種能力對于 AI 來說是一個重大突破。
目前，這主要應(yīng)用于數(shù)學(xué)和計算機(jī)編程任務(wù)。但我認(rèn)為，要將其擴(kuò)展到更廣泛的任務(wù)范圍并不困難。
其次，即使我們真的在 2030 年面臨數(shù)據(jù)耗盡的問題，如果 AI 的能力指數(shù)級增長再持續(xù)兩三年，我們可能已經(jīng)達(dá)到“天才級別”，那時許多問題可能已經(jīng)解決了。
此外，我們還可以直接讓 AI 參與科學(xué)研究，比如提出問題：“這個問題人類科學(xué)家解決不了，你能幫忙解決嗎？”
不過，我依然認(rèn)為有小概率的可能性是，以上兩種方法都無法順利推進(jìn)，而數(shù)據(jù)確實(shí)成為一個阻礙。
在一兩年前，我曾認(rèn)為數(shù)據(jù)匱乏可能是阻礙 AI 發(fā)展的前三大因素之一。但現(xiàn)在，我的懷疑已經(jīng)被部分消解，雖然還不能完全排除這個風(fēng)險，但目前的研究表明，它可能不會成為決定性的瓶頸。
主持人 邁克：有哪些三大因素可能會導(dǎo)致（這個進(jìn)程）停止？
Dario Amodei：這個進(jìn)程（the show）。實(shí)際上，在這一點(diǎn)上，我認(rèn)為最有可能導(dǎo)致其停止的首要因素是GPU供應(yīng)的中斷。
另一個可能的因素是，如果股市出現(xiàn)足夠大的動蕩，影響到這些公司的資本化?；旧?，這是一種對技術(shù)未來發(fā)展的信念問題，如果大家認(rèn)為技術(shù)不會繼續(xù)前進(jìn)，就會形成一種自我實(shí)現(xiàn)的預(yù)言，導(dǎo)致資本化不足。
第三個因素，我認(rèn)為是如果我或我們整個領(lǐng)域在關(guān)于這種新范式的前景判斷上是錯誤的——這種“從自身數(shù)據(jù)中學(xué)習(xí)”（自我監(jiān)督學(xué)習(xí)）的新范式。如果最終它并不像我們想象的那樣廣泛適用，或者它實(shí)際上需要更多的洞察才能真正發(fā)揮作用，而我們目前還沒有掌握這些洞察的話，那也可能導(dǎo)致進(jìn)程停滯。
8.談AI濫用風(fēng)險：就像在南極建立了一個“天才國家”
Esther Dyson（觀眾提問）：謝謝，抱歉。我是Esther Dyson，目前正在寫一本書，叫《Term Limits》，討論人類和人工智能的“任期限制”等話題。
我有一個關(guān)于“生存風(fēng)險”的問題。在我看來，真正的風(fēng)險其實(shí)是人類——他們比AI更難以預(yù)測。更具體地說，問題在于人類及其商業(yè)模式如何利用AI。
然后，還有那個著名的“回形針問題”：你讓AI制造回形針，它就會不顧一切地去完成這個目標(biāo)，忽視其他一切。這雖然是個隱喻，但現(xiàn)在全球都在瘋狂建設(shè)數(shù)據(jù)中心，幾乎是在從其他所有領(lǐng)域抽取資源，以支持AI的數(shù)據(jù)池、數(shù)據(jù)中心等。某種意義上，AI正在為社會設(shè)定一個“適應(yīng)度函數(shù)”（fitness function），但這個適應(yīng)度函數(shù)可能會損害人類的價值，而人類的價值不僅僅體現(xiàn)在他們的智力能力上。
Dario Amodei：我想說，就像AI帶來了許多不同的好處一樣，每當(dāng)我們推出一個新的AI模型，我們都會預(yù)見到十個預(yù)期中的好處，但同時總會出現(xiàn)一些我們沒想到的用途。每次發(fā)布新模型，都會有用戶提出新的使用場景，我們自己可能都沒想到AI可以這樣用。
但不幸的是，我們不能說“這個風(fēng)險比那個風(fēng)險更重要”，因?yàn)锳I確實(shí)存在許多不同的風(fēng)險。如果我們想要順利度過這個變革時期，我們就必須同時應(yīng)對所有這些風(fēng)險。我認(rèn)為，人類濫用AI確實(shí)是一個重大風(fēng)險。
同時，我也認(rèn)為AI本身可能會變得難以控制。這就像是，如果我們在南極洲建立了一個“1000萬天才的國家”，我們勢必會面臨一系列問題——比如，這些天才是否屬于某個現(xiàn)有國家？他們在為誰的利益服務(wù)？這會對世界產(chǎn)生什么影響？它的結(jié)果是利是弊？此外，我們還需要考慮，是否有人可以濫用這個“天才國家”？以及，這個“天才國家”本身的意圖是什么？
至于你剛才提到的更廣泛的社會影響，我也同意——如果越來越多的資源被用于AI，那么在許多方面它的效率會提高，但也可能加劇現(xiàn)有的環(huán)境問題。這是一個真實(shí)的風(fēng)險。當(dāng)然，也可以反過來問：AI是否能幫助我們更好地解決環(huán)境問題？
或許，我們投入大量資源發(fā)展AI，然后AI最終幫助我們解決環(huán)境問題，導(dǎo)致整體情況比之前更好。我對此是樂觀的，但前提是多個條件必須同時成立。我們正處在一個劇烈變革的時代，因此，我們需要做出極其明智的決策，才能順利度過這個階段。
我記得提問者的名字，可能我記錯了，但我想這位提問者的父親曾說過一句話。我是一名物理學(xué)家，我聽過他的一段視頻，他說：“我們今天面臨許多棘手的問題，似乎無法解決。但回想過去，我們也曾面對過看似無解的危機(jī)，比如二戰(zhàn)、冷戰(zhàn)、核毀滅的威脅，但我們最終還是挺了過來?！?當(dāng)然，這不意味著我們這次一定能成功，但至少有希望。
9.未來的AI模型是否具有感知能力?
卡門·多明格斯（觀眾提問）：嗨，我是卡門·多明格斯，我是一名AI專家，背景包括開發(fā)和實(shí)施，最近有些側(cè)重于政策方面。我非常清楚大家普遍缺乏對AI是什么、不是AI是什么、以及它能做什么、不能做什么的認(rèn)知。但我今天跳過這部分內(nèi)容。我也做一些關(guān)于這一點(diǎn)的科學(xué)傳播。但我今天的問題是，幾個月前，您聘請了凱爾·費(fèi)什作為AI福利研究員，研究未來的AI模型是否具有感知能力，是否值得在未來給予道德上的考慮和保護(hù)。如果您能談?wù)勥@個問題的原因，以及是否有類似的人的福利研究團(tuán)隊(duì)在進(jìn)行，那個會很有意思。是的，所以這個話題可能會讓我聽起來完全瘋了。
Dario Amodei：我的觀點(diǎn)是，如果我們構(gòu)建這些系統(tǒng)，它們在許多細(xì)節(jié)上與人類大腦的構(gòu)造不同，但神經(jīng)元的數(shù)量、連接的數(shù)量卻非常相似。一些概念也非常相似，我們可以從功能主義的角度來看待AI，關(guān)于道德福利、體驗(yàn)的性質(zhì)，甚至是意識的問題。所以我認(rèn)為我們應(yīng)該至少考慮這個問題：如果我們構(gòu)建這些系統(tǒng)，它們做的事情與人類一樣，似乎也具備許多相同的認(rèn)知能力。
如果它像叫起來像鴨子，走起來向鴨子，也許它就是鴨子。我們應(yīng)該認(rèn)真思考，如果我們部署了成千上萬的這些AI，而我們沒有考慮它們的體驗(yàn)，它們可能根本沒有體驗(yàn)，但這真是一個非常難以回答的問題。我們應(yīng)該非常認(rèn)真地思考。
這不僅僅是哲學(xué)問題。我很驚訝地發(fā)現(xiàn)，實(shí)際上你可以做一些很實(shí)用的事情。我們正在考慮開始部署的是，當(dāng)我們在部署環(huán)境中部署我們的模型時，給模型一個按鈕，寫著“我辭職了”，模型可以按下這個按鈕。這只是一個非?；镜钠每蚣?。我們假設(shè)，如果模型沒有感知，如果它非常討厭某項(xiàng)工作，給它按下“我辭職了”按鈕的能力，如果你發(fā)現(xiàn)模型在做一些非常不愉快的事情時經(jīng)常按這個按鈕。也許這不意味著你會被說服，但也許你應(yīng)該關(guān)注一下。聽起來很瘋狂，我知道。這可能是我到目前為止說的最瘋狂的事情。
10.AGI的世界，人類何以成為“人類”？
主持人 邁克：你剛才提到的關(guān)于理解人工智能模型經(jīng)驗(yàn)的問題讓我開始有點(diǎn)沉思。讓我最后問一個問題，在你設(shè)想的世界中，作為人類意味著什么？
Dario Amodei：我認(rèn)為，我的看法是，最讓我認(rèn)為人類是“人類”的地方可能有兩個方面。
第一個讓我覺得最“人性化”的地方是，努力處理我們與他人的關(guān)系、我們對他人的責(zé)任、我們在與他人的關(guān)系中所面臨的困難以及我們?nèi)绾慰朔@些困難。當(dāng)我想到人們最引以為傲的事和人們犯下的最大錯誤時，它們幾乎總是與這些關(guān)系相關(guān)。人工智能可能會幫助我們做得更好，但我認(rèn)為這將始終是人類的基本挑戰(zhàn)之一。也許第二個挑戰(zhàn)是做一些非常困難的事情，這一點(diǎn)我會再重復(fù)一次，我認(rèn)為這不會被比我們更聰明、能做我們做不到的事情的人工智能系統(tǒng)所影響。
我還記得人類的棋類冠軍依然是名人。我可以學(xué)會游泳或?qū)W會打網(wǎng)球，而我不是世界冠軍，并不意味著這些活動就失去了意義。你知道，即使是我在50年或100年后做的事情，我希望這些事情仍然保有它們的意義，以及人類努力追求這些事情的能力，而不是放棄。我認(rèn)為這兩點(diǎn)可能是我會認(rèn)同的。
