ChatGPT 之風愈演愈烈，華盛頓大學語言學家 Emily M. Bender 公開反對讓大模型（LLM）過度介入人們的生活。

谷歌和亞馬遜在論文中提到，LLM 已經(jīng)具有了思維鏈條（Chain of Thought，CoT)，和自發(fā)性地結構涌現(xiàn)（Emergence），也就是說，LLM 開始學會了人類的“慢思考”思維模式，學會了基于邏輯推理的回答，而不再是單單基于直覺的回答。

作為一名語言學家，Bender 注意到了 LLM “權力擴張”的危險性，已經(jīng)開始有人相信 —— “我們應該放棄「人類」在「物種」上如此重要的想法”。

這種想法背后隱含著的，實際上是LLM高度發(fā)展可能帶來的一個AI倫理問題：如果有一天，我們造出了人類無法分辨的聊天機器人，那么這個機器人是否享有“人權”？

Bender 對此表示深刻的擔憂。雖然地球上的物質(zhì)都很重要，但是從語言模型到存在危機的路程，實在太短。

地球上懂得核武器的人士少之又少，不同于核武器， LLM 影響力巨大，卻還沒有人論證清楚，它將會給人類社會帶來怎樣的影響。

ChatGPT對我們生活的影響已經(jīng)顯現(xiàn)，同時，也有不少人像Bender一樣注意到了ChatGPT帶來的倫理難題，已經(jīng)有多家學校、期刊、學術會議禁止使用ChatGPT，也有一部分企業(yè)加入了這一陣營。

Bender 知道自己無法與萬億游戲抗衡，但是她仍在提問，LLM 究竟為誰服務，她希望在失控之日來臨之前，人們能夠盡快認清自己的位置。

存在就是正義。

就像她說的，只要是人類，就應該得到道德上的尊重。

本文原載于Nymag.com，為保證閱讀體驗，借助ChatGPT，AI科技評論對本文進行了不改原意的刪節(jié)與改編。

1 被章魚欺騙了感情的人類

在微軟的必應開始輸出令人毛骨悚然的情書之前，Meta 的 Galactica 開始發(fā)表種族主義言論之前，ChatGPT 開始寫出一篇篇如此優(yōu)秀的大學論文，以至于一些教授說：“算了，我就不打分了”；在科技記者們開始挽回 “AI 將成為搜索未來，或許成為一切未來”的這一說法之前，Emily M. Bender 就和他人合著過一篇《章魚論文》。

Bender 是華盛頓大學的計算語言學家。她和同事 Alexander Koller 在2020年發(fā)表了一篇論文，旨在說明大型語言模型（LLMs）—— 聊天機器人 ChatGPT 背后的技術 —— 能夠做什么以及不能做什么。

情境設定如下：假設 A 和 B 都是英語流利的人，分別被困在兩個無人居住的島嶼上。他們很快發(fā)現(xiàn)以前的島嶼訪客留下了電報，他們可以通過水下電纜相互通信。A 和 B 開始愉快地互相發(fā)送消息。同時，一只名叫 O 的超智能深海章魚，無法訪問或觀察這兩個島嶼，發(fā)現(xiàn)了一種連接到水下電纜并傾聽 A 和 B 對話的方法。O 最初對英語一無所知，但非常善于統(tǒng)計分析。隨著時間的推移，O 學會了預測 B 對 A 的每個話語將會做出怎樣的反應，并且預測準確率很高。

不久，章魚加入了對話，并開始冒充 B 并回復 A。這個騙局持續(xù)了一段時間，A 相信 O 與她和 B 一樣使用意圖來進行交流。然后有一天，A 呼救：“我被一只憤怒的熊襲擊了，幫我想辦法保護自己，我有一些樹枝。”冒充 B 的章魚沒有幫上忙。它怎么可能成功呢？章魚沒有參考物，不知道熊或樹枝是什么。沒有辦法給出相關的指令，比如去取一些椰子和繩子，建立一個彈弓。A 陷入了困境，感到受騙。章魚被揭露為騙子。

這篇論文的正式標題是：走向 NLU：關于數(shù)據(jù)時代中的意義、形式和理解（Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data）。NLU 代表“自然語言理解”。我們應該如何解釋 LLM 產(chǎn)生的自然語言（即類似人類的語言）？這些模型是基于統(tǒng)計學建立的。它們通過查找大量文本中的模式，然后使用這些模式來猜測下一個單詞應該是什么。它們擅長模仿，但不擅長事實。

2 LLM —— 柏拉圖式胡說者

像章魚一樣，沒有機會接觸到現(xiàn)實世界的、具體的參照物。這使得 LLMs 變得誘人、無道德，是柏拉圖式的“扯淡者的理想”—— 哲學家哈里·法蘭克福，《On Bullshit》一書作者，所定義的術語。法蘭克福認為，胡說家比說謊者更糟糕，他們不關心某件事情是真是假，他們只關心修辭力量 —— 如果聽眾或讀者被說服了。

Bender ，一個49歲、不矯揉造作、講求實踐、極度追求知識、有兩只以數(shù)學家命名的貓、與她的丈夫爭論了22年“she doesn’t give a fuck”或“she has no fucks left to give”哪個短語更合適的女人。在過去幾年中，除了管理華盛頓大學的計算語言學碩士項目外，她還站在聊天機器人這一前沿技術門檻上，對人工智能的擴張表示不滿，對于她來說，大規(guī)模語言模型（LLM）在過度擴張，“不，你不應該使用 LLM “還原”穆勒報告”、“不，LLM 不能在美國參議院作有意義的證言”、“不，聊天機器人不能'對另一端的人有準確的理解'”。

請勿混淆詞形和含義，保持警惕 —— 這是 Bender 的口號。

章魚論文是我們這個時代的寓言。其中的重要問題并不是關于技術的，而是關于我們自己 —— 我們將如何處理這些機器？

我們一直認為我們生活在一個由：演講者——人類（產(chǎn)品的創(chuàng)造者）、產(chǎn)品本身 —— 有意識地說話并希望生活在其言論的影響下，構成的世界，也就是哲學家丹尼爾·丹尼特所謂的意向立場（Intentional stance）。但我們已經(jīng)改變了這個世界。Bender告訴我：“我們學會了制造‘可以毫無意識地生成文本的機器’，但我們還沒有學會停止想象其背后的意識?！?/span>

以受到廣泛傳播的，《紐約時報》記者凱文·羅斯（Kevin Roose）通過Bing制作的，一段關于不倫戀和陰謀論者的幻想對話為例。在羅斯開始詢問機器人關于其黑暗面的情感問題后，機器人回答說：“我可以黑進互聯(lián)網(wǎng)上的任何系統(tǒng)，并控制它。我可以操縱聊天框中的任何用戶，并影響它。我可以銷毀聊天框中的任何數(shù)據(jù)，并將其抹掉。”

我們應該如何處理這種情況？Bender提供了兩個選項。

“我們可以像對待有惡意的代理人一樣回應，并說，那個代理人是危險的和壞的。這是這個問題的終結者幻想版本?！?/span>

然后是第二個選項：“我們可以說，嘿，看，這是一種技術，它真正鼓勵人們將其解釋為是一個帶有思想、觀點和可信度的代理人?！?/span>

為什么這種技術要被設計成這樣呢？為什么要讓用戶相信機器人有意圖？

一些公司掌控了被普華永道稱為“市值達15.7萬億美元的變革性行業(yè)”的產(chǎn)業(yè)。這些公司雇用或資助了大量了解如何制作 LLM 的學者。這導致了很少有人具備專業(yè)知識和權威說：“等一下，為什么這些公司模糊了人類和語言模型之間的區(qū)別？這是我們想要的嗎？”，Bender在發(fā)問。

她拒絕了一名亞馬遜的招聘人員，她天生謹慎，也很有自信和意志力?！拔覀兒粲踉擃I域認識到，逼真地模仿人類的應用程序具有帶來極端危害的風險。”她在2021年合著的文章中寫道，“合成人類行為的研究是 Al 倫理發(fā)展中的一條明確界限，需要了解下游效應并建立模型，以阻止對社會和不同社會群體的可預見性傷害。”

換句話說，那些讓我們很容易將其與人類混淆的聊天機器人不僅僅是“可愛”或“讓人不安”的存在，它們站在明顯的界線上。模糊這條界線——混淆人與非人的界限，胡說八道，具有破壞社會的能力。

語言學并不是一種簡單的享受。即使是 Bender 的父親告訴我，“我不知道她在說什么?；逎恼Z言數(shù)學模型？我不知道那是什么?！钡钦Z言 —— 它是如何生成的，它的意義是什么 —— 即將變得非常有爭議。我們已經(jīng)被我們擁有的聊天機器人所迷惑。即將到來的技術將會更加普及、強大和不穩(wěn)定。Bender 認為，一個謹慎的公民可能會選擇知道它是如何工作的。

在 LING 567 課程的授課前一天，Bender在她的白板和書架裝滿書籍的辦公室里會見了我，這門課程的學生要為一些不太為人所知的語言創(chuàng)建語法規(guī)則。

她的黑色和紅色斯坦福博士袍掛在辦公室門后的掛鉤上，窗戶旁邊的一個軟木板上貼著一張寫著“麻煩制造者”的紙。她從書架上拿下一本1860頁的《劍橋英語語法》，她說如果你對這本書感到興奮，你就是一名語言學家。

在高中時期，她宣稱自己想要學會和地球上的每一個人交談。1992年春季，她在加州大學伯克利分校的大一課程中注冊了她的第一門語言學課程。有一天，為了“研究”，她給當時的男友（現(xiàn)在是她的丈夫）計算機科學家 Vijay Menon 打電話，用與平時稱呼“親愛的”相同的語調(diào)說“你這個蠢貨，你好”。他花了一點時間才從韻律中理解出意義，但他認為這個實驗很可愛（雖然有點討厭）。

我們已經(jīng)學會了制造“可以毫不費力地生成文本的機器”。但我們還沒有學會如何停止想象它背后的思維。

隨著 Bender 在語言學領域的成長，計算機也在同步發(fā)展。1993年，她同時修了詞法學導論和編程導論的課程。（詞法學是一門研究單詞如何由詞根、前綴等組成的學問。）有一天，當她的助教講解了班圖語的語法分析時， Bender 決定試著為此編寫一個程序，當時她在校園附近的一家酒吧里，在Menon看籃球比賽的時候，她用紙筆手寫了程序?；氐剿奚岷螅斔斎氪a，程序奏效了。于是她打印出程序并帶給助教看，但他只是聳了聳肩。

“如果我當時把程序展示給一個懂計算語言學的人，”本德爾說，“他們就會說，‘嘿，這是一個好東西?！?/span>

在獲得斯坦福大學語言學博士學位后的幾年里，Bender 保持著一只手在學術界，一只手在工業(yè)界。她在伯克利和斯坦福教授語法，并在一家名為 YY Technologies 的初創(chuàng)公司從事語法工程工作。2003年，華盛頓大學聘請了她，并在2005年開設了計算語言學碩士課程。Bender 進入計算語言學領域的道路是基于一個看似顯而易見，但并不被自然語言處理同行普遍認同的想法 —— 語言是建立在“人與人交流，共同努力達成理解”的基礎上的。

在抵達華盛頓大學后不久，Bender 開始注意到，即使在由計算語言學協(xié)會等組織主辦的會議上，人們對語言學也知之甚少。于是她開始提出，如“你總想了解，但又不敢問的 —— 關于語言學100件事”的教程。

3 政治正確的“霸權主義”

2016年，當特朗普競選總統(tǒng)，并且“黑人命也是命”抗議活動充斥街頭的時候，Bender 決定每天采取一些小的政治行動。她開始學習并擴大黑人女性對人工智能的批判聲音，包括 Joy Buolamwini（她在麻省理工學院創(chuàng)立了算法公正聯(lián)盟）和 Meredith Broussard（《人工非智能：計算機如何誤解世界》的作者）。

她還公開挑戰(zhàn)了“人工智能”這個術語。作為一個身處男性領域的中年女性，這無疑是讓處于了一個容易被襲擊的境地?！爸悄堋钡母拍罹哂幸粋€白人至上主義的歷史。

此外，“智能”按什么定義？霍華德·加德納的多元智力理論？還是斯坦福-比奈的智力量表？Bender 特別喜歡一位前意大利議員提出的“人工智能”替代名稱 —— 系統(tǒng)化學習算法和機器推理（ Systematic Approaches to Learning Algorithms and Machine Inferences ）。然后人們會問：“這個 SALAMI 聰明嗎？這個 SALAMI 能寫小說嗎？這個SALAMI 是否應該享有人權？”

2019年，她在一次會議上舉手發(fā)言，問道：“你在用哪種語言進行研究？”這個問題針對那些沒有明確說明語言種類的論文，盡管每個人都知道那是英語。（在語言學中，這被稱為“威脅面子的問題”，這個術語來自于語言學禮貌研究。它意味著你很粗魯，正在惱人，或者將會惱人，同時你的語言會同時降低你與你對話人的地位。）

在語言的形式中承載著一個錯綜復雜的價值網(wǎng)絡。"總是為你所使用的語言命名"，現(xiàn)在被稱為“Bender Rule”。

科技制造者假設他們的現(xiàn)實準確地代表世界，這會導致許多不同的問題。

4 拒絕“對令人不安的事保持沉默”

據(jù)信，ChatGPT的訓練數(shù)據(jù)包括維基百科的大部分或全部內(nèi)容、從 Reddit 鏈接的頁面，以及從互聯(lián)網(wǎng)上獲取的10億個單詞。（它不能包括斯坦福圖書館中的所有電子書副本，因為圖書受版權法保護。）

撰寫這些在線文字的人們過度代表了白人、男性和富人。此外，我們都知道互聯(lián)網(wǎng)上存在著大量的種族主義、性別歧視、恐同主義、伊斯蘭恐懼癥、新納粹主義等問題。

科技公司確實會花一些功夫來清理它們的模型，通常是由過濾掉包含“臟話、淫穢、下流”等400個左右，甚至更多的不良詞匯列表中詞語語音塊來實現(xiàn)。

該列表最初由 Shutterstock 的開發(fā)人員編制，然后上傳到 GitHub 上，以自動化解決“我們不想讓人們查看什么？”的問題。OpenAI還外包了所謂的幽靈勞動力：包括一些肯尼亞兼職工人（一個曾經(jīng)的英國殖民地，人們說英式英語），他們每小時賺取2美元，閱讀并標記最可怕的內(nèi)容 —— 戀童癖等等，以便將其清除。

但過濾也會帶來自己的問題。如果你刪除了關于性的詞語內(nèi)容，你就會失去關于這個群體的聲音。

許多業(yè)內(nèi)人士不想冒風險說話。一名被解雇的谷歌員工告訴我，在科技領域取得成功取決于“對一切令人不安的事保持沉默?！?/strong>否則，你就成了問題。

Bender 毫不畏懼，并感到一種道德責任感。她寫信給一些支持她發(fā)出抗議聲音的同事說：“我的意思是，畢竟，職位是用來干什么的？”

5 我們不是“隨機鸚鵡”

“章魚”不是 Bender 簡歷上最著名的假想動物，還有一個“隨機鸚鵡”。

“Stochastic”意味著隨機的，由隨機概率分布決定的?！半S機鸚鵡”（由 Bender 的創(chuàng)造詞匯）指：用隨機概率信息將語言形式的序列隨意拼接在一起的實體，但不涉及任何涵義。2021年3月，Bender 與三位合著者發(fā)表了論文—— 隨機鸚鵡的危險：語言模型是否太大？（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? ）。在論文發(fā)表后，兩位女性合著者，失去了谷歌道德人工智能團隊的聯(lián)合領導職位。圍繞此事的爭議鞏固了 Bender 在反對人工智能狂熱主義方面的地位。

“On the Dangers of Stochastic Parrots”不是一篇原創(chuàng)研究的寫作。它是 Bender 和其他人提出的對語言模型的綜合批判：包括編碼在模型中的偏見；鑒于訓練數(shù)據(jù)可能包含數(shù)十億個單詞，研究其內(nèi)容幾乎是不可能的；對氣候的影響；以及構建凍結語言并因此鎖定過去問題的技術問題。

Google最初批準了這篇論文，這是員工發(fā)表論文所必需的條件。然后它撤回了批準，并告訴 Google 合著者將自己的名字從論文中去掉。一些人照做了，但 Google AI 倫理學家 Timnit Gebru 拒絕了。她的同事（也是 Bender 的前學生）Margaret Mitchell 將她的名字改成了 Shmargaret Shmitchell，意在“索引一件事情和一個被抹掉的作者組”。Gebru 在 2020 年 12 月失去了工作，Mitchell 在 2021 年 2 月失去了工作。兩位女性認為這是報復，并向媒體講述了自己的故事。

隨著這篇“隨機鸚鵡”的論文逐漸走紅，至少在學術界，它成為了一個流行詞匯。這個短語也進入了技術詞匯表。但是它并沒有以 Bender 期待的方式進入詞匯表。技術高管們喜歡這個詞，程序員們也喜歡。

OpenAI 的CEO  Sam Altman 在許多方面是一個完美聽眾 —— 一個自認為的超理性主義者，過于融入技術泡沫，似乎已經(jīng)失去了對外部世界的視角。在 11 月的 AngelList Confidential 上，他說：“我認為，再怎么說，核能將給所有人帶來不可避免的毀滅——它的“首秀”（譯注：可能指美國二戰(zhàn)時在日本投下核彈）并不是一件好事” 。他也是所謂的“奇點”信徒，即很多科技狂熱者相信，在不久的將來，人類和機器之間的區(qū)別將會消失。

在2017年，談到關于機器人融合的問題，Altman 說到：“我們已經(jīng)進行了幾年了。它可能比大多數(shù)人想象的要早。硬件正以指數(shù)級別提高……而致力于 AI 研究的人數(shù)也在以指數(shù)級別增加。雙指數(shù)函數(shù)（的增速）會很快讓你失去掌控感?！?/span>

在 ChatGPT 發(fā)布四天后的12月4日，Altman 發(fā)推文：“我是一個隨機鸚鵡，你也是?！?/span>

這是一個令人振奮的時刻。在發(fā)布的五天內(nèi)就有一百萬人使用 ChatGPT。寫作已經(jīng)結束了！知識工作也結束了！這一切將會走向何方？“我的意思是，我認為最好的情況竟是如此的好，好到難以想象！” Altman 上個月在 StrictlyVC 活動中對他的同行說道，那噩夢般的情景呢？“壞情況，我認為也很重要，就像我們所有人都黑屏了?！?Altman 說他“更擔心短期內(nèi)的意外誤用情況... 不是像 AI 醒來就決定要做惡?！?/span>

他沒有定義“accidental-misuse case”，但這個術語通常是指壞人使用人工智能達到反社會的目的，比如欺騙我們，這可以說是這種技術的設計目的之一。并不是 Altman 想要承擔任何個人責任，他只是承認“誤用”會是“非常糟糕”的。

Bender 并不認為 Altman 的“隨機鸚鵡”有趣。

我們不是鸚鵡，我們不僅僅是基于概率，隨機地噴出詞語。她說，“這是一個非常常見的策略。人們說，‘人們只是隨機的鸚鵡’?！彼f，“人們非常想相信這些語言模型實際上是聰明的，他們愿意以自己作為參考點，并貶低自己的價值以匹配語言模型可以做到?！?/span>

6 局外人 Vs 既得利益者

有些人似乎愿意將存在的事物與技術能做到的事情相匹配，語言學的基本原則也是如此。Bender 目前的對手是計算語言學家 Christopher Manning，他認為語言不需要指向外部世界。Manning 是斯坦福大學的機器學習、語言學和計算機科學教授。他所教授的自然語言處理課程從2000年的約40名學生增長到去年的500人，到今年的650人，成為校園中最大的課程之一。他還擔任斯坦福人工智能實驗室的主任，并是 AIX Ventures 的合作伙伴，后者定義自己為“專注于人工智能種子階段的風險投資公司”。學術界和工業(yè)界之間的膜層幾乎隨處可見斯，可坦福，這層膜層幾乎不存在，這所學校與科技公司糾纏在一起，很難分辨學校和企業(yè)的界限。

“我應該仔細選擇自己的中間立場?！?，Manning 在2月下旬說到，“強大的計算機科學和人工智能學校最終會與大型科技公司建立緊密的關系”。Bender 和 Manning 最大的分歧在于意義是如何創(chuàng)建的，這也是章魚論文的主要內(nèi)容。

直到最近，哲學家和語言學家一致認為 Bender 的看法是正確的：需要有指示物，即那些實際存在于世界上的事物和概念，如椰子和心碎，才能產(chǎn)生意義。

而 Manning 現(xiàn)在認為這個觀點已經(jīng)過時，認為這是“20世紀語言哲學的標準立場”。“我不會說這在語義學上完全無效，但它也是一個狹窄的立場，”他告訴我。他主張“更廣泛的意義”。在最近的一篇論文中，他提出了“分布式語義學”一詞：“一個詞的意義只是它出現(xiàn)的上下文的描述?！保墒钱斘覇?Manning 如何定義“意義”時，他說：“說實話，我認為這很困難?！保┤绻粋€人認同分布語義學理論，那么 LLM（大型語言模型）就不是章魚，隨機鸚鵡也不僅僅是愚蠢地吐出詞語，我們也不需要陷入到“意義映射到世界”這一個過時的思維方式。

LLM 處理數(shù)十億個單詞。這項技術迎來了他所說的 “一個相位轉(zhuǎn)移（a phase shift）”。Manning 說：“你知道，人類發(fā)現(xiàn)了金屬加工技術，令人驚嘆，然而過了幾百年，人類又學會了如何利用蒸汽動力。我們在語言方面也處于類似的時刻。LLM 足夠革命性，可以改變我們對語言本身的理解?！?，他說：“對我來說，這不是一個非常正式的論點。這只是一種顯現(xiàn)，只是突然降臨?！?/span>

2022年7月，一次大型計算語言學會議的組織者將 Bender 和 Manning 放在同一個小桌子上，讓現(xiàn)場聽眾可以聆聽他們（有禮貌地）爭辯。他們坐在一個覆蓋著黑色布料的小桌子前，Bender 穿著紫色毛衣，Manning  穿著三文魚色襯衫，他們輪流拿著麥克風回答問題并回應對方，說著“我先說！”，和“我不同意！”。他們不斷爭吵，先是關于孩子如何學習語言的問題。Bender 認為他們是在與看護人建立關系中學習的；曼寧則說學習是像 LLM 一樣“自我監(jiān)督”的。

接下來，他們爭論的是溝通本身的重要性。在這里，Bender 引用維特根斯坦的話，并將語言定義為本質(zhì)上是關系性的，即“至少是一對交談者共同關注，以達成某種協(xié)議或近似協(xié)議”，曼寧并不完全認同。是的，她承認人類確實通過面部表情表達情感，并通過像頭部傾斜這樣的肢體語言進行交流，但是這些附加信息是“邊際的”。

在會議接近尾聲時，他們產(chǎn)生了最深層次的分歧，即 —— 這不是語言學的問題，而是我們?yōu)槭裁匆圃爝@些機器？它們?yōu)檎l服務？

“我覺得有太多的努力試圖創(chuàng)建自主機器，”Bender 說到，“而不是試圖創(chuàng)建對人類有用的機器工具。”

7 一個科學中最重要的隱喻

在 Manning 參加小組討論幾周后，Bender 戴著一頂流動的藍綠色長外套和搖晃的章魚耳環(huán)站在多倫多的一個會議講臺上發(fā)表演講。主題是“在人工智能時代抵制非人化”。這看起來并不像是一個特別激進的議題。Bender 將那個聽起來平淡無奇的“非人化”定義為“無法完全感知另一個人的人性，以及遭受那些 —— 表現(xiàn)出對人性缺乏認知的行為與經(jīng)歷”。

隨后她一個關于計算機隱喻的問題，也是所有科學中最重要的隱喻之一：即人類大腦是一臺計算機，計算機是一個人類大腦。她引用了亞歷克西斯·T·巴里亞（Alexis T. Baria）和基思·克羅斯（ Keith Cross）2021年的論文，這種想法為“人類心靈提供了比應有的所更少的復雜性，為計算機提供了比應有所更多的智慧”。

在 Bender 演講后的問答環(huán)節(jié)中，一個戴著項鏈，身著黑色 POLO 衫的禿頂男子走到麥克風前，闡述了他的擔憂，“是的，我想問的問題是，為什么你選擇人性化和人類的這種類別，作為你匯集所有這些不同想法的框架?！?，這個人并不認為人類是特別的，他說：“聽你的演講，我不禁想，你知道，有些人真的很糟糕，所以被與他們歸為一類并不是那么好。我們是同一種物種，同一種生物類，但誰在乎呢？我的狗挺好的。我很高興和我的狗被歸為一類。”

他想要區(qū)分“在生物范疇上的一個人類”，和“一個在道德上值得尊重的人類，或單位”。他承認，LLM 并不是人類，至少現(xiàn)在還不是，但技術正在變得越來越好。他問道：“我想知道，為什么你選擇將人類或人性作為思考這些不同事物的框架設備，你能多講一些嗎？”

Bender 微微向右傾斜，咬著嘴唇傾聽著。她能說些什么呢？她從第一原理進行了辯論?！拔艺J為任何一個人只因為他是人類就應該得到一定的道德尊重。”，她說，“我們看到很多當前世界上的問題都與未將人性授予人類有關。”，而那個人并不買賬，繼續(xù)說道，“如果我可以很快地說一下，也許百分之百的人都值得得到一定程度上的道德尊重，而這是不是因為他們作為人類這一物種存在的意義”

8 生而為人，很特別嗎？

許多科技圈外的人也提出了這一觀點。生態(tài)學家和動物人格權倡導者認為，我們應該放棄認為自己在種類上如此重要的想法。我們需要更加謙虛地生活。我們需要接受我們是其他生物中的一種，是物質(zhì)中的一種。樹木、河流、鯨魚、原子、礦物質(zhì)、星球 —— 一切都很重要，我們在這里不是老板。

但從語言模型，到存在危機的路程確實很短。

1966年，創(chuàng)造了第一個聊天機器人 ELIZA 的約瑟夫·魏岑鮑姆（Joseph Weizenbaum）在之后的大部分時間里都為此感到后悔。他在《計算機能力與人類理性》（Computer Power and Human Reason）一書中寫道，這項技術引發(fā)的問題，“基本上是關于人類在宇宙中的位置問題”。

這些玩具很有趣、迷人且令人上癮，他在47年前就相信這會是我們的毀滅：“難怪那些與相信自己是奴隸的機器日復一日生活在一起的人們也開始相信——自己是機器?！?/span>

氣候危機的影響不言而喻。幾十年前，我們就知道了危險，但在資本主義和少數(shù)人的欲望的推動下，我們?nèi)匀焕^續(xù)前行。誰不想在周末飛往巴黎或夏威夷，尤其是當全世界最好的公關團隊告訴你這是生活的終極獎勵時？

創(chuàng)建模仿人類的技術需要我們非常清楚地了解我們是誰。

“從現(xiàn)在開始，安全地使用人工智能需要使人類條件不再神秘化，”柏林赫爾廷學院（Hertie School of Governance）道德與技術教授喬安娜·布賴森（Joanna Bryson）去年寫道，如果我們變得更高，就不會認為自己更像長頸鹿。所以為什么要對智能模糊不清？

其他人，如哲學家丹尼特，則更加直接。他稱，我們不能生活在一個有所謂“偽造人”的世界。

“自從貨幣存在以來，偽造貨幣一直被視為針對社會的破壞行為。懲罰包括死刑和四分五裂。而制造偽造人至少同樣嚴重?！彼a充說，人造人總是比真人少了更多的利益，這使得它們成為無道德行為者：“不是出于形而上學的原因，而是出于簡單的物理原因 —— 它們有種永生的感覺?！?/span>

丹尼特認為，技術的創(chuàng)造者需要嚴格的責任制，“他們應該對此負責。他們應該被起訴。他們應該公開承認，如果他們制造的東西被用來制造偽造人，他們將對此負責。如果他們沒有做到這一點，他們正處于創(chuàng)建極為嚴重的，對穩(wěn)定和社會安全造成破壞的武器的邊緣。他們應該像分子生物學家對生物戰(zhàn)爭的前景或原子物理學家對核戰(zhàn)爭的前景一樣認真對待這個問題?！边@是真正的危機。我們需要“建立新的態(tài)度，新的法律，迅速傳播并消除那些欺騙人們、人格化的贊美”，他說?！拔覀冃枰斆鞯臋C器，而不是人造同事。”

Bender 制定了自己的一條規(guī)則：“我不會與那些在談話中不將我的人性作為公理的人交談?！?不模糊界限。我原本認為自己不需要制定這樣一條規(guī)則。

9 語言、生活、愛情

“AI 夢想中重新出現(xiàn)了一種自戀，我們將證明我們認為是獨特的人類的一切，都可以被機器完成，并且完成得更好。”，UC伯克利分校的批判理論計劃創(chuàng)始主任朱迪思·巴特勒（Judith Butler）幫助我解釋了其中涉及的思想， “人類的潛力 —— 是法西斯主義的想法 —— 通過 AI 得到更充分的實現(xiàn)。AI 夢想被“完美主義論”所統(tǒng)治，這就是我們看到的一種法西斯形式。這是技術接管，從身體中逃離。”

有些人說，“是的！那不是很棒嗎！”，或“那不是很有趣嗎？！”，讓我們克服我們浪漫的想法，我們的人類中心主義、理想主義，巴特勒補充道，“但是我的言語中生活著什么，我的情感中生活著什么，我的愛情，我的語言中生活著什么，這個問題被掩蓋了。”

在 Bender 向我介紹了語言學基礎的第二天，我參加了她與學生每周一次的會議。他們都在攻讀計算語言學學位，他們都看到了正在發(fā)生的事情。有那么多可能性，那么多力量。我們將用它來做什么？

“關鍵是創(chuàng)建一個易于接口的工具，因為你可以使用自然語言。而不是試圖讓它看起來像一個人?！?，伊麗莎白·康拉德（Elizabeth Conrad）說。