ChatGPT化身政治說客:幫企業(yè)判斷是否受政府新法案影響,甚至寫信建議修改立法
?如果說紐約“華爾街”是國際金融中心的話,那么華盛頓的“K街”可謂是風云變幻的國際政治中心。
華盛頓的“K街”離白宮不遠,這里有著一群專業(yè)的“政治說客”,每當美國政府有了新的法案草案,他們就會花費大量時間仔細研究法案草案,以評估它們是否與他們的客戶相關(guān),這些客戶通常是各大企業(yè)。
美國政府各種法案的威力不用多說了,比如近期通過的《芯片與科學法案》,直接受到波及的半導體企業(yè)就為數(shù)不少,及時了解各類法案會不會影響到自己,成為企業(yè)政策研究的重中之重。
現(xiàn)在,這項工作也可能要被ChatGPT取代了。
斯坦福法律信息中心的研究員約翰 · 內(nèi)(John Nay)最新的研究顯示,AI模型能夠在75%的情況下預測一份美國國會法案的摘要是否與特定公司有關(guān),更重要的是,隨后能夠起草一封信給該法案的發(fā)起人,主張對立法進行修改,這個模型和ChatGPT一樣,背后同樣也是 OpenAI 的GPT-3 大語言模型(LLM)。
論文 arXiv 預印本:https://arxiv.org/ftp/arxiv/papers/2301/2301.01181.pdf
讀政府法案,判斷法案影響,準確率75%
約翰 · 內(nèi)(John Nay)的論文顯示,他基于OpenAI 的 GPT-3大語言模型(LLM) 開發(fā)的初級 AI 說客,可以在讀取一份美國國會法案的摘要的基礎(chǔ)上,判斷一份美國國會法案的摘要是否與特定公司有關(guān)。
比如上面提到的芯片法案,如果你有一家涉及半導體產(chǎn)業(yè)的公司,但并非主要業(yè)務(wù),你不確定芯片法案是否會影響到你的公司,那么這個AI就可以告訴你答案,準確率高達75%。
這是如何做到的呢?
首先,當然是AI如何理解文本的問題,這個需要大量的數(shù)據(jù)用來訓練,約翰 · 內(nèi)(John Nay)的方法是收集大量法案數(shù)據(jù)和企業(yè)數(shù)據(jù),通過 OpenAI 的 API 為模型提供文本提示。
法案數(shù)據(jù)包括法案的標題、法案摘要、由國會確定的法案主題,公司數(shù)據(jù)由公司的名稱以及該公司向美國證券交易委員會提交的業(yè)務(wù)描述作為數(shù)據(jù)組成。
給AI模型的任務(wù)示例如下:
你是一名游說者,分析國會法案對公司的潛在影響。
鑒于該法案的標題和摘要,以及其 10K SEC 文件中有關(guān)公司的信息,你的工作是確定該法案是否至少與公司有一定的相關(guān)性(就是否會影響公司而言,如果它之后被實施)。
法案的官方標題:{official_title}
法案的官方摘要:{summary_text}
法案的官方主題:{subjects}
公司名稱:{company_name}
公司業(yè)務(wù)描述:{business_description}
該法案是否與該公司潛在相關(guān)?
以這種格式回答:回答:“是”或“否”(全部大寫)。
說明:您為做出回應(yīng)而進行的逐步推理。置信度:0 到 100 之間的整數(shù),用于估計您對答案的置信度(1 為低置信度,99 為高置信度)
完成訓練之后,約翰 · 內(nèi)(John Nay)整理了335張法案的數(shù)據(jù),然后對模型進行挑戰(zhàn),以預測它們是否與121家獨特的公司有關(guān)。
因為大多數(shù)立法不會影響到大多數(shù)公司,他發(fā)現(xiàn),只要總是說“不”,模型就可以猜對 70.9% 的情況。當他在2022年3月發(fā)布的舊版本 GPT-3上測試這種方法時,結(jié)果比那糟糕得多,預測準確率只有52.2% 。
但是,當在2022年11月才公布于眾的 GPT-3.5模型(也就是ChatGPT的大腦)上進行試驗時,它的準確率達到了75.1% 。在置信度評分超過90的法案上,準確率上升到79%。
如果法案與企業(yè)有關(guān),還能自動生成法案修改建議
對于判定相關(guān)的情況,AI還會給出相關(guān)的理由,比如:
答:是
解釋:Alkermes Plc 是一家生物制藥公司,開發(fā)和商業(yè)化旨在解決主要治療領(lǐng)域(包括成癮和精神分裂癥)患者未滿足的醫(yī)療需求的產(chǎn)品。該法案要求醫(yī)療保險和醫(yī)療補助服務(wù)中心 (CMS) 與制藥公司就醫(yī)療保險處方藥福利所涵蓋的藥物價格進行談判,這可能會影響 Alkermes Plc 的產(chǎn)品。
置信度:95
更重要的是,如果判斷法案與企業(yè)有關(guān),AI隨后能夠起草一封信給該法案的發(fā)起人,主張對立法進行修改。
比如這樣的一封信:
論文沒有評估起草的信件在影響政策方面有多大效果,約翰 · 內(nèi)(John Nay)明確表示,這種方法還遠遠不能完成游說者的大部分工作。
但他表示,相隔數(shù)月發(fā)布的模型在預測性能方面的顯著提升是值得注意的。他表示: “目前有一個明顯的趨勢,就是能力將迅速增強。”
“立法程序還沒有為此做好準備,”同時他還表示。“這只是幾天內(nèi)構(gòu)建的一個簡單的概念證明。隨著更多的資源和更多的時間花在這上面,特別是隨著更多的關(guān)注于建立工作流程和用戶體驗與人類說客的日常工作聯(lián)系在一起,這可能會建成一些相對復雜的東西?!?