基礎(chǔ)模型透明度指數(shù)揭示了大型語(yǔ)言模型訓(xùn)練所依賴的數(shù)據(jù)黑盒。

譯自Transparency From Behind the Generative AI Curtain，作者 Michelle Gienow。

AI 基礎(chǔ)模型已經(jīng)成為超級(jí)模型：在這個(gè) ChatGPT 后的世界，像LLaMA,Gemini和Claude這樣的名字，現(xiàn)在對(duì)科技評(píng)論家來(lái)說(shuō)，擁有與人類名人一樣的轟動(dòng)效應(yīng)和即時(shí)認(rèn)可度。

然而，隨著 AI 在全球重要性日益提升，我們也越來(lái)越需要了解產(chǎn)生我們從那些提示框中輸入的結(jié)果的技術(shù)。斯坦福大學(xué)、麻省理工學(xué)院和普林斯頓大學(xué)的研究人員最近的兩項(xiàng)研究深入研究了支撐世界上一些最先進(jìn)且廣受歡迎的生成式 AI 工具的 AI 基礎(chǔ)模型，這些工具每天被數(shù)百萬(wàn)（甚至數(shù)十億）人使用。透明度的需求至關(guān)重要。

然而，2024 年基礎(chǔ)模型透明度指數(shù)的結(jié)果表明，隨著時(shí)間的推移，隨著公司在開(kāi)發(fā)其旗艦基礎(chǔ)模型上投入越來(lái)越多的資金，他們對(duì)用于訓(xùn)練這些模型的大量數(shù)據(jù)以及這些數(shù)據(jù)的來(lái)源變得越來(lái)越不透明。

什么是基礎(chǔ)模型？

“基礎(chǔ)模型”一詞是用來(lái)描述支撐生成式 AI 的大型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的統(tǒng)稱。基礎(chǔ)模型在大量數(shù)據(jù)上進(jìn)行訓(xùn)練，以執(zhí)行各種各樣的任務(wù)，從生成文本、圖像和編程代碼到流暢地用自然語(yǔ)言響應(yīng)書(shū)面提示和問(wèn)題。不過(guò)，可以說(shuō)，它們最大的力量在于支撐新的 AI 應(yīng)用：與從頭開(kāi)始構(gòu)建自己的模型相比，基礎(chǔ)模型允許工程團(tuán)隊(duì)更快、更經(jīng)濟(jì)地開(kāi)發(fā)新的生成式 AI 應(yīng)用。

由于相對(duì)較少的幾個(gè)基礎(chǔ)模型支撐著如此多的面向人類的生成式 AI 工具，因此透明度的需求至關(guān)重要。例如，當(dāng)我們使用ChatGPT生成文本，使用Stable Diffusion創(chuàng)建圖像，以及使用Tabnine生成代碼時(shí)，我們需要了解它們的基礎(chǔ) ML 模型是如何開(kāi)發(fā)和部署的。用戶希望知道，我們可以信任我們已經(jīng)快速熟悉并喜愛(ài)，甚至嚴(yán)重依賴的 AI 工具。我們需要知道它們是公平、可解釋和安全的。

這種在 AI 的狂野西部時(shí)期建立信任和透明度的緊迫感，源于我們?cè)谏缃幻襟w早期不受監(jiān)管的日子里吸取的教訓(xùn)?，F(xiàn)在我們已經(jīng)了解得更多，我們可以防止類似的危機(jī)，因?yàn)槲覀冮_(kāi)始采用 AI。但是，我們?nèi)绾魏饬咳栽诎l(fā)展中的技術(shù)中的實(shí)際功能透明度？

衡量 AI 透明度

2023 年 10 月，來(lái)自斯坦福大學(xué)、麻省理工學(xué)院和普林斯頓大學(xué)的研究人員合作，通過(guò)評(píng)估當(dāng)時(shí)排名前 10 的基礎(chǔ)模型的旗艦?zāi)Ｐ停瑯?shù)立了一面重要的 AI 透明度旗幟。由此產(chǎn)生的白皮書(shū)，名為“基礎(chǔ)模型透明度指數(shù)”（FMTI），展示了當(dāng)時(shí)排名前 10 的主要基礎(chǔ)模型的透明度指數(shù)。Meta 的模型得分最高，滿足了 100 個(gè)透明度協(xié)議因素中的 54 個(gè)，而亞馬遜得分最低（100 個(gè)中的 12 個(gè)）。所有模型提供商的平均得分 37 分——并非及格分?jǐn)?shù)——揭示了一個(gè)行業(yè)正在努力向公眾開(kāi)放。

同一批研究人員在 2024 年 5 月發(fā)布了一份后續(xù)報(bào)告，其中有一些變化。最初的報(bào)告依賴于公開(kāi)數(shù)據(jù)；對(duì)于為期六個(gè)月的后續(xù)研究，模型開(kāi)發(fā)人員自己提交了透明度報(bào)告，披露了他們針對(duì) FMTI 的 100 個(gè)指標(biāo)中的每一個(gè)指標(biāo)的實(shí)踐。這次，有 14 個(gè)組織提交了透明度報(bào)告。參與的開(kāi)發(fā)人員還超出了研究人員定義的最初 100 個(gè)透明度協(xié)議因素；總體而言，組織在各自的報(bào)告中平均提供了 17 個(gè)新的透明度信息指標(biāo)。

透明度得分上升

FMTI 2024 在 2023 年的變化方面揭示了什么，這告訴我們關(guān)于透明度新現(xiàn)狀的什么？

這次，來(lái)自 BigCode/Hugging Face/ServiceNow 的 StarCoder 基礎(chǔ)模型的透明度得分達(dá)到 100 分中的 85 分，創(chuàng)歷史新高。所有 14 個(gè)模型開(kāi)發(fā)者的平均得分攀升至 100 分中的 58 分，比 2023 年 10 月的 FMTI 平均得分提高了 21 分。

圖片

總體而言，2024 年的 FMTI 文件顯示出明顯的改進(jìn)：最高透明度得分提高了 31 分，最低得分提高了 21 分。在第一份報(bào)告和后續(xù)報(bào)告中都出現(xiàn)的八位開(kāi)發(fā)者都提高了他們的得分；亞馬遜的整體漲幅最大，從 2023 年的 12 分躍升至 2024 年的 41 分。更令人欣慰的是，一位開(kāi)發(fā)者滿足了研究人員制定的 100 個(gè)透明度指標(biāo)中的 96 個(gè)，多位開(kāi)發(fā)者成功滿足了 89 個(gè)指標(biāo)。

圖片

這些趨勢(shì)總體上相當(dāng)積極，但數(shù)據(jù)也揭示了一些不那么樂(lè)觀的成果。雖然透明度的整體現(xiàn)狀有了顯著改善，但一些領(lǐng)域仍然頑固地難以觸及。根據(jù)報(bào)告，“有關(guān)數(shù)據(jù)（版權(quán)、許可和 PII）、公司護(hù)欄的有效性（緩解評(píng)估）以及基礎(chǔ)模型的下游影響（人們?nèi)绾问褂媚Ｐ鸵约坝卸嗌偃嗽谔囟ǖ貐^(qū)使用模型）的信息仍然非常不透明?！?/p>

換句話說(shuō)，在一些關(guān)鍵領(lǐng)域，模型開(kāi)發(fā)者仍在掩蓋他們的做法，尤其是在數(shù)據(jù)來(lái)源、隱私和緩解方面。

我們作為社區(qū)下一步該怎么做？

可能最重要的收獲是：圍繞數(shù)據(jù)訪問(wèn)的透明度從 2023 年 10 月的 20% 下降到 2024 年 5 月的 7%。在新報(bào)告中，研究人員將其歸因于“公司在披露用于構(gòu)建基礎(chǔ)模型的數(shù)據(jù)方面面臨的重大法律風(fēng)險(xiǎn)”。特別是，“如果數(shù)據(jù)包含受版權(quán)保護(hù)的、私人的或非法的內(nèi)容，這些公司可能會(huì)面臨責(zé)任?！辈恍业氖?，2024 年參與的模型開(kāi)發(fā)者在“模型緩解”方面的得分也很低，這意味著他們沒(méi)有充分披露其解決版權(quán)侵犯或隱私侵犯問(wèn)題的策略。

科技公司必須優(yōu)先考慮人工智能的透明度，因?yàn)樵谠撔袠I(yè)之外，大多數(shù)人根本不了解人工智能是什么或它是如何運(yùn)作的。公平地說(shuō)，就像這些技術(shù)是新的，圍繞透明度的標(biāo)準(zhǔn)和期望也是新的。

對(duì)于技術(shù)來(lái)說(shuō)，這些都是未知領(lǐng)域，在某種程度上，我們是在行走中開(kāi)辟道路。這些 FMTI 報(bào)告和協(xié)議的最大價(jià)值在于為模型開(kāi)發(fā)者提供明確且可操作的步驟，以提高模型透明度。

2023 年和 2024 年 FMTI 報(bào)告之間的信息差異揭示了基礎(chǔ)模型提供商內(nèi)部持續(xù)存在的——也是系統(tǒng)性的——不透明領(lǐng)域。在人工智能方面，基礎(chǔ)模型開(kāi)發(fā)者的組織本身需要贏得最終用戶、政府實(shí)體以及——不夸張地說(shuō)——全人類的信任和信心。

作為社區(qū)，我們的工作是推動(dòng)可訪問(wèn)性。無(wú)論我們這些軟件開(kāi)發(fā)人員如何——甚至是否——使用人工智能和機(jī)器學(xué)習(xí)技術(shù)，我們都有責(zé)任確保這些新興技術(shù)基于道德標(biāo)準(zhǔn)運(yùn)作，并共同努力減少任何潛在的危害。

作為人工智能的消費(fèi)者，企業(yè)可以通過(guò)在采用特定人工智能工具之前提出明智的問(wèn)題來(lái)推動(dòng)這種可訪問(wèn)性。這份報(bào)告揭示了為什么必須審查實(shí)際的許可協(xié)議和服務(wù)條款，不僅是提供人工智能代碼助手工具的供應(yīng)商，還有工具背后使用的模型的許可協(xié)議和服務(wù)條款。

我們的結(jié)論是：在透明度成為基礎(chǔ)模型開(kāi)發(fā)者運(yùn)營(yíng)的默認(rèn)方式之前，保證與任何人工智能平臺(tái)交互所用數(shù)據(jù)的絕對(duì)隱私的唯一方法是，這些數(shù)據(jù)無(wú)法離開(kāi)您的邊界。