8 月 8 日消息，OpenAI 旗下 GPT 模型的訓(xùn)練需要大量的網(wǎng)絡(luò)數(shù)據(jù)，這可能涉及到數(shù)據(jù)隱私和版權(quán)等問(wèn)題。為了解決這些問(wèn)題，OpenAI 最近推出了一個(gè)新功能，讓網(wǎng)站可以阻止其網(wǎng)絡(luò)爬蟲（web crawler）從其網(wǎng)站上抓取數(shù)據(jù)訓(xùn)練 GPT 模型。

據(jù)IT之家了解，網(wǎng)絡(luò)爬蟲是一種自動(dòng)化的程序，可以在互聯(lián)網(wǎng)上搜索和獲取信息。OpenAI 的網(wǎng)絡(luò)爬蟲名為 GPTBot，其會(huì)以一定的頻率訪問(wèn)各種網(wǎng)站，并將網(wǎng)頁(yè)內(nèi)容保存下來(lái)，用于訓(xùn)練 GPT 模型。

OpenAI 在其博客文章中表示，網(wǎng)站運(yùn)營(yíng)者可以通過(guò)在其網(wǎng)站的 Robots.txt 文件中禁止 GPTBot 的訪問(wèn)，或者通過(guò)屏蔽其 IP 地址，來(lái)阻止 GPTBot 從其網(wǎng)站上抓取數(shù)據(jù)。OpenAI 還表示，“使用 GPTBot 用戶代理（user agent）抓取的網(wǎng)頁(yè)可能會(huì)被用于改進(jìn)未來(lái)的模型，并且會(huì)過(guò)濾掉那些需要付費(fèi)訪問(wèn)、已知收集個(gè)人身份信息（PII）、或者有違反我們政策的文本的來(lái)源。”對(duì)于不符合排除標(biāo)準(zhǔn)的來(lái)源，“允許 GPTBot 訪問(wèn)您的網(wǎng)站可以幫助 AI 模型變得更加準(zhǔn)確，并提高它們的通用能力和安全性?！?/p>

但是，這并不會(huì)追溯性地從 ChatGPT 的訓(xùn)練數(shù)據(jù)中刪除之前從網(wǎng)站上抓取的內(nèi)容。

互聯(lián)網(wǎng)為大型語(yǔ)言模型（如 OpenAI 的 GPT 模型和谷歌的 Bard）提供了大部分的訓(xùn)練數(shù)據(jù)，為 AI 訓(xùn)練獲取數(shù)據(jù)已經(jīng)變得越來(lái)越有爭(zhēng)議。一些網(wǎng)站，包括 Reddit 和 Twitter，已經(jīng)采取措施打擊 AI 公司免費(fèi)使用其用戶帖子的行為，而一些作者和其他創(chuàng)作者也因?yàn)樯嫦游唇?jīng)授權(quán)使用其作品而提起訴訟。