大模型生成內(nèi)容靠譜嗎？CRAAP測試告訴你
截至2025年1月，ChatGPT仍然可能會一本正經(jīng)地提供不準(zhǔn)確或虛構(gòu)的信息。例如， 如果你向ChatGPT詢問“林黛玉倒拔垂楊柳”和“林黛玉三打白骨精”，他會編造看似合理但實(shí)際上并不存在的解釋，將《紅樓夢》中的林黛玉與《水滸傳》中的“倒拔垂楊柳”以及《西游記》中的“三打白骨精”錯(cuò)誤地關(guān)聯(lián)在一起。這種現(xiàn)象被稱為“幻覺（Hallucination）”，即AI生成的內(nèi)容雖然聽起來可信，但實(shí)際上并不符合事實(shí)或現(xiàn)實(shí)。
ChatGPT講述林黛玉倒拔垂楊柳
大模型（如ChatGPT）的推理幻覺主要源自其生成連貫且與上下文相關(guān)文本的能力。當(dāng)接收到提示或問題時(shí)，LLM能夠生成看似邏輯嚴(yán)謹(jǐn)?shù)捻憫?yīng)。然而，這種能力并非基于真正的理解或推理，而是由其概率性質(zhì)和對海量文本數(shù)據(jù)的訓(xùn)練所驅(qū)動。本質(zhì)上，LLM通過學(xué)習(xí)數(shù)據(jù)中的模式和關(guān)聯(lián)，預(yù)測給定上下文中最可能出現(xiàn)的下一個(gè)單詞或短語。
隨著大模型在各領(lǐng)域的廣泛應(yīng)用，**生成內(nèi)容的質(zhì)量、可靠性和適用性也成為了關(guān)注的焦點(diǎn)。**為了有效評估大模型生成內(nèi)容的質(zhì)量，我們可以借鑒一些傳統(tǒng)的評估工具，如CRAAP測試和ASPECT評估法。這些方法有助于我們從多個(gè)維度審視大模型生成的文本，確保其內(nèi)容的可信度和實(shí)際價(jià)值。
CRAAP測試：評估信息質(zhì)量的重要工具
CRAAP測試（Currency, Relevance, Authority, Accuracy, Purpose）最初由加利福尼亞州奇科大學(xué)Meriam圖書館的Sarah Blakeslee提出，旨在幫助學(xué)生和學(xué)者評估信息的質(zhì)量，尤其是在虛假新聞和信息泛濫的背景下。 這個(gè)評估工具適用于各種類型的信息，包括大模型生成的文本。
CRAAP測試評估表
指標(biāo) | 中文解釋 | 核心問題 |
時(shí)效性 (Currency) | 信息發(fā)布的時(shí)間 | 信息是什么時(shí)候發(fā)布或上傳的？ |
相關(guān)性 (Relevance) | 信息的相關(guān)性 | 信息是否與你的主題相關(guān)？ |
權(quán)威性 (Authority) | 信息來源的權(quán)威性 | 作者或出版者是誰？ |
準(zhǔn)確性 (Accuracy) | 信息的準(zhǔn)確性 | 信息來源是否可靠？ |
目的性 (Purpose) | 信息的目的 | 信息的目的是告知、教學(xué)、銷售、娛樂還是說服？ |
CRAAP測試通過對這些維度的全面評估，能夠幫助使用者判斷大模型生成內(nèi)容的可靠性和質(zhì)量。 具體到大模型生成的文本，時(shí)效性和準(zhǔn)確性是兩個(gè)特別重要的因素。
CRAAP測試在大模型中的應(yīng)用
對于ChatGPT講述“林黛玉倒拔垂楊柳”故事，我們可以借助CRAAP測試進(jìn)行分析。
1.時(shí)效性 (Currency)在這個(gè)案例中，ChatGPT生成的內(nèi)容與時(shí)效性無關(guān)，因?yàn)樗幵炝艘粋€(gè)虛構(gòu)的情節(jié)，而不是基于權(quán)威解讀。
2.相關(guān)性 (Relevance)用戶詢問的是與“林黛玉”相關(guān)的典故，而ChatGPT錯(cuò)誤地將《水滸傳》中的“倒拔垂楊柳”和《西游記》中的“三打白骨精”關(guān)聯(lián)到林黛玉身上。雖然“林黛玉”是《紅樓夢》中的經(jīng)典角色，但“倒拔垂楊柳”和“三打白骨精”分別出自《水滸傳》和《西游記》，與林黛玉毫無關(guān)系。ChatGPT生成的內(nèi)容在相關(guān)性上存在誤導(dǎo)性，錯(cuò)誤地將不同文學(xué)作品中的情節(jié)關(guān)聯(lián)到林黛玉身上。
3.權(quán)威性 (Authority)ChatGPT生成的內(nèi)容缺乏權(quán)威性，因?yàn)樗鼪]有引用具體的文學(xué)或?qū)W術(shù)來源，而是基于其訓(xùn)練數(shù)據(jù)中的模式生成文本。由于ChatGPT無法區(qū)分真實(shí)與虛構(gòu)的內(nèi)容，其生成的信息可能缺乏可信度。對于需要權(quán)威支持的內(nèi)容，用戶應(yīng)參考正式的文學(xué)研究、學(xué)術(shù)論文或權(quán)威出版物，而非依賴AI生成的內(nèi)容。
4.準(zhǔn)確性 (Accuracy)ChatGPT生成的內(nèi)容在準(zhǔn)確性上存在嚴(yán)重問題。它將《紅樓夢》中的林黛玉與《水滸傳》中的“倒拔垂楊柳”以及《西游記》中的“三打白骨精”錯(cuò)誤地關(guān)聯(lián)在一起。這種錯(cuò)誤可能是由于訓(xùn)練數(shù)據(jù)中的模式混淆或缺乏對具體文學(xué)作品的深入理解。用戶應(yīng)對AI生成的內(nèi)容進(jìn)行事實(shí)核查，尤其是涉及經(jīng)典文學(xué)作品的情節(jié)和角色時(shí)，應(yīng)參考原著或權(quán)威解讀。
5.目的性 (Purpose)ChatGPT生成內(nèi)容的目的是為用戶提供連貫、流暢的文本，而不是提供準(zhǔn)確的事實(shí)或文學(xué)分析。由于AI的目標(biāo)是生成看似合理的回答，它可能會為了滿足用戶的需求而編造信息，尤其是在用戶提出的問題本身存在誤導(dǎo)性或模糊性時(shí)。用戶應(yīng)明確AI生成內(nèi)容的目的，理解其局限性，并在需要準(zhǔn)確信息時(shí)結(jié)合其他可靠來源進(jìn)行驗(yàn)證。
因此，在生成文本時(shí)，CRAAP測試可以幫助我們發(fā)現(xiàn)“幻覺”內(nèi)容，并確保生成的內(nèi)容符合正確的學(xué)術(shù)標(biāo)準(zhǔn)。
ASPECT評估：多維度信息質(zhì)量評估方法
除了CRAAP測試，華盛頓州溫哥華的克拉克學(xué)院圖書館提出的ASPECT評估方法也是一種有效的信息質(zhì)量評估工具。ASPECT評估方法在CRAAP測試的基礎(chǔ)上，加入了更多維度，特別是強(qiáng)調(diào)內(nèi)容的均衡性和全面性，適用于綜合性的學(xué)術(shù)研究。
ASPECT評估表
指標(biāo) | 中文解釋 | 核心問題 |
權(quán)威性 (Authority) | 信息來源的權(quán)威性 | 內(nèi)容的作者或機(jī)構(gòu)是否具有權(quán)威？ |
來源 (Sources) | 信息來源的可靠性 | 信息的來源是否可靠？ |
目的性 (Purpose) | 信息的目的 | 內(nèi)容是否有特定的意圖或偏見？ |
均衡性 (Evenness) | 內(nèi)容的多樣性與全面性 | 內(nèi)容是否均衡地呈現(xiàn)不同觀點(diǎn)？ |
覆蓋范圍 (Coverage) | 內(nèi)容的全面性 | 內(nèi)容是否全面？ |
時(shí)效性 (Timeliness) | 信息的時(shí)效性 | 信息是否及時(shí)？ |
ASPECT與CRAAP的比較
方法 | 指標(biāo)數(shù)量 | 核心關(guān)注點(diǎn) | 獨(dú)特指標(biāo) | 適用場景 |
CRAAP | 5 | 數(shù)據(jù)的時(shí)效性和準(zhǔn)確性 | 時(shí)效性（Currency） | 多學(xué)科信息資源評估 |
ASPECT | 6 | 內(nèi)容的全面性與均衡性 | 均衡性（Evenness） | 學(xué)術(shù)研究與綜合信息評估 |
CRAAP測試和ASPECT評估法分別從不同的維度出發(fā)，為我們提供了兩種有效的信息質(zhì)量評估工具。CRAAP測試簡潔而直接，強(qiáng)調(diào)時(shí)效性、準(zhǔn)確性和權(quán)威性，是快速評估大模型生成結(jié)果是否符合學(xué)術(shù)標(biāo)準(zhǔn)的重要方法。ASPECT評估法則提供了更多的維度，特別適用于需要評估信息多樣性和全面性的學(xué)術(shù)研究環(huán)境。 兩者可以互補(bǔ)使用，為我們更全面地評估大模型生成的內(nèi)容質(zhì)量提供有力支持。
對于大模型生成內(nèi)容的使用者，掌握這兩種評估工具，不僅能幫助我們識別虛假信息，還能在實(shí)際應(yīng)用中提升大模型生成結(jié)果的可信度和價(jià)值。
本文轉(zhuǎn)載自??云原生AI百寶箱??，作者： 云原生AI百寶箱 ????
