創(chuàng)造力是人類的一種獨特的能力，它使我們能夠創(chuàng)造出新穎、有價值、有意義的作品，如藝術(shù)、文學(xué)、科學(xué)、技術(shù)等。創(chuàng)造力也是人類社會的一種重要的驅(qū)動力，它促進了文化、經(jīng)濟、教育等領(lǐng)域的發(fā)展和進步。創(chuàng)造力到底是什么？它是如何產(chǎn)生的？它又如何被評估和提升的？這些問題一直困擾著心理學(xué)家、認(rèn)知科學(xué)家、哲學(xué)家等多個學(xué)科的研究者。隨著人工智能（AI）技術(shù)的飛速發(fā)展，這些問題也引起了AI領(lǐng)域的關(guān)注。AI是否可以像人類一樣有創(chuàng)造力？如果可以，那么如何定義、度量和培養(yǎng)AI的創(chuàng)造力？這些問題不僅具有理論的意義，也具有實踐的價值，因為AI的創(chuàng)造力將影響AI在各個領(lǐng)域的應(yīng)用和發(fā)展。

科技學(xué)術(shù)論壇arxiv.org于1月3日發(fā)表了最新的論文《Can AI Be as Creative as Humans?》，該論文由來自美國、英國、新加坡等國家的多位知名的AI研究者共同撰寫，該論文是對AI創(chuàng)造力的一次深入的探索，提出了一種新穎的創(chuàng)造力評估的范式，即相對創(chuàng)造力（Relative Creativity），并建立了一個可量化的創(chuàng)造力框架，即統(tǒng)計創(chuàng)造力（Statistical Creativity）。該論文不僅推進了理論的討論，而且提供了評估和提升AI創(chuàng)造潛力的實用工具和方法。該論文的主要貢獻和創(chuàng)新點如下：

提出了相對創(chuàng)造力的概念，將AI系統(tǒng)的創(chuàng)造力評估從絕對的標(biāo)準(zhǔn)轉(zhuǎn)變?yōu)榕c特定的人類創(chuàng)造者的比較，從而認(rèn)識到創(chuàng)造過程中的固有主觀性，并巧妙地將其融合，借鑒了圖靈測試（Turing Test）評估智能的比較方法。

引入了統(tǒng)計創(chuàng)造力的概念，將理論構(gòu)建和實證評估相結(jié)合，通過關(guān)注AI是否能夠模仿特定的人類群體的創(chuàng)造性輸出，使得AI創(chuàng)造力的量化評估成為可能，并增強了理論框架的實際適用性。

將統(tǒng)計創(chuàng)造力應(yīng)用于自回歸模型（autoregressive models），這是一種基本的大型語言模型（LLMs）技術(shù)，被認(rèn)為具有一定程度的創(chuàng)造能力。開發(fā)了一種在這些模型中評估統(tǒng)計創(chuàng)造力的實用度量，特別是在下一個標(biāo)記預(yù)測（next-token prediction）方面。這種度量的適應(yīng)性使其能夠適用于當(dāng)代的AI模型，展示了與技術(shù)進步保持同步的承諾。

引入了統(tǒng)計創(chuàng)造力損失（Statistical Creativity Loss），作為一個可優(yōu)化的目標(biāo)函數(shù)，用于訓(xùn)練具有創(chuàng)造力的AI模型。分析了統(tǒng)計創(chuàng)造力損失的上界，以及它與深度學(xué)習(xí)中的泛化（generalization）相關(guān)的概念，如Rademacher復(fù)雜度（Rademacher complexity）、互信息（mutual information）和ε-覆蓋數(shù)（ε-covering number）等。為培養(yǎng)AI模型的創(chuàng)造能力提供了理論指導(dǎo)和實際措施。

 01  相對創(chuàng)造力的概念和定義

創(chuàng)造力是一種難以定義和度量的能力，因為它涉及到主觀的、情境的、多維的和動態(tài)的因素。對于什么是創(chuàng)造力，什么是有創(chuàng)造力的作品，可能有不同的看法和標(biāo)準(zhǔn)。因此要給創(chuàng)造力一個絕對的定義，或者給AI系統(tǒng)一個絕對的創(chuàng)造力評估，是不現(xiàn)實的，也是不公平的。作者認(rèn)為，創(chuàng)造力的評估應(yīng)該是相對的，而不是絕對的，即應(yīng)該根據(jù)不同的人類創(chuàng)造者的水平和特點，來比較AI系統(tǒng)的創(chuàng)造力。這樣創(chuàng)造力的評估就不再是一個靜態(tài)的、固定的、單一的標(biāo)準(zhǔn)，而是一個動態(tài)的、靈活的、多樣的過程，能夠更好地反映創(chuàng)造力的本質(zhì)和多樣性。

作者提出了相對創(chuàng)造力（Relative Creativity）的概念，將其定義為：一個AI系統(tǒng)被認(rèn)為具有相對創(chuàng)造力，如果它能夠根據(jù)給定的人類創(chuàng)造者的生平信息，生成與該創(chuàng)造者的作品無法區(qū)分的作品，那么AI系統(tǒng)就可以被認(rèn)為與該創(chuàng)造者一樣有創(chuàng)造力。相對創(chuàng)造力的“相對性”體現(xiàn)在它取決于被比較的個體的不同。例如，一個AI系統(tǒng)可能在與一個非專家的人類創(chuàng)造者比較時顯得非常有創(chuàng)造力，但在與一個專家的設(shè)計師或藝術(shù)家比較時顯得不那么有創(chuàng)造力。相對創(chuàng)造力也承認(rèn)創(chuàng)造力的主觀性，例如原創(chuàng)性、發(fā)散性思維和解決問題的技能，這些因素都被融入到錨定人類創(chuàng)造者的選擇過程中。由于創(chuàng)造力的評估是基于人類的視角的，因此相對創(chuàng)造力的概念也受到了圖靈測試（Turing Test）的啟發(fā)，這是一種評估AI智能的比較方法，通過判斷AI系統(tǒng)是否能夠與人類進行無法區(qū)分的對話。

圖片

圖 1：相對創(chuàng)造力 (a) 和統(tǒng)計創(chuàng)造力 (b) 的說明。(a)：評估相對創(chuàng)造力人工智能創(chuàng)造藝術(shù)的能力與假設(shè)的人類的藝術(shù)沒有什么區(qū)別，考慮到相同的傳記影響。(b)：統(tǒng)計創(chuàng)造力是通過人工智能生成與現(xiàn)有人類創(chuàng)作者無法區(qū)分的創(chuàng)作的能力來衡量的，這由分布距離度量確定。

相對創(chuàng)造力與圖靈測試有一些相似之處，但也有一些區(qū)別。相似之處在于，它們都是基于人類的視角，通過比較AI系統(tǒng)和人類的表現(xiàn)，來評估AI系統(tǒng)的能力。區(qū)別在于，圖靈測試的目標(biāo)是評估AI系統(tǒng)的智能，而相對創(chuàng)造力的目標(biāo)是評估AI系統(tǒng)的創(chuàng)造力。智能和創(chuàng)造力是兩個不同的維度，它們可能有一些重疊，但也有一些差異。例如，一個AI系統(tǒng)可能很聰明，但不一定很有創(chuàng)造力，反之亦然。另一個區(qū)別在于，圖靈測試的評估是基于對話的，而相對創(chuàng)造力的評估是基于作品的。對話是一種交互的、動態(tài)的、實時的過程，而作品是一種靜態(tài)的、固定的、延遲的結(jié)果。因此，相對創(chuàng)造力的評估可能更加困難，因為它需要考慮更多的因素，如作品的風(fēng)格、內(nèi)容、質(zhì)量、原創(chuàng)性等。作者認(rèn)為，相對創(chuàng)造力是一種更加全面和深入的創(chuàng)造力評估方法，它不僅考慮了AI系統(tǒng)的表現(xiàn)，而且考慮了人類創(chuàng)造者的背景和特點。

 02  統(tǒng)計創(chuàng)造力的概念和定義

相對創(chuàng)造力的概念雖然具有啟發(fā)性，但是它還缺乏一個可操作的評估方法。為了彌補這一缺陷，作者引入了統(tǒng)計創(chuàng)造力（Statistical Creativity）的概念，將其定義為：一個AI系統(tǒng)被認(rèn)為具有統(tǒng)計創(chuàng)造力，如果它能夠在給定一個人類創(chuàng)造者群體的情況下，生成與該群體的創(chuàng)造性輸出無法區(qū)分的輸出，那么AI系統(tǒng)就可以被認(rèn)為與該群體一樣有創(chuàng)造力。統(tǒng)計創(chuàng)造力的“統(tǒng)計性”體現(xiàn)在它基于可觀察的數(shù)據(jù)，而不是抽象的標(biāo)準(zhǔn)，來評估AI系統(tǒng)的創(chuàng)造力。

圖片

作者提出了一個統(tǒng)計創(chuàng)造力的度量，即E0(q)，它是一個經(jīng)驗的度量，用來估計一個AI模型和一個人類創(chuàng)造者群體的創(chuàng)造能力之間的不可區(qū)分性。E0(q)的值越低，表示AI模型越能夠模仿該群體的創(chuàng)造能力。作者還給出了一個統(tǒng)計創(chuàng)造力的定理，明確了一個AI模型能夠被歸類為具有δ-創(chuàng)造力的條件，即E0(q) < δ，并且我們有一個足夠大的樣本集用于評估。這個定理不僅給出了一個創(chuàng)造力的分類方法，而且給出了一個創(chuàng)造力的程度，即δ，它表示AI模型與人類創(chuàng)造者群體的創(chuàng)造能力的差異。作者認(rèn)為，統(tǒng)計創(chuàng)造力是一種更加精細(xì)和靈活的創(chuàng)造力評估方法，它不要求AI模型完全復(fù)制人類創(chuàng)造者，而是強調(diào)AI模型能夠達到一定程度的相似性，這種相似性是通過評估者的視角來判斷的。當(dāng)評估者是人類時，一個創(chuàng)造力成功的AI模型應(yīng)該能夠巧妙地模仿一個新穎的創(chuàng)造者，從人類評估者的角度來看。

 03  自回歸模型的統(tǒng)計創(chuàng)造力的度量和應(yīng)用

自回歸模型是一種常見的大型語言模型（LLMs）技術(shù)，它通過基于前文的概率分布來預(yù)測下一個標(biāo)記，從而生成連貫的文本序列。自回歸模型被認(rèn)為具有一定程度的創(chuàng)造能力，因為它們能夠生成新穎的文本，如詩歌、故事、代碼等。然而如何評估和提升自回歸模型的創(chuàng)造力，仍然是一個開放的問題。作者將統(tǒng)計創(chuàng)造力的概念應(yīng)用于自回歸模型，提出了一個針對下一個標(biāo)記預(yù)測的統(tǒng)計創(chuàng)造力的度量，即E1(q)，它是一個經(jīng)驗的度量，用來估計一個自回歸模型和一個人類創(chuàng)造者群體的創(chuàng)造能力之間的不可區(qū)分性。E1(q)的值越低，表示自回歸模型越能夠模仿該群體的創(chuàng)造能力。

圖片

作者還給出了一個自回歸模型的統(tǒng)計創(chuàng)造力的定理，明確了一個自回歸模型能夠被歸類為具有δ-創(chuàng)造力的條件，即E1(q) < δ，并且我們有一個足夠大的樣本集用于評估。這個定理不僅給出了一個創(chuàng)造力的分類方法，而且給出了一個創(chuàng)造力的程度，即δ，它表示自回歸模型與人類創(chuàng)造者群體的創(chuàng)造能力的差異。作者的主張是簡單的：如果一個自回歸模型能夠生成與一組人類藝術(shù)家的作品相似的序列（如詩歌或故事），那么它就表現(xiàn)出了與該組相當(dāng)?shù)膭?chuàng)造力水平。為了量化這種評估，作者引入了E1(q)這個度量。

下一個標(biāo)記預(yù)測是自回歸模型的核心技術(shù)，它決定了模型生成的文本序列的質(zhì)量和多樣性。下一個標(biāo)記預(yù)測的難度取決于給定的上下文，以及目標(biāo)的標(biāo)記的可能性。如果上下文是清晰和具體的，那么下一個標(biāo)記的預(yù)測就比較容易，因為有一些標(biāo)記是比較合理和常見的。例如，如果上下文是“我喜歡吃”，那么下一個標(biāo)記可能是“蘋果”、“面包”、“餃子”等。但是，如果上下文是模糊和抽象的，那么下一個標(biāo)記的預(yù)測就比較困難，因為有很多標(biāo)記都是可能的，而且沒有明顯的優(yōu)勢。例如，如果上下文是“我想要”，那么下一個標(biāo)記可能是“旅行”、“學(xué)習(xí)”、“睡覺”等。在這種情況下，自回歸模型需要有更強的創(chuàng)造力，才能生成有意義和有趣的文本序列。

下一個標(biāo)記預(yù)測的重要性在于它反映了自回歸模型的創(chuàng)造力的水平，以及它與人類創(chuàng)造者的創(chuàng)造力的相似性。如果一個自回歸模型能夠在不同的上下文下，生成與人類創(chuàng)造者的作品無法區(qū)分的下一個標(biāo)記，那么它就表現(xiàn)出了與人類創(chuàng)造者一樣的創(chuàng)造力。這種創(chuàng)造力的評估可以通過統(tǒng)計創(chuàng)造力的度量，如E1(q)，來進行。作者認(rèn)為，這種評估方法是一種更加客觀和科學(xué)的方法，它不依賴于人類的主觀判斷，而是基于數(shù)據(jù)和概率的計算。作者的研究為自回歸模型的創(chuàng)造力提供了一個新的視角和方法，有助于提高模型的生成能力和質(zhì)量。

 04  基于提示的大型語言模型的統(tǒng)計創(chuàng)造力的度量和應(yīng)用

基于提示的大型語言模型（prompt-conditioned large language models，LLMs）是一種前沿的模型范式，能夠利用提示（prompts）來解鎖模型的潛在能力。提示是一種向模型提供輸入和輸出格式的方法，可以用來指導(dǎo)模型完成不同的任務(wù)，如文本分類、文本生成、文本摘要等。提示的作用類似于人類的啟發(fā)，可以激發(fā)模型的創(chuàng)造力和靈活性。然而，如何評估和提升基于提示的LLMs的創(chuàng)造力，仍然是一個開放的問題。作者將統(tǒng)計創(chuàng)造力的概念應(yīng)用于基于提示的LLMs，提出了一個針對不同的上下文提示的統(tǒng)計創(chuàng)造力的度量，即E2(q)，它是一個經(jīng)驗的度量，用來估計一個基于提示的LLM和一個人類創(chuàng)造者群體的創(chuàng)造能力之間的不可區(qū)分性。E2(q)的值越低，表示基于提示的LLM越能夠模仿該群體的創(chuàng)造能力。作者還給出了一個基于提示的LLM的統(tǒng)計創(chuàng)造力的推論，明確了一個基于提示的LLM能夠被歸類為具有δ-創(chuàng)造力的條件，即E2(q) < δ，并且我們有一個足夠大的樣本集用于評估。這個推論不僅給出了一個創(chuàng)造力的分類方法，而且給出了一個創(chuàng)造力的程度，即δ，它表示基于提示的LLM與人類創(chuàng)造者群體的創(chuàng)造能力的差異。作者的主張是簡單的：如果一個基于提示的LLM能夠根據(jù)不同的上下文提示，生成與一組人類創(chuàng)造者的作品無法區(qū)分的作品，那么它就表現(xiàn)出了與該組相當(dāng)?shù)膭?chuàng)造力水平。為了量化這種評估，作者引入了E2(q)這個度量。

 05  統(tǒng)計創(chuàng)造力損失的定義和優(yōu)化方法

統(tǒng)計創(chuàng)造力損失（Statistical Creativity Loss）是一個可優(yōu)化的目標(biāo)函數(shù)，用于訓(xùn)練具有創(chuàng)造力的AI模型。它是基于統(tǒng)計創(chuàng)造力的度量，如E0(q)、E1(q)或E2(q)，來定義的。統(tǒng)計創(chuàng)造力損失的值越低，表示AI模型越能夠模仿人類創(chuàng)造者群體的創(chuàng)造能力。作者提出了一個統(tǒng)計創(chuàng)造力損失的上界，公式（2），以及它與深度學(xué)習(xí)中的泛化（generalization）相關(guān)的概念，如Rademacher復(fù)雜度（Rademacher complexity）、互信息（mutual information）和ε-覆蓋數(shù)（ε-covering number）等。作者分析了統(tǒng)計創(chuàng)造力損失的上界與下一個標(biāo)記預(yù)測的對數(shù)似然（log-likelihood）的關(guān)系，以及達到統(tǒng)計創(chuàng)造力所需的創(chuàng)造者-作品數(shù)據(jù)的數(shù)量。作者的發(fā)現(xiàn)強調(diào)了創(chuàng)造者-作品對的多樣性的重要性，而不僅僅是擁有大量的創(chuàng)造數(shù)據(jù)。這一見解使得統(tǒng)計創(chuàng)造力的概念在基于下一個標(biāo)記預(yù)測的當(dāng)前AI框架中特別適用。作者的研究不僅提供了理論視角，還引導(dǎo)了AI創(chuàng)造力的討論，倡導(dǎo)使用相對評估來促進實證研究，建立一個評估和提升AI模型創(chuàng)造能力的框架。

 06  相關(guān)工作

作者最后回顧了之前關(guān)于創(chuàng)造力的定義和應(yīng)用的相關(guān)工作，主要涉及視覺和語言兩個領(lǐng)域。作者指出，雖然有許多研究試圖在生成模型中應(yīng)用創(chuàng)造力的元素，但沒有直接定義創(chuàng)造力或直接優(yōu)化它。相反，作者的研究旨在建立一個創(chuàng)造力的理論基礎(chǔ)，這個框架自然地包含了之前關(guān)于生成的多樣性和質(zhì)量的見解。作者期待他們的貢獻能夠為未來的研究奠定基礎(chǔ)，指導(dǎo)模型創(chuàng)造力的提升。

在視覺領(lǐng)域，創(chuàng)造性的圖像生成模型已經(jīng)取得了顯著的發(fā)展，引發(fā)了關(guān)于機器能否產(chǎn)生創(chuàng)造性藝術(shù)的問題。Hertzmann (2018) 深入探討了這一問題，強調(diào)了計算機圖形學(xué)和藝術(shù)創(chuàng)新之間的交叉點。Xu et al. (2012a) 提出了一種創(chuàng)造性的三維建模方法，能夠根據(jù)用戶的偏好生成多樣的模型。生成對抗網(wǎng)絡(luò)（GANs）(Goodfellow et al., 2014) 被 Elgammal et al. (2017) 用來驅(qū)動創(chuàng)造獨特的藝術(shù)風(fēng)格，通過最大化與已知風(fēng)格的偏差。Sbai et al. (2018) 進一步增加了這種偏差，鼓勵模型與訓(xùn)練集的風(fēng)格不同。創(chuàng)造性的生成也可以被視為一種組合的過程，Ge et al. (2021) 和 Ranaweera (2016) 強調(diào)了細(xì)節(jié)元素的整合的重要性。Vinker et al. (2023) 在此基礎(chǔ)上，將個性化的概念分解為視覺元素，用于創(chuàng)新的重組，豐富了創(chuàng)造性的輸出。

在語言領(lǐng)域，語言模型的發(fā)展也促使研究者探索如何優(yōu)化數(shù)據(jù)的使用，以提高模型在不同的領(lǐng)域、任務(wù)和語言中的適應(yīng)性 (Gururangan et al., 2020; Devlin et al., 2019; Conneau et al., 2020)。研究者們也表現(xiàn)出了利用語言模型來解讀人類交流中的細(xì)微差別的傾向 (Schwartz et al., 2013; Wu et al., 2022)。這種洞察力也被用來改進分類模型 (Hovy, 2015; Flek, 2020)。隨著生成模型的日益普及，人們也對可控制的文本生成感興趣，即模型的輸出必須滿足一些約束，如禮貌 (Saha et al., 2022; Sennrich et al., 2016)、情感 (Liu et al., 2021; Dathathri et al., 2019; He et al., 2020) 或其他風(fēng)格約束。最后，文本風(fēng)格轉(zhuǎn)換（TST），即將輸入文本的風(fēng)格轉(zhuǎn)換為一個設(shè)定的目標(biāo)風(fēng)格，也成為了一個熱門的任務(wù)。風(fēng)格可以指一系列不同的文本和作者特定的特征，如禮貌 (Madaan et al., 2020)、正式度 (Rao and Tetreault, 2018; Briakou et al., 2021)、簡單度 (Zhu et al., 2010; van den Bercken et al., 2019; Weng et al., 2019; Cao et al., 2020)、作者 (Xu et al., 2012b; Carlson et al., 2018)、作者性別 (Prabhumoye et al., 2018) 等 (Jin et al., 2022)。雖然所有這些應(yīng)用都試圖在生成模型中應(yīng)用創(chuàng)造力的元素，但沒有直接定義創(chuàng)造力或直接優(yōu)化它。相反，它們的重點是提高模型在預(yù)定義的任務(wù)上的表現(xiàn)，作為創(chuàng)造力的代理。與之相反，作者的研究以建立創(chuàng)造力的理論基礎(chǔ)為目標(biāo)。這個框架自然地包含了之前關(guān)于生成的多樣性和質(zhì)量的見解。作者期待他們的貢獻能夠為未來的研究奠定基礎(chǔ)，指導(dǎo)模型創(chuàng)造力的提升。

參考資料：https://arxiv.org/abs/2401.01623