譯者 | 涂承燁

審校 | 重樓

近年來(lái)，大型語(yǔ)言模型（LLMs）在生成類人文本、翻譯語(yǔ)言和回答復(fù)雜問(wèn)題方面取得了顯著進(jìn)展。然而，盡管LLMs能力驚人，它們本質(zhì)上仍是通過(guò)基于上文預(yù)測(cè)下一個(gè)詞或標(biāo)記來(lái)運(yùn)作。這種方法限制了它們?cè)谏顚永斫?、邏輯推理和?fù)雜任務(wù)中長(zhǎng)期保持連貫性的能力。

為解決這些挑戰(zhàn)，人工智能領(lǐng)域出現(xiàn)了一種新架構(gòu)：大概念模型（LCMs）。與傳統(tǒng)LLMs不同，LCMs不僅關(guān)注單個(gè)詞語(yǔ)，而是以完整概念為操作對(duì)象，這些概念代表句子或短語(yǔ)中蘊(yùn)含的完整思想。這種更高層次的運(yùn)作方式使LCMs能更好地模擬人類在寫(xiě)作前的思考與規(guī)劃過(guò)程。

本文將探討從LLMs到LCMs的轉(zhuǎn)變，以及這些新模型如何革新人工智能理解與生成語(yǔ)言的方式。我們還將討論LCMs的局限性，并展望未來(lái)研究方向，以進(jìn)一步提升LCMs的效能。

從大型語(yǔ)言模型到大概念模型的演進(jìn)

LLMs的訓(xùn)練目標(biāo)是根據(jù)上文預(yù)測(cè)序列中的下一個(gè)標(biāo)記。雖然這使得LLMs能夠完成摘要生成、代碼編寫(xiě)和語(yǔ)言翻譯等任務(wù)，但其逐詞生成的特性限制了它們?cè)陂L(zhǎng)文本或復(fù)雜任務(wù)中保持邏輯連貫性的能力。相比之下，人類在寫(xiě)作前會(huì)進(jìn)行推理與規(guī)劃。我們不會(huì)逐詞應(yīng)對(duì)復(fù)雜的交流任務(wù)，而是以思想和更高層次的語(yǔ)義單元進(jìn)行思考。

例如，準(zhǔn)備演講或撰寫(xiě)論文時(shí)，人們通常會(huì)先擬定大綱-即希望傳達(dá)的核心觀點(diǎn)或概念-再通過(guò)詞語(yǔ)和句子填充細(xì)節(jié)。用于表達(dá)這些思想的語(yǔ)言可能變化，但底層概念始終不變。這表明，作為交流本質(zhì)的“意義”，可以在比單個(gè)詞語(yǔ)更高的層次上被表示出來(lái)。

這一見(jiàn)解啟發(fā)了人工智能研究者開(kāi)發(fā)以概念而非詞語(yǔ)為操作對(duì)象的模型，從而催生出大概念模型（LCMs）。

什么是大概念模型（LCMs）？

LCMs是一類新型人工智能模型，其在概念層面而非單個(gè)詞語(yǔ)或標(biāo)記層面處理信息。與傳統(tǒng)LLMs逐詞預(yù)測(cè)不同，LCMs以更大的語(yǔ)義單元（通常是完整句子或思想）為操作對(duì)象。通過(guò)使用概念嵌入（表示整句語(yǔ)義的數(shù)值向量），LCMs能捕捉句子的核心含義，而無(wú)需依賴具體詞語(yǔ)。

例如，當(dāng)LLMs逐詞處理“The quick brown fox”時(shí)，LCMs會(huì)將整個(gè)句子表示為一個(gè)概念。通過(guò)處理概念序列，LCMs能更好地模擬思想的邏輯流進(jìn)行建模，以確保清晰與連貫。這類似于人類在寫(xiě)作前列出提綱的過(guò)程-先構(gòu)建思維框架，再逐步展開(kāi)邏輯連貫的敘述。

LCMs如何訓(xùn)練？

LCMs的訓(xùn)練流程與LLMs相似，但存在關(guān)鍵差異：LLMs被訓(xùn)練為逐詞預(yù)測(cè)，而LCMs的目標(biāo)是預(yù)測(cè)下一個(gè)概念。LCMs使用基于Transformer解碼器的神經(jīng)網(wǎng)絡(luò)，根據(jù)已有概念嵌入預(yù)測(cè)后續(xù)概念。

通過(guò)編碼器-解碼器的架構(gòu)實(shí)現(xiàn)文本與概念嵌入的轉(zhuǎn)換：編碼器將輸入文本轉(zhuǎn)化為語(yǔ)義嵌入，解碼器則將模型的輸出嵌入轉(zhuǎn)回自然語(yǔ)言句子。這種架構(gòu)使LCMs能夠超越特定語(yǔ)言-無(wú)論處理英語(yǔ)、法語(yǔ)或中文，輸入文本均被轉(zhuǎn)換為與語(yǔ)言無(wú)關(guān)的概念向量。

LCMs的核心優(yōu)勢(shì)

以概念為操作單元的特性賦予LCMs多項(xiàng)超越LLMs的優(yōu)勢(shì)：

• 全局語(yǔ)境感知通過(guò)以更大單元而不是以孤立的單詞處理文本時(shí)，LCMs能更好理解整體含義，并保持對(duì)整體敘事的更清晰理解。例如總結(jié)小說(shuō)時(shí)，LCMs聚焦情節(jié)與主題，而非陷入細(xì)節(jié)泥潭。
• 層級(jí)規(guī)劃與邏輯連貫LCMs采用分層規(guī)劃：先識(shí)別高層概念，再圍繞其構(gòu)建連貫句子。這種結(jié)構(gòu)確保邏輯流暢，顯著減少冗余與無(wú)關(guān)信息。
• 語(yǔ)言無(wú)關(guān)理解LCMs編碼的概念獨(dú)立于具體語(yǔ)言表達(dá)，實(shí)現(xiàn)了意義的普適表征。這種能力使其能跨語(yǔ)言概括知識(shí)，幫助他們有效地使用多種語(yǔ)言，即使面對(duì)未專門(mén)訓(xùn)練的語(yǔ)言也能有效工作。
• 增強(qiáng)抽象推理通過(guò)操作概念嵌入而不是單個(gè)單詞，LCMs更貼近人類思維方式，可處理復(fù)雜推理任務(wù)。它們能將概念表征作為內(nèi)部“草稿紙”，輔助完成多跳問(wèn)答與邏輯推斷。

挑戰(zhàn)與倫理考量

盡管優(yōu)勢(shì)顯著，LCMs仍面臨多重挑戰(zhàn)：

首先，因需編碼/解碼高維概念嵌入，其計(jì)算成本顯著增加，訓(xùn)練這些模型需大量的資源和優(yōu)化以保證效率和擴(kuò)展性。

其次，可解釋性也變得具有挑戰(zhàn)性，因?yàn)橥评戆l(fā)生在抽象的概念層面。了解模型為什么會(huì)產(chǎn)生特定結(jié)果可能不那么透明，在法律或醫(yī)療決策等敏感領(lǐng)域帶來(lái)風(fēng)險(xiǎn)。

此外，確保公平性和減輕訓(xùn)練數(shù)據(jù)中的偏見(jiàn)仍然是關(guān)鍵問(wèn)題。如果沒(méi)有適當(dāng)?shù)谋Ｕ洗胧?，這些模型可能會(huì)無(wú)意中延續(xù)甚至放大現(xiàn)有的偏見(jiàn)。

LCM研究的未來(lái)方向

作為新興領(lǐng)域，LCM研究將聚焦：

LCMs是人工智能和LLM領(lǐng)域的一個(gè)新興研究領(lǐng)域。LCM的未來(lái)進(jìn)展可能會(huì)集中在擴(kuò)展模型、改進(jìn)概念表示和增強(qiáng)顯式推理能力上。隨著模型超過(guò)數(shù)十億個(gè)參數(shù)，預(yù)計(jì)它們的推理和生成能力將越來(lái)越接近或超過(guò)當(dāng)前最先進(jìn)的LLM。此外，開(kāi)發(fā)靈活、動(dòng)態(tài)的方法來(lái)分割概念并整合多模態(tài)數(shù)據(jù)（如圖像、音頻）將推動(dòng)LCM深入理解不同模態(tài)之間的關(guān)系，如視覺(jué)、聽(tīng)覺(jué)和文本信息。這將使LCM能夠在概念之間建立更準(zhǔn)確的聯(lián)系，使人工智能對(duì)世界有更豐富、更深入的理解。

也有可能通過(guò)混合系統(tǒng)整合LCM和LLM的優(yōu)勢(shì)，其中概念用于高級(jí)規(guī)劃，令牌用于詳細(xì)流暢的文本生成。這些混合模型可以解決從創(chuàng)意寫(xiě)作到技術(shù)問(wèn)題解決的廣泛任務(wù)。這可能會(huì)導(dǎo)致開(kāi)發(fā)出更智能、適應(yīng)性更強(qiáng)、更高效的人工智能系統(tǒng)，能夠處理復(fù)雜的現(xiàn)實(shí)世界應(yīng)用程序。

核心結(jié)論

大概念模型（LCMs）是大型語(yǔ)言模型（LLMs）的進(jìn)化形態(tài)，從操作詞語(yǔ)轉(zhuǎn)向處理完整概念。這種進(jìn)化使AI能夠“先思考，后生成”，帶來(lái)長(zhǎng)文本連貫性提升、創(chuàng)意寫(xiě)作能力增強(qiáng)及多語(yǔ)言處理優(yōu)勢(shì)。盡管面臨計(jì)算成本與可解釋性等挑戰(zhàn)，LCMs有望顯著增強(qiáng)AI解決現(xiàn)實(shí)問(wèn)題的能力。未來(lái)，通過(guò)融合LLMs與LCMs優(yōu)勢(shì)的混合模型，或?qū)⒋呱悄堋㈧`活、高效的AI系統(tǒng)，賦能更廣泛的領(lǐng)域。

譯者介紹

涂承燁，51CTO社區(qū)編輯，具有15年以上的開(kāi)發(fā)、項(xiàng)目管理、咨詢?cè)O(shè)計(jì)等經(jīng)驗(yàn)，獲得信息系統(tǒng)項(xiàng)目管理師、信息系統(tǒng)監(jiān)理師、PMP，CSPM-2等認(rèn)證。

原文標(biāo)題：From Words to Concepts: How Large Concept Models Are Redefining Language Understanding and Generation，作者：Dr. Tehseen Zia