隨著大模型（LLMs）的發(fā)展，AI 寫(xiě)作取得了較大進(jìn)展。然而，現(xiàn)有的方法大多依賴(lài)檢索知識(shí)增強(qiáng)生成（RAG）和角色扮演等技術(shù)，其在信息的深度挖掘方面仍存在不足，較難突破已有知識(shí)邊界，導(dǎo)致生成的內(nèi)容缺乏深度和原創(chuàng)性。

針對(duì)上述問(wèn)題，浙大通義聯(lián)手提出慢思考長(zhǎng)文本生成框架 OmniThink，通過(guò)模擬人類(lèi)寫(xiě)作中反思與擴(kuò)展這一過(guò)程來(lái)突破知識(shí)的邊界，基于知識(shí)增強(qiáng)使生成的文章更加深入、豐富和原創(chuàng)，該框架可應(yīng)用于綜述寫(xiě)作、新聞報(bào)道、報(bào)告生成等場(chǎng)景。

• 論文題目：OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking
• 論文鏈接：https://arxiv.org/abs/2501.09751
• 在線(xiàn)Demo: https://modelscope.cn/studios/iic/OmniThink

背景與挑戰(zhàn)

• 文章內(nèi)容重復(fù)：如圖所示，基于 RAG（GPT-4o）的框架主要依賴(lài)固定的檢索策略，檢索得到的內(nèi)容信息單一，生成文章時(shí)可利用的信息有限，進(jìn)而導(dǎo)致文章存在內(nèi)容重復(fù)問(wèn)題。
• 缺乏深度和創(chuàng)新：角色扮演的方法嘗試從多個(gè)角度擴(kuò)展信息空間，但依然存在深度不足和知識(shí)邊界無(wú)法突破的缺陷，生成的內(nèi)容往往較為淺顯而缺乏新意。

OmniThink 概覽

OmniThink 通過(guò)引入反思與擴(kuò)展機(jī)制，在傳統(tǒng)知識(shí)檢索增強(qiáng)的基礎(chǔ)上，增加了動(dòng)態(tài)反思和擴(kuò)展反饋的步驟。通過(guò)對(duì)先前信息的反思，OmniThink 能夠識(shí)別哪些內(nèi)容值得進(jìn)一步擴(kuò)展，哪些信息應(yīng)當(dāng)被重新整理或過(guò)濾。該機(jī)制有效地避免了信息的片段化，使得生成的文章能夠?qū)崿F(xiàn)知識(shí)的更深層次整合，進(jìn)而提高文章的知識(shí)密度和創(chuàng)新性。

總體工作流程

如圖所示，OmniThink 的工作流程可以分為三大部分：信息獲取、文章大綱構(gòu)建和文章創(chuàng)作。通過(guò)這三大步驟，OmniThink 能夠系統(tǒng)地獲取信息，組織知識(shí)，并最終生成結(jié)構(gòu)化、信息豐富的文章。

• 信息獲取：通過(guò)動(dòng)態(tài)的擴(kuò)展和反思機(jī)制，OmniThink 逐步深化對(duì)主題的理解，形成包含層次信息和核心見(jiàn)解的「信息樹(shù)」與「概念池」。
• 大綱構(gòu)建：根據(jù)前一步獲取的深入信息，OmniThink 會(huì)生成清晰、有邏輯性的大綱，確保文章內(nèi)容的系統(tǒng)性與層次性。
• 文章創(chuàng)作：在大綱指導(dǎo)下，OmniThink 將信息整合并生成各個(gè)部分內(nèi)容，最終通過(guò)多輪修正和去冗余過(guò)程，輸出一篇內(nèi)容完整、信息密集的長(zhǎng)文。

信息獲取：擴(kuò)展與反思

OmniThink 的關(guān)鍵步驟是信息獲取，它通過(guò)模擬人類(lèi)學(xué)習(xí)知識(shí)的過(guò)程，逐步加深對(duì)某一主題的理解。這個(gè)過(guò)程由兩部分組成：擴(kuò)展和反思。

• 擴(kuò)展：在每一個(gè)迭代階段，OmniThink 會(huì)對(duì)主題進(jìn)行信息擴(kuò)展。系統(tǒng)首先從搜索引擎（如 Google、Bing 或自定義知識(shí)庫(kù)）獲取相關(guān)信息，并構(gòu)建初步的「信息樹(shù)」。每一個(gè)信息節(jié)點(diǎn)都代表了一個(gè)子話(huà)題或相關(guān)領(lǐng)域的知識(shí)，系統(tǒng)會(huì)通過(guò)多輪檢索，針對(duì)每個(gè)節(jié)點(diǎn)進(jìn)一步拓展，確保知識(shí)的深度與全面性。
• 反思：擴(kuò)展信息后，OmniThink 會(huì)對(duì)已獲取的內(nèi)容進(jìn)行反思和過(guò)濾，提煉出核心見(jiàn)解。這些見(jiàn)解將不斷更新到概念池中，形成對(duì)話(huà)題的動(dòng)態(tài)理解。通過(guò)這樣的反思過(guò)程，OmniThink 能夠不斷提升其信息的精度和深度，為文章創(chuàng)作打下堅(jiān)實(shí)基礎(chǔ)。

大綱構(gòu)建：引導(dǎo)文章結(jié)構(gòu)

構(gòu)建文章大綱是生成高質(zhì)量文章的關(guān)鍵一步。一個(gè)好的大綱不僅能明確文章的主題和結(jié)構(gòu)，還能確保各個(gè)部分之間的邏輯關(guān)聯(lián)性。

在 OmniThink 中，研究者首先通過(guò)初步的草稿大綱來(lái)對(duì)文章的框架進(jìn)行初步構(gòu)思。接著，OmniThink 結(jié)合從概念池中提取的核心信息，優(yōu)化并精煉這個(gè)大綱，形成最終的結(jié)構(gòu)化大綱。這種基于概念池的生成方法，能夠確保大綱全面涵蓋主題的關(guān)鍵點(diǎn)，并且邏輯嚴(yán)謹(jǐn)，層次分明。

文章創(chuàng)作：生成高質(zhì)量?jī)?nèi)容

一旦大綱完成，OmniThink 進(jìn)入文章創(chuàng)作階段。此時(shí)，系統(tǒng)會(huì)根據(jù)大綱中每個(gè)部分的標(biāo)題和子標(biāo)題，計(jì)算與信息樹(shù)中相關(guān)節(jié)點(diǎn)的語(yǔ)義相似度，獲取最相關(guān)的文獻(xiàn)和數(shù)據(jù)。這些信息被用于生成文章的各個(gè)部分。

• 并行生成：每一部分的內(nèi)容在并行處理下進(jìn)行生成。OmniThink 會(huì)依據(jù)已有的檢索信息和大綱要求生成每個(gè)部分的內(nèi)容，并確保在生成過(guò)程中對(duì)引用信息進(jìn)行標(biāo)注。
• 去冗余與修正：由于各個(gè)部分內(nèi)容是并行生成的，因此初始文章會(huì)存在一定的冗余或信息不一致。OmniThink 會(huì)在最后的階段對(duì)文章進(jìn)行整合，去除重復(fù)內(nèi)容，修正邏輯關(guān)系，最終生成一篇結(jié)構(gòu)清晰、內(nèi)容完整的高質(zhì)量文章。

實(shí)驗(yàn)結(jié)果

在本文的實(shí)驗(yàn)中，研究者使用了 WildSeek 數(shù)據(jù)集來(lái)評(píng)估 OmniThink 的生成能力，并與現(xiàn)有的幾個(gè)基準(zhǔn)方法（如 RAG、oRAG、STORM 和 Co-STORM）進(jìn)行了對(duì)比。通過(guò)這次實(shí)驗(yàn)，研究者全面評(píng)估了 OmniThink 在自動(dòng)評(píng)價(jià)和人工評(píng)價(jià)方面的表現(xiàn)，以下是所得的關(guān)鍵實(shí)驗(yàn)結(jié)果。

自動(dòng)評(píng)估結(jié)果

研究者首先使用 Prometheus2 自動(dòng)評(píng)價(jià)工具對(duì)生成的文章進(jìn)行了打分，評(píng)價(jià)維度包括：相關(guān)性、廣度、深度和新穎性。同時(shí)，研究者還加入了信息多樣性和知識(shí)密度兩個(gè)指標(biāo)來(lái)衡量文章內(nèi)容的豐富性和深度。

從表格中可以看到，OmniThink 在所有維度中均表現(xiàn)優(yōu)秀，尤其在新穎性上表現(xiàn)尤為突出。與傳統(tǒng)的生成方法相比，OmniThink 的強(qiáng)大反思能力使其能夠從已有的知識(shí)中挖掘出新的視角和創(chuàng)見(jiàn)，從而在生成內(nèi)容時(shí)展現(xiàn)出較高的創(chuàng)新性。

另外，OmniThink 在知識(shí)密度上也表現(xiàn)得尤為出色，這得益于其動(dòng)態(tài)信息檢索策略，能夠通過(guò)持續(xù)不斷地獲取多樣化的信息，進(jìn)而提升文章內(nèi)容的深度和精確度。

大綱生成質(zhì)量分析

文章大綱作為內(nèi)容生成的基礎(chǔ)，其質(zhì)量直接影響最終文章的結(jié)構(gòu)性、邏輯性和表達(dá)清晰度。在實(shí)驗(yàn)中，研究者通過(guò)評(píng)估大綱的結(jié)構(gòu)性、邏輯一致性和對(duì)內(nèi)容生成的指導(dǎo)性，進(jìn)一步分析了 OmniThink 在大綱生成方面的表現(xiàn)。

結(jié)果顯示，OmniThink 在大綱的結(jié)構(gòu)性和邏輯一致性方面優(yōu)于其他基準(zhǔn)方法，特別是在如何為內(nèi)容創(chuàng)作提供有效的生成指導(dǎo)方面，表現(xiàn)出了較為明顯的優(yōu)勢(shì)。這一優(yōu)勢(shì)歸功于 OmniThink 獨(dú)特的概念池設(shè)計(jì)，它幫助模型更全面地理解目標(biāo)話(huà)題，從而使得生成的大綱更加清晰和一致。

不過(guò)，研究者也發(fā)現(xiàn)，盡管在結(jié)構(gòu)性和邏輯一致性上有所提升，但在邏輯一致性方面，OmniThink 的改進(jìn)仍然有限，未來(lái)可以進(jìn)一步優(yōu)化這一環(huán)節(jié)。

消融實(shí)驗(yàn)：動(dòng)態(tài)擴(kuò)展與反思的作用

為了進(jìn)一步驗(yàn)證 OmniThink 中動(dòng)態(tài)擴(kuò)展與反思機(jī)制的有效性，研究者進(jìn)行了消融實(shí)驗(yàn)，去掉了 OmniThink 的擴(kuò)展和反思觀察各項(xiàng)指標(biāo)的變化。

實(shí)驗(yàn)結(jié)果表明，去除這一機(jī)制后，模型在信息多樣性和新穎性等關(guān)鍵指標(biāo)上下降。這表明，動(dòng)態(tài)擴(kuò)展與反思機(jī)制在提升文章質(zhì)量，特別是在增加信息多樣性和創(chuàng)新性方面，起到了至關(guān)重要的作用。

擴(kuò)展與反思的深入分析

由于在擴(kuò)展與反思的環(huán)節(jié)中，兩者是相互依賴(lài)關(guān)系，無(wú)法完全剝離其中一個(gè)，研究者設(shè)計(jì)了一個(gè)巧妙的分析實(shí)驗(yàn)：分別將負(fù)責(zé)反思和拓展的模型換成能力更弱的小模型。觀察各項(xiàng)指標(biāo)的下降程度，作為其對(duì)各項(xiàng)指標(biāo)的貢獻(xiàn)程度。

反思機(jī)制被證明是提高文章新穎性和信息多樣性的重要因素。反思不僅可以幫助模型重新評(píng)估和整合現(xiàn)有的知識(shí)，還能通過(guò)深度的自我反省激發(fā)出更多創(chuàng)新的觀點(diǎn)和想法。研究者認(rèn)為，反思機(jī)制是推動(dòng) OmniThink 創(chuàng)新性提升的關(guān)鍵因素。

擴(kuò)展機(jī)制則在知識(shí)的深度和信息的相關(guān)性上起到了更為顯著的作用。通過(guò)擴(kuò)展，OmniThink 可以接觸到更廣泛的知識(shí)領(lǐng)域，增加信息的深度，從而提升生成文章的質(zhì)量和知識(shí)密度。

思維深度分析：信息量與生成質(zhì)量的關(guān)系

隨著檢索信息量的增加，文章的知識(shí)密度和信息多樣性都有提升。研究者發(fā)現(xiàn)，當(dāng)檢索深度從 1 級(jí)提升到 3 時(shí)，生成的文章質(zhì)量迅速提高。但當(dāng)深度達(dá)到 4 時(shí)，增長(zhǎng)速度放緩。

這表明，在長(zhǎng)篇文章生成中，適當(dāng)增加檢索深度可以有效提升文章的多樣性和知識(shí)密度，但過(guò)多的信息也可能導(dǎo)致效果遞減。因此，如何平衡信息深度和生成質(zhì)量，仍然是未來(lái)研究的一個(gè)重要方向。

人工評(píng)估結(jié)果：OmniThink 的實(shí)際優(yōu)勢(shì)

為了更全面地評(píng)估 OmniThink 的性能，研究者邀請(qǐng)了 15 位具有良好教育背景的志愿者進(jìn)行了人工評(píng)估。通過(guò)人工評(píng)分，結(jié)果顯示 OmniThink 在多個(gè)維度上的表現(xiàn)都優(yōu)于當(dāng)前最強(qiáng)基線(xiàn) Co-STORM，特別是在 廣度 維度上，OmniThink 的評(píng)分提升了 11%。

盡管在新穎性上，自動(dòng)評(píng)估顯示了較為明顯的提升，但人工評(píng)估卻僅顯示了輕微的優(yōu)勢(shì)。這一差異揭示了目前自動(dòng)評(píng)估與人工評(píng)估之間存在的差距，未來(lái)的評(píng)估體系需要更加精細(xì)化，才能更好地對(duì)長(zhǎng)篇文章的生成質(zhì)量進(jìn)行評(píng)估。

盡管 OmniThink 在大多數(shù)維度上表現(xiàn)出色，仍有約 30% 的文章在人工評(píng)估中與 Co-STORM 相當(dāng)，這可能是因?yàn)榇笮湍Ｐ偷幕A(chǔ)寫(xiě)作能力已經(jīng)達(dá)到較高水平，使得人工評(píng)估更難察覺(jué)細(xì)微差別。因此，如何在未來(lái)的研究中開(kāi)發(fā)更細(xì)致的評(píng)估標(biāo)準(zhǔn)，成為了提升生成質(zhì)量評(píng)估的關(guān)鍵。

實(shí)驗(yàn)結(jié)果表明，OmniThink 提高了生成文章的知識(shí)密度，并且在保持文章一致性和深度的基礎(chǔ)上，增強(qiáng)了信息的多樣性與深入性。尤其在長(zhǎng)篇文章生成中，OmniThink 能夠提供更具洞察力、更加全面的內(nèi)容，從而解決了傳統(tǒng)方法生成淺薄、重復(fù)的文章的問(wèn)題。

在人類(lèi)評(píng)估和專(zhuān)家反饋中，OmniThink 展現(xiàn)出了相對(duì)較高的潛力，特別是在應(yīng)對(duì)復(fù)雜、開(kāi)放領(lǐng)域文章的生成任務(wù)時(shí)，其信息整合和反思調(diào)整的能力優(yōu)于現(xiàn)有技術(shù)。

應(yīng)用場(chǎng)景

• 綜述寫(xiě)作：OmniThink 能夠幫助學(xué)術(shù)研究人員在撰寫(xiě)綜述時(shí)，快速收集并整合相關(guān)領(lǐng)域的知識(shí)，生成更具深度的文獻(xiàn)綜述或理論分析，避免內(nèi)容的表面化與重復(fù)性。
• 新聞報(bào)道：在新聞報(bào)道領(lǐng)域，OmniThink 能夠處理多角度的信息源，生成多層次、有深度的報(bào)道文章，尤其在處理復(fù)雜社會(huì)事件時(shí)，能夠提供更豐富的背景信息與分析視角。
• 報(bào)告生成：OmniThink 框架可通過(guò)檢索相關(guān)知識(shí)庫(kù)和自我反思，生成具有深入分析和洞察力的報(bào)告內(nèi)容。

總結(jié)

OmniThink 的優(yōu)勢(shì)：

• 知識(shí)密度的提升：通過(guò)反思與擴(kuò)展機(jī)制，OmniThink 可以提高生成文章的知識(shí)密度，避免了內(nèi)容的重復(fù)和表面化。
• 多樣性與深度并存：與現(xiàn)有技術(shù)相比，OmniThink 能夠在保持文章深度的同時(shí)，增加信息的多樣性和多維度的探索。
• 更高的原創(chuàng)性：通過(guò)動(dòng)態(tài)調(diào)整信息檢索策略和反思機(jī)制，OmniThink 能夠生成更加原創(chuàng)且具有新穎視角的文章。

存在的局限：

• 計(jì)算資源需求較高：由于需要進(jìn)行多輪反思與擴(kuò)展，OmniThink 的計(jì)算資源需求較高，可能會(huì)影響其在實(shí)時(shí)應(yīng)用中的效果。
• 信息篩選的挑戰(zhàn)：在信息收集和篩選階段，如何有效識(shí)別有價(jià)值的信息并避免冗余，仍然是一個(gè)待解決的問(wèn)題。

總的來(lái)說(shuō)，OmniThink 提供了一種基于慢思維的長(zhǎng)文本生成新框架，為未來(lái)更高效、更智能的知識(shí)增強(qiáng)長(zhǎng)文本生成方法提供了實(shí)踐參考。