來(lái)看一個(gè)PPT生成思路：PPTAgent。傳統(tǒng)的PPT生成方法通常使用端到端的文本生成范式，這種方法僅關(guān)注文本內(nèi)容，忽略了布局設(shè)計(jì)和PPT結(jié)構(gòu)。PPTAgent 采用了一種基于編輯的生成范式，解決處理空間關(guān)系和設(shè)計(jì)風(fēng)格方面的挑戰(zhàn)。

傳統(tǒng)方法的每個(gè)幻燈片  可以用以下公式表示：

方法

PPTAgent框架

在本文中，PPTAgent 是一個(gè)用于自動(dòng)生成PPT的框架。采用基于編輯的工作流程，分為兩個(gè)階段：PPT分析和PPT生成。

階段 I: PPT分析

主要目標(biāo)是通過(guò)幻燈片聚類和內(nèi)容schema提取，為PPT生成提供結(jié)構(gòu)化和語(yǔ)義化的參考信息。這一階段的結(jié)果將直接影響后續(xù)階段的生成質(zhì)量和效率。

• 幻燈片聚類

幻燈片聚類（層次聚類）是將參考PPT中的幻燈片按照其功能和內(nèi)容進(jìn)行分組的過(guò)程?；脽羝梢苑譃閮纱箢悾?/span>聚類算法：

圖片

• 層次聚類

聚類示例

a.結(jié)構(gòu)性幻燈片：這些幻燈片主要用于支持演示文稿的結(jié)構(gòu)，例如開(kāi)場(chǎng)幻燈片、過(guò)渡幻燈片和結(jié)束幻燈片。對(duì)于此類幻燈片，PPTAgent利用LLM推斷每個(gè)幻燈片的功能角色，并根據(jù)這些角色進(jìn)行分組。這些幻燈片通常具有明顯的文本特征。

b.內(nèi)容性幻燈片：這些幻燈片主要用于傳達(dá)具體的信息，例如包含項(xiàng)目符號(hào)、圖表和圖像的幻燈片。對(duì)于此類幻燈片，PPTAgent采用基于圖像相似性的層次聚類方法。通過(guò)計(jì)算幻燈片之間的圖像相似度，將相似的幻燈片歸為一組。

• 內(nèi)容Schema提取
  完成幻燈片聚類后，PPTAgent進(jìn)一步分析每個(gè)聚類的內(nèi)容Schema，以確保編輯的目標(biāo)一致性。由于現(xiàn)實(shí)世界中的幻燈片可能非常復(fù)雜且碎片化，PPTAgent利用LLM的上下文感知能力提取多樣化的內(nèi)容Schema。PPTAgent定義了一個(gè)內(nèi)容Schema提取框架，其中每個(gè)元素由其類別、模態(tài)和內(nèi)容表示?；谶@個(gè)框架，PPTAgent通過(guò)LLM的指令遵循（原文給出了相關(guān)prompts）和結(jié)構(gòu)化輸出能力，從每個(gè)幻燈片中提取內(nèi)容Schema。提取過(guò)程如下：

a.類別：描述元素的類型，例如文本框、圖像等。

b.模態(tài)：描述元素的呈現(xiàn)方式，例如純文本、帶圖形的文本等。

c.內(nèi)容：描述元素的具體內(nèi)容，例如文本內(nèi)容或圖像的替代文本。

階段 II：PPT生成

圖片

第二階段是基于第一階段的分析結(jié)果，生成新的PPT。這一階段的核心是通過(guò)交互式的編輯過(guò)程，利用參考幻燈片和輸入文檔生成目標(biāo)PPT。步驟包括：生成一個(gè)結(jié)構(gòu)化的大綱，指定每個(gè)幻燈片的參考幻燈片和相關(guān)內(nèi)容；使用LLMs迭代編輯參考幻燈片以生成新幻燈片；實(shí)現(xiàn)五個(gè)專門(mén)的API，允許LLMs編輯、刪除和復(fù)制文本元素，以及編輯和移除視覺(jué)元素。

大綱生成：大綱生成是根據(jù)人類偏好，指導(dǎo)LLM創(chuàng)建一個(gè)結(jié)構(gòu)化的大綱。每個(gè)條目指定參考幻燈片、相關(guān)文檔部分索引以及新幻燈片的標(biāo)題和描述。通過(guò)利用LLM的規(guī)劃和總結(jié)能力，結(jié)合從參考PPT中提取的語(yǔ)義信息，生成一個(gè)連貫且吸引人的大綱，從而指導(dǎo)新PPT的生成過(guò)程。

幻燈片生成：幻燈片生成是在大綱的指導(dǎo)下，通過(guò)迭代編輯參考幻燈片來(lái)生成新幻燈片的過(guò)程。為了實(shí)現(xiàn)對(duì)幻燈片元素的精確操作，PPTAgent實(shí)現(xiàn)了五個(gè)專門(mén)的API，允許LLM編輯、刪除和復(fù)制文本元素，以及編輯和刪除視覺(jué)元素。此外，為了增強(qiáng)對(duì)幻燈片結(jié)構(gòu)的理解，PPTAgent將幻燈片從其原始XML格式轉(zhuǎn)換為HTML表示，這種表示形式更易于LLM解釋。

實(shí)驗(yàn)

評(píng)價(jià)指標(biāo)，現(xiàn)有的指標(biāo)包括：

• 成功率（Success Rate, SR）
• 困惑度（Perplexity, PPL）
• Fréchet Inception Distance（FID）

PPTEval指標(biāo)包括：

• 內(nèi)容（Content）
• 設(shè)計(jì)（Design）
• 連貫性（Coherence）
• 平均分（Avg.）

這些指標(biāo)用于評(píng)估生成的PPT在不同維度上的質(zhì)量。

參考文獻(xiàn)

PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides，https://arxiv.org/pdf/2501.03936v1