一键实现PPT演讲自由！「解说音频+视频」同步天生，，，，效果迫近真人

一键实现PPT演讲自由！「解说音频+视频」同步天生，，，，效果迫近真人

新智元报道

编辑：LRST

【新智元导读】PresentAgent可以把论文、报告等长文档一键酿成带真人语音和同步幻灯片的演示视频，，，，流程像人写提要、做PPT、录音并合成。。实验使用30份文档与人工视频比照测试，，，，PresentAgent在内容准确、视觉清晰和观众明确上都靠近人类水准，，，，可帮先生、商务人士省去大宗做PPT和录音的时间。。

演示是一种普遍使用且行之有用的信息转达方法。。通过连系视觉元素、结构化的解说和口头诠释，，，，它能够使信息逐步睁开，，，，从而让差别受众更容易明确。。

只管效果显著，，，，但将长篇文档（如商业报告、手艺手册、政策简报或学术论文）制作成高质量演示视频通常需要泯灭大宗人工精神。。

这个历程涉及内容筛选、幻灯片设计、讲稿撰写、语音录制，，，，以及将所有内容整合成一个连贯的多模态输出。。

只管近年来AI在文档转幻灯片和文本转视频等领域取得希望，，，，但仍保存一个要害问题：这些要领要么只能天生静态的视觉摘要，，，，要么仅能输出无结构的通用视频片断，，，，难以胜任需要结构化讲述的演示使命。。

为填补这一空缺，，，，澳大利亚人工智能研究所、英国利物浦大学的研究职员提出了一个新使命：文档到演示视频天生（Document-to-Presentation Video Generation），，，，旨在自动将结构化或非结构化文档转化为配有语音解说和同步幻灯片的视频演示。。

论文链接：https://arxiv.org/pdf/2507.04036

代码链接：https://github.com/AIGeeksGroup/PresentAgent

该使命的挑战远超古板的摘要或文本转语音系统，，，，由于它需要选择性内容笼统、基于结构的视觉妄想，，，，以及视觉与语音的准确多模态对齐。。

图1：PresentAgent 概览。。该系统以文档（如网页）为输入，，，，经由以下天生流程：（1）文档处置惩罚、（2）结构化幻灯片天生、（3）同步字幕建设，，，，以及（4)语音合成。。最终输出为一个连系幻灯片和同步解说的演示视频。。图中紫色高亮部分体现天生历程中的要害中心输出

图2：评估基准中的文档多样性

与以往只关注静态幻灯片/图像天生或简单语音摘要的要领差别，，，，研究职员的目的是构建一个完整集成的视频体验，，，，模拟现实中人类演讲者的信息转达方法。。

图3：要领框架概览

上图左侧给定多样的输入文档（如论文、网站、博客、幻灯片或 PDF），，，，PresentAgent 能天生带解说的演示视频，，，，输出为同步的幻灯片和音频。。

右侧设计了PresentEval，，，，一个双路径的评估框架：

（1）客观考试评估（上），，，，通过 Qwen-VL 举行事实明确检测；；；；；

（2）主观打分评估（下)，，，，借助视觉-语言模子从内容质量、视觉设计与语音明确等维度举行评分。。

为应对上述挑战，，，，研究职员提出了一个�？？？？？榛焐蚣堋狿resentAgent，，，，如图1所示。。

其流程包括：

将输入文档语义分块（通过纲要妄想）；；；；；

为每个语义块天生具有结构指导的幻灯片视觉内容；；；；；

将要害信息重写为口语化解说文本；；；；；

语音合成后，，，，与幻灯片举行时间同步，，，，最终天生一个结构优异、解说清晰的视频演示。。

值得一提的是，，，，整个流程具有可控性和领域顺应性，，，，适用于多种文档类型和演示气概。。

为有用评估此类重大多模态系统，，，，研究职员整理了一个涵盖教育、金融、政策与科研等多个领域的30组人工制作的文档-演示视频对的测试集。。

同时，，，，研究职员设计了一个双路径评预战略：

一方面使用牢靠选择题测试内容明确；；；；；

另一方面通过视觉语言模子打分，，，，评估视频的内容质量、视觉泛起与观众明确水平。。

实验效果批注，，，，该要领天生的视频流通、结构合理、信息充分，，，，在内容转达和观众明确方面靠近人类体现。。

这批注将语言模子、视觉结构天生与多模态合成连系，，，，能够实现可诠释、可扩展的自动演示天生系统。。

主要孝顺如下：

提出新使命：首次提出“文档到演示视频天生”这一新使命，，，，旨在从种种长文本自动天生结构化的幻灯片视频，，，，并配有语音解说。。

设计PresentAgent系统：提出一个�？？？？？榛焐蚣�，，，，涵盖文档剖析、结构感知幻灯片构建、讲稿天生及音视同步，，，，实现可控、可诠释的视频天生历程。。

提出PresentEval评估框架：构建一个由视觉语言模子驱动的多维度评估机制，，，，从内容、视觉与明确等维度对视频举行提醒式评分。。

构建高质量评测数据集：制作了一个包括30对真实文档与对应演示视频的数据集。。实验和消融研究显示，，，，PresentAgent不但靠近人类体现，，，，且显著优于现有计划。。

演示视频评估基准

该基准不但评估视频的流通性与信息准确性，，，，还支持对观众明确水平的评估。。

借鉴Paper2Poster的要领，，，，研究职员设计了一个考试式评估，，，，即通过视觉语言模子仅凭证天生视频（幻灯片+解说）回覆内容问题，，，，以模拟观众的明确水平。。

研究职员还引入人工制作的视频作为参考标准，，，，既用于评分校准，，，，也作为性能上限比照。。

如图2所示，，，，基准涵盖四种代表性文档类型（学术论文、网页、手艺博客和幻灯片），，，，均配有真实人工解说视频，，，，笼罩教育、科研、商业报告等多种真实领域。。

示例：客观考试评估（Objective Quiz Evaluation）

客观考试评估中的提醒样例，，，，每组选择题均基于源文档真实内容手动设计，，，，重点考察主题识别、结构明确与焦点看法提取能力，，，，用于评估天生视频是否有用转达原始信息。。

示例：主观评分维度（Subjective Scoring Prompts）

主观评分提醒示例，，，，其中每项提醒关注一个特定维度，，，，旨在指导视觉语言模子以“人类视角”对视频举行评分。。缩写说明：Narr. Coh. = 解说连贯性；；；；；Comp. Diff. = 明确难度。。

研究职员接纳一个「统一的模子驱动评估框架」来对天生的演示视频举行评分，，，，所有评估均使用视觉语言模子，，，，连系针对差别维度设计的提醒举行指导。。

该评估框架由两部分组成：

客观考试评估：通过选择题丈量视频转达信息的准确性；；；；；

主观评分评估：从内容质量、视觉/音频设计与明确清晰度等维度，，，，对视频进 1–5分品级评分。。

这两类指标配合组成了对天生视频的周全质量评估系统。。

Doc2Present数据集先容

为了支持文档到演示视频天生的评估，，，，研究职员构建了一个多领域、多文体的真实比照数据集——Doc2Present Benchmark，，，，其中每对数据都包括一个文档与一个配套的演示视频。。

差别于以往只关注摘要或幻灯片的基准，，，，数据包括商业报告、产品手册、政策简报、教程类文档等，，，，每篇文档均配有人工制作的视频解说。。

数据泉源

研究职员从果真平台、教育资源库和专业演示存档中网络了30个高质量演示视频样本，，，，每个视频都具有清晰结构，，，，连系了幻灯片视觉泛起和同步语音解说。。

研究职员手动对齐每个视频与其源文档，，，，并确保视频结构与文档内容一致、幻灯片视觉信息紧凑且结构化、解说与幻灯片在时间上优异同步。。

数据统计信息

文档长度：约3000–8000字

视频长度：1–2分钟

幻灯片数目：5–10页

这一设置强调了使命的焦点挑战：怎样将麋集、领域专属的文档内容转化为简明易懂的多模态演示内容。。

PresentEval

为了评估天生的演示视频的质量，，，，研究职员接纳了两种互补的评预战略：客观选择题评估（Objective Quiz Evaluation）和主观评分（Subjective Scoring），，，，如图3所示。。

关于每个视频，，，，将幻灯片图像和完整的解说文本作为统一输入提供应视觉-语言模子，，，，模拟真实观众的寓目体验。。

在客观评估中，，，，模子需回覆一组牢靠的事实性问题，，，，以判断视频是否准确转达了原始文档中的要害信息。。

在主观评分中，，，，模子从三个维度对视频举行打分：解说的连贯性、视觉设计的清晰度与雅观性，，，，以及整体的易明确水平。。所有评估都不依赖真实参考，，，，而完全依赖模子对泛起内容的明确。。

客观选择题评估

为了评估天生的视频是否有用转达了原始文档的焦点内容，，，，接纳牢靠问题的明确评估协议。。

研究职员为每个文档手动设计五道多项选择题，，，，着重于主题识别、结构明确和论点提取等方面。。

如表1所示，，，，评估时，，，，视觉-语言模子吸收包括幻灯片和音频转录的完整视频，，，，并回覆五个问题。。

每题有四个选项，，，，仅有一个准确谜底，，，，准确谜底基于人工制作的视频标注，，，，最终明确得分（规模0-5）反应模子答对了几题，，，，权衡视频转达原始信息的能力。。

主观评分

为评估天生视频的质量，，，，研究职员接纳基于提醒的视觉-语言模子评估方法，，，，差别于依赖人工参考或牢靠指标的要领，，，，要求模子从观众视角出发，，，，用自身推理与偏好打分。。

评分关注三个方面：解说连贯性、幻灯片视觉效果以及整体明确难度。。

模子寓目视频与音频内容后，，，，划分为每个维度打分（1–5分）并简要诠释。。详细评分提醒见表2，，，，针对差别模态和使命设计了差别的提醒语，，，，以实现精准评估。。

PresentAgent

图4：PresentAgent框架概览

该系统以多种类型的文档（例如论文、网页、PDF等）为输入，，，，遵照�？？？？？榛奶焐鞒蹋�

首先举行提要天生；；；；；

接着检索出最适合的幻灯片模板；；；；；

然后借助视觉-语言模子天生幻灯片息争说文稿；；；；；

将解说文稿通过TTS转换为音频，，，，并合成为完整的演示视频；；；；；

为了评估视频质量，，，，设计了多个维度的提醒语；；；；；

最后将提醒输入基于视觉语言模子（VLM）的评分�？？？？？�，，，，输出各个维度的指标效果。。

为了将长文本文档转化为带口语化解说的演示视频，，，，设计了一个多阶段的天生框架，，，，模拟人类准备幻灯片与演讲内容的流程。。

该要领分为四步：语义分段、结构化幻灯片天生、口语化解说天生、可视与音频组合为同步视频。。

该�？？？？？榛杓浦С挚煽匦浴⒖哨故托院投嗄Ｌ云�，，，，兼顾高质量天生与细粒度评估。。下文将划分先容各�？？？？？�。。

问题界说

古板要领通常直接从文档片断C天生幻灯片元素S，，，，如下所示：

S={e1,e2,...,en}=f(C)

该方规则视整个文档D为整体输入，，，，通过三步天生演示视频：

基于纲要妄想天生语义段落序列{C1,...,CK}；；；；；

对每段天生幻灯片Sk与口语讲稿Tk（再转为音频）；；；；；

合成带时间对齐的视频V：

V=Compose({(S1,T1),...,(SK,TK)})=g(D)

该流程不依赖牢靠模板，，，，而是从高层结构出发，，，，自底向上天生幻灯片和解说内容，，，，支持多模态对齐与可控天生。。

幻灯片妄想与天生

幻灯片�？？？？？榻杓薖PTAgent的结构化编辑范式，，，，但目的差别——不是输出.pptx文件，，，，而是为视频合成天生视觉一致的静态幻灯片帧。。流程如下：

用轻量级语言模子剖析文档，，，，划分语义段；；；；；

为每段匹配合适的幻灯片类型（如：项目符号、图文连系、问题先容等）；；；；；

使用规则和语义信息将内容映射至HTML模板；；；；；

挪用操作指令（如：replace_text, insert_image}）天生最终幻灯片；；；；；

使用python-pptx或HTML渲染器渲染为静态图像。。

解说天生与语音合成

为使幻灯片更具吸引力，，，，研究职员为每页幻灯片天生解说，，，，并将其合成为语音：

针对每个语义段落，，，，提醒语言模子天生自然、精练的口语化讲稿；；；；；

控制长度在30–150秒之间；；；；；

使用文本转语音（TTS）系统天生对应音频；；；；；

将音频与幻灯片匹配，，，，形成时间对齐的素材。。

视频合成

最后一步，，，，将静态幻灯片图像与配音音频合成为完整的视频：

每页幻灯片一连显示，，，，与其音频同步；；；；；

可添加淡入淡出过渡；；；；；

使用ffmpeg等视频处置惩罚工具合成视频轨；；；；；

输出标准名堂（如.mp4），，，，便于分享或编辑。。

实验效果

研究职员设计实验以验证PresentAgent在天生高质量解说视频方面的有用性。。重点不在与已有基线要领较量，，，，而是评估系统在靠近人类体现方面的能力，，，，特殊是在PresentEval评估使命中的明确能力。。

评估设置

研究职员构建了一个包括30个长文档的测试集，，，，每个文档配有人类手工制作的演示视频作为参考，，，，涵盖教育、产品说明、科研综述与政策简报等主题。。

所有天生与人工视频均使用PresentEval框架举行评估。。由于目今尚无模子可完整评估超2分钟的多模态视频，，，，接纳分段评预战略：

客观评估阶段：使用Qwen-VL-2.5-3B回覆牢靠的多项选择题，，，，评估内容明确；；；；；

主观评分阶段：提取视频与音频片断，，，，使用Qwen-Omni-7B针对内容质量、视觉/听觉质量和明确难度划分打分。。

评分依赖维度提醒语，，，，笼罩内容完整性、视觉设计与语音可明确性。。

实现细节

PresentAgent接纳高度�？？？？？榛亩嗄Ｌ焐芄�，，，，主要特征如下：

语言明确�？？？？？橹С諫PT-4o、GPT-4o-mini、Qwen-VL-Max、Gemini-2.5 Flash/Pro、Claude-3.7-Sonnet，，，，并通过动态路由战略选择最优模子；；；；；

VLM评估器使用轻量级Qwen-VL-2.5-3B-Instruct，，，，评估结构合理性、图表可读性和跨模态一致性；；；；；

TTS使用MegaTTS3，，，，支持24kHz高保真合成与节奏/情绪控制；；；；；

完整流程包括：

结构剖析与重排：构建主题–子主题树；；；；；

逐页天生：通过LLM天生含问题、项目符号、图像占位符和替换文本的幻灯片；；；；；

配音合成与合成输出：支持中英文发音，，，，最终通过ffmpeg剧本合成1080p视频，，，，含淡入淡出与字幕。。

主实验效果

表3：五份测试文档的详细评估效果

表3展示了评估效果，，，，涵盖了事实明确能力（考试准确率）以及基于偏好的视频和音频输出质量评分。。

在考试准确率方面，，，，大大都PresentAgent的变体与人工基准效果（0.56）相当甚至更优。。其中Claude-3.7-sonnet取得了最高准确率0.64，，，，批注天生内容与源文档之间具有较强的一致性。。其他模子如Qwen-VL-Max和Gemini-2.5-flash得分略低（0.52），，，，批注在事实对齐方面仍有提升空间。。

在主观质量方面，，，，由人类制作的演示仍在视频和音频整体评分上坚持领先。。然而，，，，一些PresentAgent变体体现出有竞争力的性能。。例如，，，，GPT-4o-Mini在视频内容和视觉吸引力方面获得了最高分（均靠近或抵达4.8），，，，而Claude-3.7-sonnet则在音频质量方面体现最为平衡（均分为4.53）。。

有趣的是，，，，Gemini-2.5-flash在视觉质量上取得了最高得分（5.0），，，，但在明确性方面较低，，，，这反应了雅观性与清晰度之间的权衡。。这些效果突显了�？？？？？榛焐鞒痰挠杏眯�，，，，以及统一评估框架PresentEval在捕获演示质量多个维度方面的适用价值。。

案例剖析

图5：自动天生视频示例

图5展示了一个完整的PresentAgent自动天生演示视频示例，，，，其中一篇手艺博客被转化为带解说的演示。。

系统识别出结构性片断（如小序、手艺诠释等），，，，并为其天生了包括口语气概字幕和同步语音的幻灯片，，，，涵盖了“并行化事情流”“署理系统架构”等手艺主题，，，，展示了系统在坚持手艺准确性的同时，，，，以清晰、对话式方法转达信息的能力。。

研究职员合成了整合视觉幻灯片、文本解说和语音音频的演示气概视频，，，，模拟了现实中的多模态交流场景。。现在的评估要领主要关注各模态的自力质量，，，，例如视觉清晰度、文内情关性以及音频可明确性，，，，这些维度现在被划分看待。。

然而，，，，在现实应用中，，，，相同的有用性往往取决于各模态之间的语义与时间上的协统一致性。。

因此，，，，未来的研究应逾越伶仃评估，，，，迈向融合感知（fusion-aware）的明确与评估，，，，意味着不但要建模图像、音频和文本模态之间的交互与对齐，，，，还需付与系统在多模态语义联合下的推理能力。。

现有模子如ImageBind提供了多模态的统一嵌入空间，，，，但在高层推理与语义明确能力方面仍有所缺乏。。

一个有远景的偏向是：将体现对齐（representation alignment）与多模态推理能力（multimodal reasoning）连系起来，，，，构建融合对齐的模态编码器与强盛的语言模子。。

这将使系统具备对重大多模态输入的联合感知、明确与响应能力——例如，，，，基于语音解说与视觉线索诠释某个视觉看法，，，，或识别模态间的纷歧致性。。

开发此类具有推理能力的融合感知模子，，，，将是推动多模态明确向真实天下应用场景迈进的要害。。