VideoAgent

这个 Agent 能做什么，适合哪些场景？

VideoAgent 是一个面向视频理解、编辑和再创作的一体化框架，MIT 许可。它通过意图分析、意图到 Agent 的映射，以及图驱动的工作流生成来处理用户需求，并包含两步自评反馈机制。其 Storyboard Agent 会分析预先生成字幕的视频素材库，将输入拆解为视觉和语义对齐的细粒度查询，用于视频检索。README 所列功能包括视频问答、摘要、影片剪辑、解说视频、视频概览、梗视频改编、音乐视频和跨语言改编。项目以本地 Python 命令行方式运行，入口为 main.py，并依赖本地下载的语音、语音转换、字幕和多模态模型。

用户运行 python main.py 后，在 User Requirement: 提示处输入需求。系统将需求拆为显式和隐式子意图，通过 intent-to-agent mapping 选择能力，并由图驱动框架生成可执行工作流及执行顺序；自评反馈用于迭代改进规划。Storyboard Agent 读取带预字幕的视频素材库，生成细粒度视觉查询以检索相关片段。按任务类型，框架可进行视频问答或摘要，也可生成影片剪辑、解说视频、视频概览、梗视频、音乐视频及跨语言喜剧改编；模型配置位于 environment/config/config.yml，可配置 DeepSeek、Claude、GPT 和 Gemini 的 API 密钥与 Base URL。

1. 研究人员需要针对一段播客或视频素材进行问答、摘要，并准备 Whisper 模型时，可使用 Video QA/Summarization 流程。
2. 视频创作者希望把现有视频改写为新对白、保留原始视觉内容并维持原说话者音色时，可使用视频混剪、TTS 或 SVC 相关流程。
3. 拥有单口喜剧脚本和参考素材的创作者，需要生成带表演节奏、观众反应和相关画面的完整视频时，可使用 README 展示的 stand-up 场景。
4. 制作人要把英文脱口秀改为中文相声，或把中文相声改为英文脱口秀时，可使用 Cross Talk 或 Talk Show 所列流程。
5. 音乐视频制作者需要使用 DiffSinger、seed-vc、Whisper 与 ImageBind 进行 AI 音乐视频制作时，可采用 MAD SVC 场景。
6. 内容团队需要从素材库中检索与文本描述匹配的视频片段，并据此制作解说视频或视频概览时，可使用 Storyboard Agent 的查询与检索流程。

如何安装或部署这个 Agent？

运行环境要求为 Linux 或 Windows、8GB GPU 显存。执行：

git clone https://github.com/HKUDS/VideoAgent.git
conda create --name videoagent python=3.10
conda activate videoagent
conda install -y -c conda-forge pynini==2.1.5 ffmpeg
pip install -r requirements.txt

按所需功能下载模型：CosyVoice、fish-speech、seed-vc、DiffSinger、Whisper 和 ImageBind 在 README 中均给出了 huggingface-cli download 或 wget 命令；ImageBind 下载前还需要执行 git lfs install。编辑 environment/config/config.yml，填写相应的 deepseek_api_key、claude_api_key、gpt_api_key、gemini_api_key 及对应 Base URL；README 明确说明 Claude 是 Agentic Graph Router 所必需的。

如何使用这个 Agent？

完成模型下载与 environment/config/config.yml 配置后，运行：

python main.py

在控制台出现 User Requirement: 后输入视频任务。README 示例包括：对已有视频改写台词而保留原说话者音色和画面；或将单口喜剧脚本、参考脚本及素材制作成完整视频。不同场景需要下载对应模型：例如 Video QA/Summarization 需要 Whisper，Cross Talk、Talk Show、Comm 和 News 需要 CosyVoice、Whisper 与 ImageBind。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题