VideoAgent
用自然语言完成视频理解、剪辑与创意改编。
- Star 数
- ★ 2.1k
- 最近更新
- 4 个月前
- License
- MIT
- 主语言
- Python
- FA 评分
- 39/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配OpenAI API · Claude API(部分支持)
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 研究人员需要针对一段播客或视频素材进行问答、摘要,并准备 Whisper 模型时,可使用 Video QA/Summarization 流程。
- 不适合
- 没有 8GB 显存 GPU 或非 Linux/Windows 环境的用户
- 希望开箱即用、不愿配置多个模型与 API 密钥的团队
- 官网
- arxiv.org/abs/2606.23327 ↗ 来自 GitHub 仓库设置
- 维护状态
- 近半年有提交最近提交 2026-07-22近 7 天每天 +2.1 ★
这个 Agent 能做什么,适合哪些场景?
VideoAgent 是一个面向视频理解、编辑和再创作的一体化框架,MIT 许可。它通过意图分析、意图到 Agent 的映射,以及图驱动的工作流生成来处理用户需求,并包含两步自评反馈机制。其 Storyboard Agent 会分析预先生成字幕的视频素材库,将输入拆解为视觉和语义对齐的细粒度查询,用于视频检索。README 所列功能包括视频问答、摘要、影片剪辑、解说视频、视频概览、梗视频改编、音乐视频和跨语言改编。项目以本地 Python 命令行方式运行,入口为 main.py,并依赖本地下载的语音、语音转换、字幕和多模态模型。
用户运行 python main.py 后,在 User Requirement: 提示处输入需求。系统将需求拆为显式和隐式子意图,通过 intent-to-agent mapping 选择能力,并由图驱动框架生成可执行工作流及执行顺序;自评反馈用于迭代改进规划。Storyboard Agent 读取带预字幕的视频素材库,生成细粒度视觉查询以检索相关片段。按任务类型,框架可进行视频问答或摘要,也可生成影片剪辑、解说视频、视频概览、梗视频、音乐视频及跨语言喜剧改编;模型配置位于 environment/config/config.yml,可配置 DeepSeek、Claude、GPT 和 Gemini 的 API 密钥与 Base URL。
- 研究人员需要针对一段播客或视频素材进行问答、摘要,并准备 Whisper 模型时,可使用 Video QA/Summarization 流程。
- 视频创作者希望把现有视频改写为新对白、保留原始视觉内容并维持原说话者音色时,可使用视频混剪、TTS 或 SVC 相关流程。
- 拥有单口喜剧脚本和参考素材的创作者,需要生成带表演节奏、观众反应和相关画面的完整视频时,可使用 README 展示的 stand-up 场景。
- 制作人要把英文脱口秀改为中文相声,或把中文相声改为英文脱口秀时,可使用 Cross Talk 或 Talk Show 所列流程。
- 音乐视频制作者需要使用 DiffSinger、seed-vc、Whisper 与 ImageBind 进行 AI 音乐视频制作时,可采用 MAD SVC 场景。
- 内容团队需要从素材库中检索与文本描述匹配的视频片段,并据此制作解说视频或视频概览时,可使用 Storyboard Agent 的查询与检索流程。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
pip install -r requirements.txt
- 配置文件
environment/config/config.yml- 安装说明涉及
- Windows · Linux
如何安装或部署这个 Agent?
运行环境要求为 Linux 或 Windows、8GB GPU 显存。执行:
git clone https://github.com/HKUDS/VideoAgent.git
conda create --name videoagent python=3.10
conda activate videoagent
conda install -y -c conda-forge pynini==2.1.5 ffmpeg
pip install -r requirements.txt按所需功能下载模型:CosyVoice、fish-speech、seed-vc、DiffSinger、Whisper 和 ImageBind 在 README 中均给出了 huggingface-cli download 或 wget 命令;ImageBind 下载前还需要执行 git lfs install。编辑 environment/config/config.yml,填写相应的 deepseek_api_key、claude_api_key、gpt_api_key、gemini_api_key 及对应 Base URL;README 明确说明 Claude 是 Agentic Graph Router 所必需的。
如何使用这个 Agent?
完成模型下载与 environment/config/config.yml 配置后,运行:
python main.py在控制台出现 User Requirement: 后输入视频任务。README 示例包括:对已有视频改写台词而保留原说话者音色和画面;或将单口喜剧脚本、参考脚本及素材制作成完整视频。不同场景需要下载对应模型:例如 Video QA/Summarization 需要 Whisper,Cross Talk、Talk Show、Comm 和 News 需要 CosyVoice、Whisper 与 ImageBind。
这个 Agent 有哪些优点和局限?
- 同一框架覆盖视频问答、摘要、剪辑、解说、概览、梗视频、音乐视频和跨语言改编,而非只覆盖单一视频任务。
- 以图驱动工作流将用户意图映射到能力组合,并记录了两步自评反馈机制,适合需要多步骤编排的视频任务。
- Storyboard Agent 将预字幕素材库转换为视觉和语义对齐的细粒度检索查询,明确覆盖了素材检索环节。
- 按功能列出了所需模型,允许只下载项目所需的一部分模型。
- README 明确要求 Claude 为 Agentic Graph Router 提供支持,因此部署并非完全独立于外部模型提供商。
- 不同功能还分别依赖 GPT、Gemini 或 DeepSeek 配置,以及 CosyVoice、fish-speech、seed-vc、DiffSinger、Whisper 和 ImageBind 等模型,环境准备成本较高。
- 运行要求 Linux 或 Windows、8GB GPU 显存,并需安装 Python 3.10、FFmpeg 和 Pynini 2.1.5。
- README 仅记录命令行入口
python main.py,未提供 HTTP API、容器部署或托管服务接口的证据。 - 演示视频的音视频素材来自互联网且仅声明用于研究和演示,商业使用时需自行核查素材权利。
这个 Agent 与同类方案有什么区别?
README 将 VideoAgent 与 Director、Funclip、NarratoAI 和 NotebookLM 对比:表中 VideoAgent 覆盖节拍同步剪辑、故事叙述视频、视频概览、梗视频改编、歌曲混剪、跨语言改编、视频问答和音效工具;其余产品在该表中仅覆盖其中部分能力。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| VideoAgent 当前 | 39 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 2.1k | 4 个月前 | Python | — |
| Natively AI 会议助手 | 50 · 缺口较多 | 桌面应用免费版 + 付费版 | ★ 3.4k | 1 天前 | TypeScript | OpenAI API · Claude API |
| Kineo(Kineo AI) | 34 · 缺口较多 | — | ★ 137 | 5 天前 | TypeScript | — |
| PPT Master — AI 原生 PowerPoint 生成器 | 70 · 存在缺口 | Agent 插件 / 技能免费 + 模型费 | ★ 79k | 1 天前 | Python | Claude Code |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
README 展示了 API 密钥配置及多种模型下载来源,也承认演示素材来自互联网;因此数据和外部依赖有部分可见性。扣分原因:没有说明用户视频、音频或提示词会发送到哪些服务,也没有敏感数据处理、权限边界、逐项外部副作用、确认机制或回滚说明;README 对素材权利的说明较笼统。
README 给出 Python 3.10、环境安装步骤、所需模型清单和启动命令,pyproject.toml 也列出项目版本与依赖。扣分原因:依赖范围庞大且混有重复项与未固定版本项;README 宣称 Linux、Windows,但没有说明平台差异或依赖可用性。所给代码片段对运行失败后的处理支持有限。
README 面向自然语言视频问答、剪辑、摘要和生成等场景,列出按功能选择模型的表格与示例请求。扣分原因:能力描述较宽泛,未明确各场景的边界、适用条件或何时不应路由到某项能力;环境要求只简述 GPU 显存和操作系统。
README 有目录、快速开始、模型下载、配置、用法、演示和致谢,包含安装步骤与示例。扣分原因:没有 FAQ 或具体局限说明;仓库 LICENSE 为 MIT,但 pyproject.toml 声明 Apache,许可信息冲突;版本仅见 0.1.0,未提供变更记录或清晰维护责任人。
产品目标覆盖视频理解、编辑和生成,README 给出多种演示和示例请求,并提供按功能选择模型的线索。扣分原因:结果形式、质量约束和人工审核流程未在材料中具体说明;需要下载多个大型模型并配置多家 LLM 服务,成本和资源负担较高。
README 提供演示链接、评测描述、图表引用以及模型和项目致谢,部分主张可追溯到材料中的展示。扣分原因:关键性能主张主要是 README 自述,所给材料没有测试文件或独立复核依据;产品能力、评测结果与推断之间的区分不够清楚。
- 源码中未见:回滚或恢复路径运行前先备份,或在 git 分支、快照上操作,确保改动可以撤销。
- 安装前核对 LICENSE 与 pyproject.toml 的许可声明,并确认依赖和模型下载适用于目标环境。
- 配置 API 密钥或处理个人视频、音频前,先确认数据会发送到哪些服务及其处理方式;README 未说明这些数据流。
- README 说明演示素材来自互联网并用于研究展示,但没有逐项列明素材授权。
常见问题
必须配置哪些模型 API?
能否只下载部分本地模型?
如何启动并提交任务?
python main.py,然后在控制台的 User Requirement: 提示处输入需求。是否提供 Web 服务或 SDK?
VideoAgent 官网是什么?
VideoAgent 免费吗?
VideoAgent 开源吗?
VideoAgent 安全吗?
VideoAgent 还在维护吗?
VideoAgent 是谁开发的?
谢谢反馈,我们会据此改进页面。