VideoAgent

用自然语言完成视频理解、剪辑与创意改编。

Star 数
★ 2.1k
最近更新
4 个月前
License
MIT
主语言
Python

30 秒速览

运行形态
命令行工具
可在哪里用
兼容但需适配OpenAI API · Claude API(部分支持)
费用
软件免费,模型调用费用自付
上手难度
高 · 需要较重的基础设施
开始前需要
Python 3.10Linux 或 Windows8GB GPU 显存FFmpegPynini 2.1.5Shell / 命令行网络访问本地文件系统
典型场景
研究人员需要针对一段播客或视频素材进行问答、摘要,并准备 Whisper 模型时,可使用 Video QA/Summarization 流程。
不适合
  • 没有 8GB 显存 GPU 或非 Linux/Windows 环境的用户
  • 希望开箱即用、不愿配置多个模型与 API 密钥的团队
官网
arxiv.org/abs/2606.23327 ↗ 来自 GitHub 仓库设置
维护状态
近半年有提交最近提交 2026-07-22近 7 天每天 +2.1 ★

这个 Agent 能做什么,适合哪些场景?

VideoAgent 是一个面向视频理解、编辑和再创作的一体化框架,MIT 许可。它通过意图分析、意图到 Agent 的映射,以及图驱动的工作流生成来处理用户需求,并包含两步自评反馈机制。其 Storyboard Agent 会分析预先生成字幕的视频素材库,将输入拆解为视觉和语义对齐的细粒度查询,用于视频检索。README 所列功能包括视频问答、摘要、影片剪辑、解说视频、视频概览、梗视频改编、音乐视频和跨语言改编。项目以本地 Python 命令行方式运行,入口为 main.py,并依赖本地下载的语音、语音转换、字幕和多模态模型。

用户运行 python main.py 后,在 User Requirement: 提示处输入需求。系统将需求拆为显式和隐式子意图,通过 intent-to-agent mapping 选择能力,并由图驱动框架生成可执行工作流及执行顺序;自评反馈用于迭代改进规划。Storyboard Agent 读取带预字幕的视频素材库,生成细粒度视觉查询以检索相关片段。按任务类型,框架可进行视频问答或摘要,也可生成影片剪辑、解说视频、视频概览、梗视频、音乐视频及跨语言喜剧改编;模型配置位于 environment/config/config.yml,可配置 DeepSeek、Claude、GPT 和 Gemini 的 API 密钥与 Base URL。

  1. 研究人员需要针对一段播客或视频素材进行问答、摘要,并准备 Whisper 模型时,可使用 Video QA/Summarization 流程。
  2. 视频创作者希望把现有视频改写为新对白、保留原始视觉内容并维持原说话者音色时,可使用视频混剪、TTS 或 SVC 相关流程。
  3. 拥有单口喜剧脚本和参考素材的创作者,需要生成带表演节奏、观众反应和相关画面的完整视频时,可使用 README 展示的 stand-up 场景。
  4. 制作人要把英文脱口秀改为中文相声,或把中文相声改为英文脱口秀时,可使用 Cross Talk 或 Talk Show 所列流程。
  5. 音乐视频制作者需要使用 DiffSinger、seed-vc、Whisper 与 ImageBind 进行 AI 音乐视频制作时,可采用 MAD SVC 场景。
  6. 内容团队需要从素材库中检索与文本描述匹配的视频片段,并据此制作解说视频或视频概览时,可使用 Storyboard Agent 的查询与检索流程。

安装与配置要点

摘自下方的安装和使用说明,以项目 README 的最新说明为准。

安装 / 启动命令
  • pip install -r requirements.txt
配置文件
environment/config/config.yml
安装说明涉及
Windows · Linux

如何安装或部署这个 Agent?

运行环境要求为 Linux 或 Windows、8GB GPU 显存。执行:

git clone https://github.com/HKUDS/VideoAgent.git
conda create --name videoagent python=3.10
conda activate videoagent
conda install -y -c conda-forge pynini==2.1.5 ffmpeg
pip install -r requirements.txt

按所需功能下载模型:CosyVoice、fish-speech、seed-vc、DiffSinger、Whisper 和 ImageBind 在 README 中均给出了 huggingface-cli download 或 wget 命令;ImageBind 下载前还需要执行 git lfs install。编辑 environment/config/config.yml,填写相应的 deepseek_api_key、claude_api_key、gpt_api_key、gemini_api_key 及对应 Base URL;README 明确说明 Claude 是 Agentic Graph Router 所必需的。

如何使用这个 Agent?

完成模型下载与 environment/config/config.yml 配置后,运行:

python main.py

在控制台出现 User Requirement: 后输入视频任务。README 示例包括:对已有视频改写台词而保留原说话者音色和画面;或将单口喜剧脚本、参考脚本及素材制作成完整视频。不同场景需要下载对应模型:例如 Video QA/Summarization 需要 Whisper,Cross Talk、Talk Show、Comm 和 News 需要 CosyVoice、Whisper 与 ImageBind。

这个 Agent 有哪些优点和局限?

优点
  • 同一框架覆盖视频问答、摘要、剪辑、解说、概览、梗视频、音乐视频和跨语言改编,而非只覆盖单一视频任务。
  • 以图驱动工作流将用户意图映射到能力组合,并记录了两步自评反馈机制,适合需要多步骤编排的视频任务。
  • Storyboard Agent 将预字幕素材库转换为视觉和语义对齐的细粒度检索查询,明确覆盖了素材检索环节。
  • 按功能列出了所需模型,允许只下载项目所需的一部分模型。
局限
  • README 明确要求 Claude 为 Agentic Graph Router 提供支持,因此部署并非完全独立于外部模型提供商。
  • 不同功能还分别依赖 GPT、Gemini 或 DeepSeek 配置,以及 CosyVoice、fish-speech、seed-vc、DiffSinger、Whisper 和 ImageBind 等模型,环境准备成本较高。
  • 运行要求 Linux 或 Windows、8GB GPU 显存,并需安装 Python 3.10、FFmpeg 和 Pynini 2.1.5。
  • README 仅记录命令行入口 python main.py,未提供 HTTP API、容器部署或托管服务接口的证据。
  • 演示视频的音视频素材来自互联网且仅声明用于研究和演示,商业使用时需自行核查素材权利。

这个 Agent 与同类方案有什么区别?

README 将 VideoAgent 与 Director、Funclip、NarratoAI 和 NotebookLM 对比:表中 VideoAgent 覆盖节拍同步剪辑、故事叙述视频、视频概览、梗视频改编、歌曲混剪、跨语言改编、视频问答和音效工具;其余产品在该表中仅覆盖其中部分能力。

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
VideoAgent 当前 39 · 缺口较多 命令行工具免费 + 模型费 ★ 2.1k 4 个月前 Python —
Natively AI 会议助手 50 · 缺口较多 桌面应用免费版 + 付费版 ★ 3.4k 1 天前 TypeScript OpenAI API · Claude API
Kineo(Kineo AI) 34 · 缺口较多 — ★ 137 5 天前 TypeScript —
PPT Master — AI 原生 PowerPoint 生成器 70 · 存在缺口 Agent 插件 / 技能免费 + 模型费 ★ 79k 1 天前 Python Claude Code

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
缺口较多
39/ 100 五分制 2.0 / 5
信任安全 8/29
可靠稳定 5/14
适用触发 8/18
规范维护 8/18
有效结果 7/13
证据核验 3/8
查看各维度的扣分理由
信任安全8 / 29 · 1.4/5

README 展示了 API 密钥配置及多种模型下载来源,也承认演示素材来自互联网;因此数据和外部依赖有部分可见性。扣分原因:没有说明用户视频、音频或提示词会发送到哪些服务,也没有敏感数据处理、权限边界、逐项外部副作用、确认机制或回滚说明;README 对素材权利的说明较笼统。

可靠稳定5 / 14 · 1.8/5

README 给出 Python 3.10、环境安装步骤、所需模型清单和启动命令,pyproject.toml 也列出项目版本与依赖。扣分原因:依赖范围庞大且混有重复项与未固定版本项;README 宣称 Linux、Windows,但没有说明平台差异或依赖可用性。所给代码片段对运行失败后的处理支持有限。

适用触发8 / 18 · 2.2/5

README 面向自然语言视频问答、剪辑、摘要和生成等场景,列出按功能选择模型的表格与示例请求。扣分原因:能力描述较宽泛,未明确各场景的边界、适用条件或何时不应路由到某项能力;环境要求只简述 GPU 显存和操作系统。

规范维护8 / 18 · 2.2/5

README 有目录、快速开始、模型下载、配置、用法、演示和致谢,包含安装步骤与示例。扣分原因:没有 FAQ 或具体局限说明;仓库 LICENSE 为 MIT,但 pyproject.toml 声明 Apache,许可信息冲突;版本仅见 0.1.0,未提供变更记录或清晰维护责任人。

有效结果7 / 13 · 2.7/5

产品目标覆盖视频理解、编辑和生成,README 给出多种演示和示例请求,并提供按功能选择模型的线索。扣分原因:结果形式、质量约束和人工审核流程未在材料中具体说明;需要下载多个大型模型并配置多家 LLM 服务,成本和资源负担较高。

证据核验3 / 8 · 1.9/5

README 提供演示链接、评测描述、图表引用以及模型和项目致谢,部分主张可追溯到材料中的展示。扣分原因:关键性能主张主要是 README 自述,所给材料没有测试文件或独立复核依据;产品能力、评测结果与推断之间的区分不够清楚。

风险与缓解建议
  • 源码中未见:回滚或恢复路径运行前先备份,或在 git 分支、快照上操作,确保改动可以撤销。
  • 安装前核对 LICENSE 与 pyproject.toml 的许可声明,并确认依赖和模型下载适用于目标环境。
  • 配置 API 密钥或处理个人视频、音频前,先确认数据会发送到哪些服务及其处理方式;README 未说明这些数据流。
  • README 说明演示素材来自互联网并用于研究展示,但没有逐项列明素材授权。
证据充分度:低 评估于 2026年11月7日 审查版本 f207987e3cff
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/videoagent.svg?lang=zh)](https://followagents.com/zh/agents/videoagent)
<a href="https://followagents.com/zh/agents/videoagent"><img src="https://followagents.com/badge/videoagent.svg?lang=zh" alt="FARS 评测"></a>

常见问题

必须配置哪些模型 API?
README 明确写明 Claude 是 Agentic Graph Router 所必需的。配置文件还为 DeepSeek、GPT 和 Gemini 提供了 API 密钥与 Base URL 字段,并按视频混剪、编辑、摘要、问答和细粒度理解等场景标注用途。
能否只下载部分本地模型?
可以。README 明确说明可只下载与项目相关的模型,并在表格中列出各功能所需模型,例如视频问答和摘要只列出 Whisper。
如何启动并提交任务?
完成配置后执行 python main.py,然后在控制台的 User Requirement: 提示处输入需求。
是否提供 Web 服务或 SDK?
所给资料只记录了本地命令行启动方式和配置文件,没有提供 Web API、SDK 或容器部署说明。
VideoAgent 官网是什么?
VideoAgent 的 GitHub 仓库填写的官网是 https://arxiv.org/abs/2606.23327。这个链接由仓库作者设置;源码在 GitHub(HKUDS/VideoAgent)。
VideoAgent 免费吗?
软件本身免费,但 VideoAgent 要调用 AI 模型,模型的调用费用由你向模型服务商支付(也可以接本地模型)。
VideoAgent 开源吗?
开源。源码在 GitHub(HKUDS/VideoAgent),许可证是 MIT。
VideoAgent 安全吗?
FollowAgents 的 FARS 评审(2026年11月7日)给 VideoAgent 的“信任与安全”打了 8/29 分。评审没有在源码和文档里找到这些安全措施:回滚或恢复路径。接入真实账号或数据前:运行前先备份,或在 git 分支、快照上操作,确保改动可以撤销。
VideoAgent 还在维护吗?
更新变慢了:GitHub 上最近一次提交是 2026-07-22,在最近半年内,但不在最近 30 天内。
VideoAgent 是谁开发的?
VideoAgent 由 GitHub 账号 HKUDS 发布。FollowAgents 没有核实这个账号背后是哪个人或公司。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓

相关核心概念