4KAgent 图像超分智能体
一个多智能体框架,把任意类型、任意退化程度的图像统一放大到 4K 分辨率。
- Star 数
- ★ 841
- 最近更新
- 1 年前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 39/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 影像研究者需要在 Set5、Urban100、DRealSR 等基准上复现或比较 4K 超分结果
- 不适合
- 没有 GPU 或显存有限、想跑 CPU 推理的用户
- 需要开箱即用一键安装、不想配置 Conda 和多模型的团队
- 只需要简单图像放大、不关心多智能体流程的场景
- 官网
- 4kagent.github.io ↗ 来自 GitHub 仓库设置
- 维护状态
- 超过半年没有提交最近提交 2025-09-23最新版本 v1.0(2025-09-24)
这个 Agent 能做什么,适合哪些场景?
4KAgent 是发表于 NeurIPS 2025 的智能体式图像超分辨率通用系统,目标是把任意图像统一提升到 4K 分辨率,覆盖经典退化、真实场景退化、极低质量输入、AI 生成图以及遥感、显微、病理、医学等科学成像。系统由一个感知智能体(Perception Agent)和一个复原智能体(Restoration Agent)组成:前者用大型视觉语言模型分析图像内容与失真并给出复原计划,后者按执行—反思—回滚流程递归调用各类复原与超分工具。每次复原步骤中,Q-MoE(质量驱动的专家混合)策略负责在候选中选出最优图像,另有独立的人脸复原流水线。用户通过 profile 文件定制不同任务的工具链,无需额外训练;推理入口为 infer_4kagent.py 命令行脚本,输出包含日志与中间图像的文件夹,并配套多种指标评测脚本。
4KAgent 读取输入目录中的图像,先由 Perception Agent 调用视觉语言模型(README 示例使用 llama_vision 或单独启动的 DepictQA 服务)判断内容与失真类型,生成复原计划;Restoration Agent 依据 profile(如 ExpSR_s4_F、ExpSR_s4_P、FastGen4K_P、OldP4K_P、GenMIR_P)选择并执行去模糊、去噪、增亮、伽马校正、超分等工具,通过执行—反思—回滚与 Q-MoE 策略逐步挑出最优结果,必要时启用 FaceRestore 使用 codeformer、gfpgan 等方法修复人脸。最终输出按图像组织的文件夹(含日志与各阶段图像),可用 utils/image_export.py 导出最终图,用 utils/toolchain_export.py 查看每张图实际使用的工具链,用 utils/face_restoration_tool_export.py 查看人脸复原工具。eval/ 下的脚本按任务计算 PSNR/SSIM/LPIPS 及 NIQE、MUSIQ、MANIQA、CLIPIQA 等无参考指标。
- 影像研究者需要在 Set5、Urban100、DRealSR 等基准上复现或比较 4K 超分结果
- 遥感从业者想把低分辨率航拍图(AID、DIOR、DOTA、WorldStrat)放大并做质量评估
- 医学或生物成像团队要增强显微、病理、X 光或超声图像
- 老照片修复场景,使用 OldP4K_P 档案提升低质量历史照片
- AI 绘图创作者想把生成图进一步提升到 4K 并用人脸流水线修复人像
- 需要自由组合多个复原工具、并记录每张图所用工具链的工程师
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 配置文件
config.yml
如何安装或部署这个 Agent?
安装步骤集中在仓库的 Installation Guide(installation/Installation.md),README 未完整展开。运行前需要在 config.yml 中填入 API 密钥。若要使用 DepictQA 作为感知模型的 VLM,需单独准备其环境:
cd ./DepictQA
conda activate depictqa如需下载 DIV4K-50 数据集:
python -m pip install "huggingface_hub[cli]"
huggingface-cli download --repo-type dataset YSZuo/DIV4K-50 --local-dir ./dataset/DIV4K-50
cd ./dataset/DIV4K-50
unzip DIV4K-50.zip如何使用这个 Agent?
先在 config.yml 填入 VLM 的 API 密钥。若使用 llama_vision 作为感知模型的 VLM,直接运行推理:
CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
--input_dir ./assets/profile_test_example/classicsr \
--output_dir ./outputs/4KAgent_test/classicsr \
--profile_name ExpSR_s4_F \
--tool_run_gpu_id 2若使用 DepictQA,先在终端 A 启动服务,再在终端 B 推理(推荐 FastGen4K_P 档案,速度更快、感知质量较好):
# 终端 A
cd ./DepictQA
conda activate depictqa
CUDA_VISIBLE_DEVICES=0 python src/app_eval.py# 终端 B
CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
--input_dir ./assets/profile_test_example/4ksr \
--output_dir ./outputs/4KAgent_test/4ksr \
--profile_name FastGen4K_P \
--tool_run_gpu_id 2可用任务档案还包括 OldP4K_P(老照片)与 GenMIR_P(多重退化复原)。自定义档案可参考 pipeline/profiles 中的示例,格式说明见 pipeline/profiles/profile_setup.md。
这个 Agent 有哪些优点和局限?
- 首个面向任意图像到 4K 的智能体式超分框架,任务覆盖从经典/真实退化到遥感、显微、医学与 AIGC
- 感知—复原双智能体设计,用 VLM 自动分析失真并生成复原计划,替代手工调参
- Q-MoE 策略配合执行—反思—回滚流程,在每步复原中筛选最优候选
- 通过 profile 文件切换任务,无需额外训练即可适配不同复原场景
- 提供 DIV4K-50 数据集与多套评测脚本,结果可复现、可比较
- 安装流程外包给 installation/Installation.md,README 本身未给出完整依赖清单
- 需要多块 GPU(README 中用 CUDA_VISIBLE_DEVICES 与 tool_run_gpu_id 区分),门槛较高
- 依赖外部 VLM:需在 config.yml 填 API 密钥,或额外启动 DepictQA 服务
- DepictQA 等工具与模型需按 Toolbox 逐一搭建,部署链路较长
- 评测结果需从 Google Drive 链接获取,仓库内不直接附带
这个 Agent 与同类方案有什么区别?
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| 4KAgent 图像超分智能体 当前 | 39 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 841 | 1 年前 | Python | — |
| veRL Agent RL 训练框架 | 47 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 2.4k | 5 个月前 | Python | — |
| AgileRL 强化学习库 | 62 · 存在缺口 | 代码库 / SDK免费版 + 付费版 | ★ 969 | 今天 | Python | — |
| Plexe:用自然语言构建机器学习模型 | 48 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 2.6k | 8 个月前 | Python | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
README说明推理前需填写API key,且使用VLM和多种图像恢复工具,但所给材料未展示密钥保护、权限限制、图像传输路径或隐私处理细节,因此最小权限、数据流与敏感数据处理仅得低分。未见每步操作的用户确认说明;主要效果是本地生成结果与日志,外部影响和回滚流程描述有限。README列出作者、论文、基础项目和工具致谢,提供了适当但不完整的来源归属。
README给出多个任务的推理命令和评测脚本,但配置样例含特定机器的绝对数据集路径,推理还依赖API、GPU、外部VLM服务及多个模型工具,普通环境可用性有限。材料没有说明错误处理或面向用户的失败提示。
文档覆盖经典、真实场景、复合退化、人脸、遥感、显微、病理和医学图像等场景,并提供可定制profile的说明。能力范围主要以广泛宣传和示例展示,缺少明确的不支持情形、触发条件和部署资源边界;命令假设CUDA、多GPU和特定服务环境。
README将安装、推理、profile、数据集、评测、结果和引用分节整理,并提供若干命令示例;安装细节仅转交给另一指南,样例参数命名存在ExpSR_s4_F与ExpSR-s4-F等差异。局限信息较少,未提供变更历史;Apache 2.0许可证明确。作者和联系邮箱列出,但维护与更新责任、更新路径不清楚。
工具链旨在按图像内容与退化选择恢复步骤,输出图像及可导出的日志和工具链,具有研究和批处理价值。资料展示了多类任务与评测脚本,但性能数字主要链接到外部结果,且系统需API、GPU及多种工具,增加部署成本;“完美4K”等表述超出材料自身可核验的程度。
README对架构、profile、推理入口、数据集和评测脚本给出可定位的说明,并列出论文、作者及基础项目。其余给定源文件是单个测试脚本和两个配置样例,无法独立印证整体框架的行为或结果;宣传性能力主张与实证结果的区分不足,部分结论仅能视为作者报告。
- 源码中未见:执行前用户确认开启或自行加上执行前确认;先在沙箱或测试环境跑通,确认行为后再接入真实数据。
- 源码中未见:敏感信息处理使用专用、低权限、可随时吊销的 API 密钥,不要复用生产凭据,也不要让密钥出现在日志里。
- 运行前需配置API key,并依赖GPU、VLM服务和多个恢复工具;所给材料没有说明图像是否会发送至外部服务或如何保护密钥。
- “适用于任何图像”及“完美4K”属于宽泛主张;本次静态材料不足以验证结果质量或完整复现流程。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
v1.0 4kagent-v1.0
常见问题
能否只用一块 GPU 运行?
必须使用 DepictQA 吗?
需要付费服务吗?
如何拿到最终结果图而不是整目录?
4KAgent 图像超分智能体 官网是什么?
4KAgent 图像超分智能体 开源吗?
4KAgent 图像超分智能体 安全吗?
4KAgent 图像超分智能体 还在维护吗?
4KAgent 图像超分智能体 是谁开发的?
谢谢反馈,我们会据此改进页面。