自动化与运维 prompt-management agent-evaluation trace-observability docker-compose helm eino

Coze Loop

面向 AI Agent 的自托管开发、评测与运行链路观测平台。

源仓库: coze-dev/coze-loop
Star 数: ★ 5.8k
最近更新: 1 天前
License: Apache-2.0
主语言: Go
FA 评分: 26/100 · 缺口较多

30 秒速览

运行形态: 自托管服务网页应用
可在哪里用: 通用 · 跨平台OpenAI API
费用: 软件免费，模型调用费用自付
上手难度: 中 · 需要几步配置
开始前需要: Docker EngineShell / 命令行网络访问本地文件系统
典型场景: 提示词工程师需要在发布前交互式调试同一提示词，并比较不同 LLM 输出时。
不适合: 希望开箱即用、不想配置模型 API Key 和 Endpoint ID 的团队
没有 Kubernetes 集群或 Nginx Ingress 却想用 Helm 部署的团队
源码审查: 26/100 · 缺口较多 8 项安全控制未见

这个 Agent 能做什么，适合哪些场景？

Coze Loop 是面向开发者的 AI Agent 全生命周期管理平台，覆盖提示词开发、调试、评测和监控。其可视化 Playground 支持交互式测试提示词，并比较不同大模型的输出，同时提供提示词版本管理。评测模块管理评测集、评测器和实验，用于自动化检验提示词及 Coze Agent 输出的准确性、简洁性和合规性等维度。观测能力通过 SDK 上报并查询 Trace，记录从用户输入到模型调用、工具执行和最终输出的执行过程、中间结果与异常。开源版可通过 Docker Compose 或 Kubernetes Helm Chart 部署，模型配置位于部署配置文件中。

部署后，Coze Loop 通过 Playground 接收提示词调试输入，调用已配置的模型并展示可比较的输出；它保存提示词版本。评测流程使用评测集、评测器和实验来运行自动化测试，并汇总实验结果统计。运行链路可由 SDK 进行 trace reporting，平台查询和展示用户输入、提示词解析、模型调用、工具执行、中间结果及异常。Docker Compose 部署时，用户编辑 release/deployment/docker-compose/conf/model_config.yaml 中的 api_key 和 model，然后运行 make compose-up；Helm 部署使用 release/deployment/helm-chart/umbrella/conf/model_config.yaml 和 make helm-up。

提示词工程师需要在发布前交互式调试同一提示词，并比较不同 LLM 输出时。
负责 Coze Agent 质量的团队需要用评测集、评测器和实验持续检查输出准确性、简洁性或合规性时。
运维或平台工程师需要追踪一次 Agent 请求中的模型调用、工具执行、异常和中间结果时。
希望在自有 Docker 环境中部署 Agent 开发与观测平台，并自行配置模型凭证的开发团队。
已具备 Kubernetes、Nginx Ingress、Kubectl 和 Helm 的团队需要以 Helm Chart 部署该平台时。

如何安装或部署这个 Agent？

安装并启动 Docker Engine。执行：

git clone https://github.com/coze-dev/coze-loop.git
cd coze-loop

编辑 release/deployment/docker-compose/conf/model_config.yaml，填写模型 api_key 和 model；README 以 Volcengine Ark 为示例。随后执行：

make compose-up

服务默认以开发模式启动，浏览器访问 http://localhost:8082。

如何使用这个 Agent？

首次使用前必须在 model_config.yaml 中配置模型 API Key 和模型 Endpoint ID。启动后访问 http://localhost:8082，在 Playground 中调试并比较提示词输出；使用评测集、评测器和实验组织自动化评测；接入 SDK 上报 Trace 后，在平台查询执行链路。Kubernetes 环境可改用 Helm Chart：配置 release/deployment/helm-chart/umbrella/conf/model_config.yaml 和 templates/ingress.yaml，再运行 make helm-up。

这个 Agent 有哪些优点和局限？

优点

将提示词 Playground、版本管理、评测集/评测器/实验和 Trace 观测集中在同一平台。
Trace 覆盖用户输入、提示词解析、模型调用、工具执行、中间结果和异常，而不只记录最终回答。
提供 Docker Compose 与 Kubernetes Helm 两种自托管部署路径。
明确支持 OpenAI、Volcengine Ark 等模型，并说明通过 Eino 框架支持多种 LLM。

局限

部署前必须配置模型 API Key 和模型 Endpoint ID，模型服务是外部依赖。
Docker 方案要求 Docker Engine；Kubernetes 方案还要求集群、Nginx Ingress、Kubectl 和 Helm。
公网部署存在账户注册、监听地址、SSRF 及部分 API 水平越权等已提示的安全风险，需要自行评估和防护。
README 未给出开源版支持的完整模型清单，也未说明所有模型配置的功能差异。

这个 Agent 与同类方案有什么区别？

README 将其定位为 Coze Loop 商业版的开源版本：开源版免费提供核心基础功能模块，并允许开发者按业务需求定制和扩展。

与相关度最高的同类 agent 并排比较关键指标。

Agent	源码审查	形态 / 费用	Star	最近更新	主语言	完整支持的平台
Coze Loop 当前	26 · 缺口较多	自托管服务免费 + 模型费	★ 5.8k	1 天前	Go	OpenAI API
Future AGI	51 · 缺口较多	自托管服务免费版 + 付费版	★ 2.3k	3 天前	Python	Claude Code · OpenAI API · Claude API
Laminar	41 · 缺口较多	自托管服务免费版 + 付费版	★ 3.5k	今天	TypeScript	OpenAI API · Claude API
MLflow	64 · 存在缺口	命令行工具免费 + 模型费	★ 29k	今天	Python	Claude Code · OpenAI API · Claude API

FollowAgents 如何评估这个 Agent？

FollowAgents 源码审查 · FARS-2.1

缺口较多

26/ 100 五分制 1.3 / 5

信任安全 0/29

可靠稳定 3/14

适用触发 8/18

规范维护 8/18

有效结果 6/13

证据核验 1/8

查看各维度的扣分理由

信任安全0 / 29 · 0.0/5

证据显示仓库未提供权限模型、用户确认机制、数据流透明性、敏感数据处理、依赖安全、外部影响、回滚或来源归属的明确说明。README 提到公网部署风险（如 SSRF、水平越权），但未提供缓解措施。因此所有信任标准得分为 0。

可靠稳定3 / 14 · 1.1/5

自一致性：README 和 CI 工作流在 Go 版本和构建步骤上一致，但未提供运行时行为证据。依赖可用性：CI 使用固定版本（如 golangci-lint v2.2.1），但未提供依赖锁定或完整性校验。失败消息：未提供错误处理或用户可见的失败消息文档。

适用触发8 / 18 · 2.2/5

受众与场景：README 明确面向开发者，提供全生命周期管理场景。能力边界：功能清单列出主要模块，但未详细说明限制。触发精度：未提供触发机制或精确条件。环境适配：提供 Docker 和 Helm 部署，支持多种模型，但未说明所有环境要求。

规范维护8 / 18 · 2.2/5

信息架构：README 结构清晰，有目录和功能清单。安装说明：提供 Docker 和 Helm 部署步骤。命名稳定性：未提供 API 或配置的稳定性承诺。示例与 FAQ：有快速开始示例，但无 FAQ。已知限制：仅提及公网安全风险，未全面列出。许可证：Apache-2.0 许可证文件完整。版本与变更日志：未提供 CHANGELOG 或版本历史。维护责任：有贡献指南和安全报告渠道，但未明确维护者。

有效结果6 / 13 · 2.3/5

输出可用性：功能描述具体，但未提供实际输出示例。边际价值：提供全生命周期管理，有差异化价值。成本效益：开源免费，但部署和配置成本未评估。

证据核验1 / 8 · 0.6/5

声明可追溯性：README 中的功能声明未链接到具体代码或测试。跨来源佐证：仅依赖 README，无其他来源。事实与推断分离：未区分事实和推断。

风险与缓解建议

源码中未见：最小权限约束只授予完成任务所需的权限：用专用账号或只读令牌，并限定可访问的目录和仓库。
源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
源码中未见：数据流向说明运行时观察它连接了哪些外部服务（代理或防火墙日志）；弄清数据去向之前不要输入敏感数据。
源码中未见：敏感信息处理使用专用、低权限、可随时吊销的 API 密钥，不要复用生产凭据，也不要让密钥出现在日志里。
源码中未见：依赖安全审查安装前固定版本并做一次依赖扫描（如 npm audit、pip-audit）；优先放在容器里运行。
源码中未见：外部影响披露先弄清它会写入、发送或修改哪些外部系统，用测试账号或测试仓库验证后再接入正式环境。
源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
源码中未见：来源归属可核验从官方仓库或包源安装，核对发布者和仓库地址，避免同名仿冒包。
公网部署存在安全风险（如 SSRF、水平越权），需在部署前评估并采取防护措施。
未提供权限模型或用户确认机制，敏感操作可能缺乏控制。
依赖未锁定版本，存在供应链风险。

证据充分度：低评估于 2026年8月9日审查版本 e30f3dd047f9 评估后仓库已有新提交，评分可能未覆盖最新改动

评估证据 README.cn.md LICENSE workflows/ai-cr-required.yaml workflows/backend-ci.yaml test/index.test.ts test/utils.test.ts

查看完整评分方法 →

常见问题

开源版是否需要付费？

README 表示开源版可免费使用核心基础功能模块；但模型 API Key 和模型服务本身由使用者自行配置。

能否使用 OpenAI 以外的模型？

可以。功能列表明确列出 OpenAI、Volcengine Ark 和其他模型，并说明通过 Eino 框架支持多种 LLM；具体可用模型清单需查看其模型配置文档。

它能观测哪些执行信息？

可记录和查询从用户输入到 AI 输出的过程，包括提示词解析、模型调用、工具执行、中间结果与异常。

能否直接暴露到公网？

可以部署，但 README 建议先评估安全风险并采取防护措施，特别关注账户注册、监听地址、SSRF 和部分 API 水平越权风险。

Coze Loop

30 秒速览

这个 Agent 能做什么，适合哪些场景？

如何安装或部署这个 Agent？

如何使用这个 Agent？

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

FollowAgents 如何评估这个 Agent？

最近版本

常见问题

相关 Agents

Future AGI

Laminar

MLflow

Arize Phoenix