Coze Loop
面向 AI Agent 的自托管开发、评测与运行链路观测平台。
这个 Agent 能做什么,适合哪些场景?
Coze Loop 是面向开发者的 AI Agent 全生命周期管理平台,覆盖提示词开发、调试、评测和监控。其可视化 Playground 支持交互式测试提示词,并比较不同大模型的输出,同时提供提示词版本管理。评测模块管理评测集、评测器和实验,用于自动化检验提示词及 Coze Agent 输出的准确性、简洁性和合规性等维度。观测能力通过 SDK 上报并查询 Trace,记录从用户输入到模型调用、工具执行和最终输出的执行过程、中间结果与异常。开源版可通过 Docker Compose 或 Kubernetes Helm Chart 部署,模型配置位于部署配置文件中。
部署后,Coze Loop 通过 Playground 接收提示词调试输入,调用已配置的模型并展示可比较的输出;它保存提示词版本。评测流程使用评测集、评测器和实验来运行自动化测试,并汇总实验结果统计。运行链路可由 SDK 进行 trace reporting,平台查询和展示用户输入、提示词解析、模型调用、工具执行、中间结果及异常。Docker Compose 部署时,用户编辑 release/deployment/docker-compose/conf/model_config.yaml 中的 api_key 和 model,然后运行 make compose-up;Helm 部署使用 release/deployment/helm-chart/umbrella/conf/model_config.yaml 和 make helm-up。
- 提示词工程师需要在发布前交互式调试同一提示词,并比较不同 LLM 输出时。
- 负责 Coze Agent 质量的团队需要用评测集、评测器和实验持续检查输出准确性、简洁性或合规性时。
- 运维或平台工程师需要追踪一次 Agent 请求中的模型调用、工具执行、异常和中间结果时。
- 希望在自有 Docker 环境中部署 Agent 开发与观测平台,并自行配置模型凭证的开发团队。
- 已具备 Kubernetes、Nginx Ingress、Kubectl 和 Helm 的团队需要以 Helm Chart 部署该平台时。
这个 Agent 有哪些优点和局限?
- 将提示词 Playground、版本管理、评测集/评测器/实验和 Trace 观测集中在同一平台。
- Trace 覆盖用户输入、提示词解析、模型调用、工具执行、中间结果和异常,而不只记录最终回答。
- 提供 Docker Compose 与 Kubernetes Helm 两种自托管部署路径。
- 明确支持 OpenAI、Volcengine Ark 等模型,并说明通过 Eino 框架支持多种 LLM。
- 部署前必须配置模型 API Key 和模型 Endpoint ID,模型服务是外部依赖。
- Docker 方案要求 Docker Engine;Kubernetes 方案还要求集群、Nginx Ingress、Kubectl 和 Helm。
- 公网部署存在账户注册、监听地址、SSRF 及部分 API 水平越权等已提示的安全风险,需要自行评估和防护。
- README 未给出开源版支持的完整模型清单,也未说明所有模型配置的功能差异。
如何安装或部署这个 Agent?
安装并启动 Docker Engine。执行:
git clone https://github.com/coze-dev/coze-loop.git
cd coze-loop
编辑 release/deployment/docker-compose/conf/model_config.yaml,填写模型 api_key 和 model;README 以 Volcengine Ark 为示例。随后执行:
make compose-up
服务默认以开发模式启动,浏览器访问 http://localhost:8082。
如何使用这个 Agent?
首次使用前必须在 model_config.yaml 中配置模型 API Key 和模型 Endpoint ID。启动后访问 http://localhost:8082,在 Playground 中调试并比较提示词输出;使用评测集、评测器和实验组织自动化评测;接入 SDK 上报 Trace 后,在平台查询执行链路。Kubernetes 环境可改用 Helm Chart:配置 release/deployment/helm-chart/umbrella/conf/model_config.yaml 和 templates/ingress.yaml,再运行 make helm-up。
这个 Agent 与同类方案有什么区别?
README 将其定位为 Coze Loop 商业版的开源版本:开源版免费提供核心基础功能模块,并允许开发者按业务需求定制和扩展。