Arize Phoenix
开源AI可观测性平台，用于追踪、评估和调试LLM应用。
证据显示有角色权限（admin/member/viewer）和API密钥管理，但未明确最小权限原则；有用户确认机制（如创建密钥时确认），但未全面覆盖；数据流透明性较好，有追踪和遥测文档；敏感数据处理有安全策略和密钥管理，但未深入；依赖安全有版本锁定和CVE注释，但未全面审计；外部影响有沙箱和部署选项，但未明确副作用；回滚有版本控制和迁移，但未明确回滚机制；来源归属有作者和文档，但发布者未验证。
自洽性良好，文档和代码一致；依赖可用性有版本锁定和兼容性说明；失败消息有错误处理文档和测试，但未全面覆盖。
受众明确（开发者、数据科学家），场景多样（追踪、评估、实验）；能力边界有文档说明；触发精度有集成和配置文档；环境适配有本地、容器、云部署选项。
信息架构清晰，有目录和文档；安装说明详细；命名稳定，有版本和包名；示例和FAQ有文档；已知限制有说明；许可证明确（Elastic-2.0）；版本变更日志有记录；维护责任有社区和支持渠道。
输出可用性高，有API和CLI；边际价值高，提供独特功能；成本效益合理，开源免费。
声明可追溯，有文档和代码；跨来源验证有多个集成和社区；事实与推断分离，文档区分了功能描述和推测。
- 发布者身份未验证，需谨慎对待供应链风险。
- 依赖安全虽有版本锁定，但未提供完整的安全审计报告。
- 回滚机制未明确，需依赖外部版本控制。
这个 Agent 能做什么，适合哪些场景？
Phoenix 是一个开源 AI 可观测性平台，用于实验、评估和故障排除。它提供基于 OpenTelemetry 的追踪，以监控 LLM 应用的运行时；利用 LLM 进行响应和检索评估；创建版本化数据集；跟踪实验；提供提示优化游乐场；以及集成的 AI 工程代理（PXI）。该平台与供应商和语言无关，支持流行的框架和 LLM 提供商，如 OpenAI、Anthropic 和 Google GenAI。Phoenix 可以本地运行、容器化部署或云中运行，并提供 Docker 镜像和 Helm 图表。
Phoenix 提供全面的可观测性功能：它通过 OpenTelemetry 捕获 LLM 应用的踪迹，支持框架如 LangChain、LlamaIndex 和 OpenAI Agents SDK。它允许用户使用 LLM 作为评估器来评估响应和检索质量。用户可以创建版本化数据集，运行实验以测试提示和模型的变化，并使用游乐场优化提示。PXI（Phoenix Intelligence）是一个内置的 AI 工程代理，用于调试踪迹、迭代提示和导航产品。它还包括一个远程 MCP 服务器，使 Claude Code、Cursor 等客户端可以查询踪迹、数据集和实验。
- AI 工程师希望调试生产 LLM 应用中的响应质量问题。
- 机器学习工程师需要比较不同提示或模型在特定数据集上的表现。
- 开发团队希望将 LLM 追踪集成到现有的 OpenTelemetry 监控堆栈中。
- 产品经理需要量化 LLM 应用的检索和回答相关性。
- 编码代理（如 Claude Code）需要访问踪迹和数据集以辅助调试。
这个 Agent 有哪些优点和局限？
- 与框架和语言无关，支持 Python、JavaScript、Java 和 Go，广泛集成。
- 基于 OpenTelemetry，可以轻松集成到现有的可观测性设置中。
- 提供由 LLM 驱动的全面评估功能，用于响应和检索质量。
- 支持版本化数据集和实验，便于系统地进行提示和模型改进。
- 自托管需要维护基础设施（Docker、Kubernetes），如果云托管可能产生成本。
- 评估功能依赖 LLM API，可能产生额外成本。
- 完整设置可能需要学习工具，涉及 OpenTelemetry 和 API 集成。
如何安装或部署这个 Agent？
安装 Phoenix，您需要 Python 3.8+。使用 pip 安装：pip install arize-phoenix。然后启动服务：phoenix serve。或者，您可以使用 uvx arize-phoenix serve 而无需安装。
如何使用这个 Agent？
安装后，在本地启动 Phoenix：phoenix serve。要追踪您的应用，请使用 CLI 自动检测并设置：从项目目录运行 npx @arizeai/phoenix-cli setup（需要 Node.js）或 px setup（如果已安装 Phoenix）。这将在您的应用代码中安装 OpenInference 仪器并配置追踪导出。然后，您的应用可以发送踪迹到 Phoenix，您可以在 UI 中查看。对于部署，您可以使用 Docker：docker run -p 6006:6006 arizephoenix/phoenix。
这个 Agent 与同类方案有什么区别？
Phoenix 将自己定位为 AI 可观测性平台；它没有直接命名竞争对手，但根据描述，它与 Langfuse、LangSmith 和 Arize 的云产品产生竞争。
常见问题
Phoenix 会收集我的数据以进行遥测吗？
PHOENIX_TELEMETRY_ENABLED=false 选择退出。