Kitaru

这个 Agent 能做什么，适合哪些场景？

Kitaru 是 ZenML 团队开源（Apache-2.0）的 Agent 重放式评测系统，核心理念是「trace 不只是可读，而是可运行」。它把生产运行记录或从 Langfuse、LangSmith、Braintrust、Logfire、Arize Phoenix、MLflow 导入的 trace 转成 session，重放时真正再次执行你的 Agent 代码，而工具调用由录制内容应答，避免重复退款等副作用。评测从人工判断开始：编码助手会审查关键 session、就证据向你提问，并把结论锚定到具体 trace 位置，进而校准评估器、冻结 cohort，并在上线前对改动做实验。系统由一个自托管服务端（FastAPI + Postgres，提供 Docker 镜像与 Helm chart）加本地 worker 组成，用户代码只在你的虚拟环境、凭据和网络中执行。SDK 覆盖 Python 与 TypeScript，适配器包括 PydanticAI、LangGraph、OpenAI Agents SDK、Claude Agent SDK、Mastra 与 Vercel AI SDK。

Kitaru 通过记录或导入把一次 Agent 运行变成 session：可以用一个 wrapper 接入生产（record adapter），也可以从 Langfuse、LangSmith、Braintrust、Logfire、Arize Phoenix、MLflow 导入已有 trace，或按文档编写自定义 importer。重放阶段，真实的 Agent 代码在本地 worker 上重新执行，工具调用由录制结果应答，因此未改动的重放给出忠实基线，fork 的重放则隔离出单次改动的影响。内建确定性评估器先扫描 session，编码助手再就关键案例与你对谈，把判断固定到精确的 trace 位置，据此起草评估器；cohort 冻结案例人群，experiment 在发布前对 cohort 重跑改动并报告改进与回归。命令层面由 kitaru login（托管云或 --local 启动 Docker/Podman 中的本地 FastAPI + Postgres 服务端）与 kitaru setup（安装 skills 到 ~/.agents/skills 并向 Claude Code、Codex、Cursor、Windsurf 注册 kitaru-mcp）驱动，MCP 服务端通过标准 JSON 配置供其他 MCP 客户端接入。

1. 已在生产运行 PydanticAI、LangGraph 或 OpenAI Agents SDK Agent 的团队，想在下一次换模型或改提示词前用历史流量做回归验证。
2. 使用 Langfuse、LangSmith、Braintrust、Logfire、Arize Phoenix 或 MLflow 存 trace 的团队，希望把这些只读记录直接变成可执行的重放用例。
3. 需要在 CI 中构建回归套件、用生产流量对新版本做门禁的工程团队。
4. 希望在 Claude Code、Codex、Cursor 或 Windsurf 里由编码助手驱动调查流程、而不手写评估脚本的开发者。
5. 带外部副作用的 Agent（如票务退款）维护者，需要工具调用按录制应答、避免重放时重复执行真实操作。
6. 因合规或数据驻留要求必须自托管、trace 不外流的组织。

如何安装或部署这个 Agent？

在 Agent 所在仓库的终端中运行一行安装脚本，它会用 uv 把 Kitaru 加入该项目环境、安装编码智能体 skills，并向 Claude Code、Codex、Cursor、Windsurf 注册 MCP 服务端：

curl -fsSL https://kitaru.ai/install | bash

如果已在 Claude Code、Codex 或 Cursor 中打开仓库，也可以直接把下面这段交给助手：

Set up Kitaru in this repository by following https://kitaru.ai/install.md. Use the one-line installer and tell me what it did.

手动安装时，先把包加入项目环境，然后二选一登录：

uv add "kitaru[cli,worker,mcp]" kitaru-pydantic-ai
uv run kitaru login          # 托管云，14 天试用，无需信用卡
uv run kitaru login --local  # 用 Docker 或 Podman 在本地启动服务端
uv run kitaru login <your-team-url>

完成后可随时重跑 kitaru setup 为后来安装的编辑器补装：

uv run kitaru setup            # 或: kitaru setup --mode read-only, --no-skills, --no-mcp

其他 MCP 客户端需手动粘贴：

{
  "mcpServers": {
    "kitaru": {
      "command": "uv",
      "args": ["run", "kitaru-mcp", "--server", "http://localhost:8000", "--mode", "standard"]
    }
  }
}

如何使用这个 Agent？

先用仓库自带的示例 Agent 体验完整闭环，它已附带签入的 Langfuse trace：

git clone https://github.com/zenml-io/kitaru.git
cd kitaru/examples/python/pydantic_ai_ticket_resolver

在该目录用 Claude Code、Codex 或 Cursor 打开，然后让助手跑引导式教程：

Use kitaru-guided-tour to walk me through Kitaru on the PydanticAI returns agent example. I am new; explain each step as we go, and ask before anything paid or live.

换成你自己的 Agent 时，让助手执行调查流程：

Use kitaru-investigation to investigate this agent and help me test one meaningful improvement. Show me the recorded evidence before asking for a judgment, and ask before creating resources or starting paid replay.

助手会扫描 session、就重点案例向你提问、起草评估器、运行 experiment，并汇报哪些指标提升、哪些出现回归；判断由你做出。接入已有生产 Agent 时，可用适配器录制，或从 Langfuse、LangSmith、Braintrust、Logfire、Arize Phoenix、MLflow 导入 trace。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题