TypeSafe Evaluate

这个 Agent 能做什么，适合哪些场景？

TypeSafe Evaluate 是一个以静态 Go 二进制分发的 MCP 服务器，为智能体提供名为 evaluate 的只读工具。它接收待判断的文本或 JSON 状态，以及一组 noul、choice 或 score 类型的问题，再调用 TypeSafe 的 Jev 模型生成结构化答案和概率。请求可以直接发送至 TypeSafe API，也可以使用 OpenRouter 的 Decisions 端点；两条路径都依赖 Jev，而不是通用模型适配层。evaluate setup mcp 可为 Claude Code、Claude Desktop 和 Codex 注册服务器，pi 则通过单独安装的原生扩展接入。它适合需要可靠路由、二元判断或等级评分的程序化工作流，但不负责生成通用文本，也不能脱离外部网络和相应 API 凭证运行。

evaluate MCP 工具读取 state，其内容可以是纯文本，也可以是带命名字段的 JSON 对象或数组；随后处理以问题 ID 为键的 questions 映射。每个问题使用 noul、choice 或 score 类型，并可包含 instructions 和相应 criteria。服务器把状态和问题提交给 TypeSafe API 的 POST /v1/systemone，或在配置 OpenRouter 时提交给其 POST /decisions 端点，再将原始结构化 JSON 返回给客户端，答案保留调用者提供的问题 ID。一次调用可以批量提交多个针对同一状态的独立问题，这些问题会并行执行。它会以指数退避方式重试 HTTP 429 和 529 响应；其他 API 错误会作为可供智能体读取和处理的工具错误返回。服务器还会在本地拒绝格式错误的 criteria，并指出对应字段路径；单次请求超时为 60 秒，超过 16 MiB 的响应会被拒绝而不会截断。

1. 客服平台开发者需要根据工单原文判断是否紧急，并在 billing、technical、sales 等候选团队之间自动路由。
2. 智能体工作流作者需要对某个明确条件获得带概率的 yes/no 判断，以便根据置信度选择不同代码分支。
3. 后端工程师需要把同一份事件状态同时交给多个独立规则问题评估，并在一次调用中取得结构化结果。
4. 使用 Claude Code、Claude Desktop 或 Codex 的开发者，希望避免维护自由文本提示格式和脆弱的答案解析逻辑。
5. pi 用户希望通过原生扩展调用相同的 evaluate mcp 后端，为自动化流程加入类型化判断。

如何安装或部署这个 Agent？

在 macOS 或 Linux 的 amd64、arm64 环境中运行安装脚本；二进制会安装到 ~/.local/bin：

curl -fsSL https://raw.githubusercontent.com/itsmostafa/typesafe-mcp/main/install.sh | sh

如果该目录不在 PATH 中：

export PATH="$HOME/.local/bin:$PATH"

也可以使用 Go 安装：

go install github.com/itsmostafa/typesafe-mcp/cmd/evaluate@latest

取得 TypeSafe API 密钥后，为检测到的 Claude Code、Claude Desktop 和 Codex 注册 MCP 服务器：

TYPESAFE_API_KEY=your-key evaluate setup mcp

如果通过 OpenRouter 使用 Jev，则改用：

OPENROUTER_API_KEY=your-key evaluate setup mcp

两个变量同时存在时，TYPESAFE_API_KEY 优先。pi 不提供 MCP 客户端，需要安装项目附带的扩展：

evaluate setup pi

该命令写入 ~/.pi/agent/extensions/evaluate.ts；随后在 pi 中运行 /reload。升级已安装的二进制可执行：

evaluate update

如何使用这个 Agent？

完成注册并确保启动智能体的 shell 中存在有效的 TYPESAFE_API_KEY 或 OPENROUTER_API_KEY。然后要求智能体使用 evaluate 判断具体状态，例如工单是否紧急以及应该由哪个团队处理。对应的工具调用可以是：

{
  "state": "Help! My payouts have been failing for 3 days.",
  "questions": {
    "is_urgent": {
      "type": "noul",
      "instructions": "Does this convey urgency?"
    },
    "department": {
      "type": "choice",
      "instructions": "Which team should handle this?",
      "criteria": {
        "billing": "Payments, refunds",
        "technical": "Bugs, outages",
        "sales": "Pricing"
      }
    }
  }
}

返回值是原始 JSON，每个答案位于调用时提供的同名问题 ID 下。可以使用可选的 model 字段；默认值在 TypeSafe 路径上是 jev-latest，在 OpenRouter 路径上是 ~typesafe/jev-latest。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

1. v0.4.14 2026-11-03
   发布说明摘录

   [0.4.14](https://github.com/itsmostafa/system-one-connector/compare/v0.4.13...v0.4.14) (2026-10-25) Bug Fixes * eval: make the taxcat eval neutral and score it only on its own dataset ([12212ee](https://github.com/itsmostafa/system-one-connector/commit/12212eefc24a002f5adf34f461b14b8ba2877263)) * eval: show recall per taxcat group when limits differ ([2b0f555](https://github.com/itsmostafa/system-one-connector/commit/2b0f555ececbed1bed2b2ada41586867010b78c2))

   在 GitHub 查看 ↗
2. v0.4.13 2026-10-23
   发布说明摘录

   [0.4.13](https://github.com/itsmostafa/system-one-connector/compare/v0.4.12...v0.4.13) (2026-10-23) Bug Fixes * client: keep /v1/decisions base URLs as given ([39dcd64](https://github.com/itsmostafa/system-one-connector/commit/39dcd64a8b8a7e31a4ba53a7351fb5ef8821b368)) * client: keep /v1/decisions base URLs as given ([702423f](https://github.com/itsmostafa/system-one-connector/commit/702423f1c6111301c05c65c4d2ade05dbd5d95de)) …

   在 GitHub 查看 ↗
3. v0.4.12 2026-10-09
   发布说明摘录

   [0.4.12](https://github.com/itsmostafa/system-one-connector/compare/v0.4.11...v0.4.12) (2026-10-08) Features * client: send extra request headers from TYPESAFE_HEADERS ([e2fcc02](https://github.com/itsmostafa/system-one-connector/commit/e2fcc02c39015daf7ef9cd6854daa5fd10edb481)) * client: send extra request headers from TYPESAFE_HEADERS ([adca31b](https://github.com/itsmostafa/system-one-connector/commit/adca31b71e48d90ac0d08b05df0ae4c752560591)), closes [#53](https://github.com/itsmostafa/system-one-connector/issues/53)

   在 GitHub 查看 ↗

常见问题