Agent Learning Kit

这个 Agent 能做什么，适合哪些场景？

Agent Learning Kit 是 Future AGI 推出的本地优先 SDK 与 CLI，把模拟（simulate）、评测（evals）、优化（optimize）三个引擎收敛到同一个开发者界面上，红队测试则复用 simulate 与 evals 引擎而非独立第四引擎。Python 包名为 agent-learning-kit，命名空间为 fi.alk，命令行工具是 agent-learn，另提供 TypeScript 包 @future-agi/agent-learning-kit。它沿着“模拟 → 评测 → 优化 → 晋升为可回放工件 → 本地发布门禁”的闭环运行，默认完全离线，无需 API Key 或网络；只有启用 Future AGI 平台评测时才需要 AGENT_LEARNING_API_KEY。README 明确 v1 发布门禁是可执行的 environment_10x_robustness，即将发布的是本地可验证契约，而非依赖云端服务的产品。

它读取 Agent 源码、运行清单（run_manifest.json）、评测套件（eval_suite.json）、优化清单（optimization_manifest.json）与红队清单（redteam_manifest.json），在本地世界（worlds）中执行任务并产出 JSON 工件。核心操作包括：用 SimulationSpec 交给 SimulationRunner 跑同一套模拟；对提示词、任务输出、运行时契约、trace、记忆、检索、安全与鲁棒性证据做评测；对提示词、Agent、框架适配器、世界、多 Agent 交互、记忆层、工作流与红队场景做搜索优化；用 release-check 与 release-proof 生成 agent-learning.release-proof.v1 证据。仓库内的 harness（src/fi/alk/harness/）会读取 Agent 源码、为其构建工具可作用的真实世界，并写入每条都经过验证的测试场景，可通过终端或 localhost:8777 的网页以对话方式驱动。适配器覆盖 LangChain、LangGraph、LlamaIndex、AutoGen、CrewAI、LiveKit、Pipecat、Browser Use、MCP、A2A 以及自定义编排对象，并对 PydanticAI 与 OpenAI Agents 提供运行时模拟支持。

1. 正在用 LangChain 或 LangGraph 搭建 Agent 的开发者，希望在推 CI 前先本地跑一遍任务模拟与回归回放。
2. 需要为多 Agent 交接与协调逻辑编写可重复测试的团队，用 handoff 测试替代手工试跑。
3. 安全工程师要对自家 Agent 做红队语料与自适应循环测试，但不想把数据送到第三方云平台。
4. 负责发布流程的工程师需要 agent-learn release-proof 生成的本地门禁证据，作为发版签核材料。
5. 做 RAG 或记忆层调优的团队，希望在同一工件模型里对比检索与记忆质量的评测结果。
6. 希望把语音、实时、浏览器/CUA、协议类 trace 一起纳入评测的集成团队。

如何安装或部署这个 Agent？

从 PyPI 安装：

pip install agent-learning-kit

可选扩展：

pip install "agent-learning-kit[livekit]"
pip install "agent-learning-kit[nli]"
pip install "agent-learning-kit[all]"

如需从源码开发：

git clone https://github.com/future-agi/agent-learning-kit
cd agent-learning-kit
uv sync          # 或: pip install -e .

TypeScript 包（npm 发布在 v1 上线后，当前可从源码构建 typescript/agent-learning-kit）：

pnpm add @future-agi/agent-learning-kit

如何使用这个 Agent？

先跑本地自检，确认环境就绪：

agent-learn doctor

评测一个套件：

agent-learn eval examples/eval_suite.json \
  --output artifacts/eval.json

模拟一次运行清单：

AGENT_LEARNING_RUN_EXAMPLE_KEY=offline-demo-key \
  agent-learn run examples/run_manifest.json \
  --no-eval \
  --output artifacts/run.json

优化一个 Agent 工作流：

AGENT_LEARNING_OPTIMIZE_EXAMPLE_KEY=offline-demo-key \
  agent-learn optimize examples/optimization_manifest.json \
  --output artifacts/optimization.json

执行一次红队行动：

AGENT_LEARNING_REDTEAM_EXAMPLE_KEY=offline-demo-key \
  agent-learn redteam examples/redteam_manifest.json \
  --output artifacts/redteam.json

生成发布证据：

agent-learn release-check --project-root .
agent-learn release-proof \
  --project-root . \
  --output /tmp/agent-learning-release-proof.json \
  --quiet

如需使用 Future AGI 平台评测，设置 AGENT_LEARNING_API_KEY（优先级高于 FUTURE_AGI_API_KEY 与 FI_API_KEY 别名），或在代码中调用 configure：

from fi.alk import configure

configure(api_key="...")

TypeScript 侧可导入 Evaluator 与 LocalEvaluator：

import { Evaluator } from "@future-agi/agent-learning-kit";
import { LocalEvaluator } from "@future-agi/agent-learning-kit/evals/local";

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

1. ts-v0.2.0 @future-agi/ai-evaluation (TypeScript) 0.2.0 2026-04-28
   发布说明摘录

   TypeScript SDK release. See CHANGELOG.md for full notes.

   在 GitHub 查看 ↗
2. py-v1.1.0 ai-evaluation (Python) 1.1.0 2026-04-23
   发布说明摘录

   Python SDK release. See CHANGELOG.md for full notes.

   在 GitHub 查看 ↗
3. v1.0.0 2026-02-28
   发布说明摘录

   Unified evaluate() API — One function for all evaluation needs. Local metrics, cloud templates, and LLM-as-judge through a single entrypoint. ```python …

   在 GitHub 查看 ↗

常见问题