NVIDIA NeMo Agent Toolkit
为任意AI代理框架增添智能，通过企业级可观测性与持续学习提升速度、准确性和决策能力。
- Star 数
- ★ 2.7k
- 最近更新
- 今天
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 65/100 · 存在缺口
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 希望在LangChain、CrewAI或自定义框架中为其AI代理添加可观测性和性能分析功能的开发人员。
- 不适合
- 不愿使用 NVIDIA 云服务或希望避免厂商绑定的团队
- 需要稳定 API、不愿承担早期版本迁移成本的团队
这个 Agent 能做什么，适合哪些场景？
NVIDIA NeMo Agent Toolkit 是一个开源库，用于高效连接和优化AI代理团队。它支持与LangChain、LlamaIndex、CrewAI、Microsoft Semantic Kernel、Google ADK等主流框架集成，并允许自定义代理框架。该工具包提供代理构建组件（如可复用工具、预建工作流和内置UI）、运行时洞察（包括性能分析和可观测性），以及全生命周期的优化工具，涵盖评估、超参数和提示优化、通过强化学习进行微调以及与NVIDIA Dynamo的集成。它还支持模型上下文协议（MCP）和代理到代理（A2A）协议，用于构建跨框架的分布式代理。该库通过pip安装，包含名为nat的CLI工具，用于运行工作流。
该工具包提供了一套工具，用于构建、观察、评估和优化AI代理工作流。它通过Python SDK和nat命令行界面提供框架无关的仪表化功能。用户可以定义包含函数、LLM和工作流配置的YAML配置文件，然后使用nat run执行。例如，可配置一个ReAct代理，该代理使用Wikipedia搜索工具和NVIDIA NIM托管的LLM。该工具包支持性能分析（从代理级别到每个token）、LangSmith追踪等可观测性、离线评估、超参数和提示优化，以及使用强化学习对LLM进行微调。它还包括内置的UI，用于与代理交互和可视化输出。可以集成MCP工具或作为MCP服务器提供服务，并且支持A2A协议用于代理间通信。
- 希望在LangChain、CrewAI或自定义框架中为其AI代理添加可观测性和性能分析功能的开发人员。
- 需要在将代理部署到生产环境前，为其代理工作流进行离线评估和优化的团队。
- 希望使用强化学习为特定代理用例微调LLM，以改善其行为的研究人员或工程师。
- 希望通过MCP或A2A协议集成多个分布式代理的组织。
- 希望利用内置UI与代理交互并进行调试的开发者。
- 希望通过集成NVIDIA Dynamo来扩展代理性能并减少LLM延迟的团队。
如何安装或部署这个 Agent？
安装前需确保系统已安装Python 3.11、3.12或3.13。从PyPI安装最新稳定版：pip install nvidia-nat。可选依赖按框架分组，例如pip install "nvidia-nat[langchain]"。如需运行示例，需克隆仓库并从源码安装。
如何使用这个 Agent？
运行Hello World示例：首先设置环境变量export NVIDIA_API_KEY=<your_api_key>，从build.nvidia.com获取API密钥。然后创建workflow.yml配置文件，定义函数、LLM和工作流（例如使用react_agent和wiki_search工具）。最后运行nat run --config_file workflow.yml --input "List five subspecies of Aardvarks"执行工作流。
这个 Agent 有哪些优点和局限？
- 框架无关，支持多个主流代理框架和自定义框架。
- 提供全面的工具链，包括构建、观测、评估、优化和微调。
- 支持MCP和A2A协议，促进互操作性和分布式代理团队。
- 内置强化学习微调和Dynamo集成，用于性能优化。
- 需要NVIDIA API密钥才能使用NIM运行示例，并依赖NVIDIA云服务。
- 示例需从源码克隆和安装，增加了上手复杂度。
- 强化学习和Dynamo集成可能增加了学习曲线和计算资源需求。
- 早期版本可能存在API变动和迁移成本。
这个 Agent 与同类方案有什么区别？
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| NVIDIA NeMo Agent Toolkit 当前 | 65 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 2.7k | 今天 | Python | — |
| AI Agent 工程学习手册 | 55 · 缺口较多 | 开发框架免费 | ★ 601 | 2 天前 | HTML | — |
| AI Agents 权威指南（配套代码库） | 45 · 缺口较多 | 代码库 / SDK免费 + 模型费 | ★ 2.8k | 2 个月前 | Jupyter Notebook | — |
| Promptise Foundry | 44 · 缺口较多 | 代码库 / SDK免费 + 模型费 | ★ 874 | 今天 | Python | Claude.ai · OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示：README 明确说明遥测数据收集范围（命令名、结果、时长等），并明确不收集参数、文件路径等敏感信息，且提供 opt-in/opt-out 机制，故 user_confirmation 和 data_flow_transparency 得 2 分。source_attribution 因 publisher 为 NVIDIA 官方组织且 README 有贡献者致谢，得 2 分。least_privilege 仅从文档推断权限最小化，未见具体权限配置，得 1 分。sensitive_data_handling 仅提及不收集敏感数据，但未说明处理机制，得 1 分。dependency_security 未见依赖漏洞扫描或安全审计证据，得 1 分。external_effects 仅提及遥测发送，但未说明对用户系统的影响，得 1 分。rollback 未见任何回滚机制，得 0 分。
self_consistency 得 2 分：README 与 pyproject.toml 中关于 Python 版本、安装方式等描述一致。dependency_availability 得 2 分：依赖通过 PyPI 分发，且 CI 测试覆盖多版本，但未提供依赖可用性保证。failure_messages 得 2 分：测试代码中提供了详细的错误信息（如超时、进程退出），但未覆盖所有失败场景。
audience_and_scenarios 得 3 分：README 明确面向开发者，提供多种框架集成、示例和教程，场景覆盖广泛。capability_boundaries 得 2 分：文档说明了支持的功能和实验性功能，但未明确边界。trigger_precision 得 2 分：CLI 命令和配置明确，但未涉及触发条件。environment_fit 得 2 分：支持 Python 3.11-3.13，提供容器和 CI 配置，但未说明其他环境限制。
information_architecture 得 3 分：README 结构清晰，包含安装、示例、文档链接等。install_notes 得 3 分：提供 pip 安装命令和可选依赖说明。naming_stability 得 2 分：包名和 CLI 命令稳定，但未提及命名约定。examples_and_faq 得 3 分：提供大量示例和文档，但 FAQ 未单独列出。known_limitations 得 2 分：README 提及实验性功能和迁移注意事项，但未系统列出限制。license 得 3 分：Apache-2.0 许可证文件完整。versioning_changelog 得 2 分：有版本徽章和迁移指南，但未见 CHANGELOG 文件。maintenance_responsibility 得 2 分：NVIDIA 官方维护，有贡献指南，但未明确维护责任。
output_usability 得 2 分：CLI 输出清晰，但未提供结构化输出选项。marginal_value 得 3 分：提供多种独特功能（如 profiling、优化、A2A 支持），价值明显。cost_benefit 得 2 分：开源免费，但依赖较多，可能增加部署成本。
claim_traceability 得 2 分：README 中的功能描述有文档链接，但未提供具体实现细节。cross_source_corroboration 得 2 分：多个文件（README、pyproject、CI）相互印证，但未独立验证。fact_inference_separation 得 2 分：文档区分了事实和推断，但未明确标注。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 遥测数据收集虽明确说明，但默认同意可能不符合某些隐私预期，建议用户主动 opt-out。
- 依赖众多且部分为可选，可能存在版本冲突，安装时需注意。
- 实验性功能（如 Dynamo 集成）可能不稳定，生产环境需谨慎。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
发布说明摘录
<!-- Release notes generated using configuration in .github/release.yml at v1.9.0 --> What's Changed 🚨 Breaking Changes * chore: Remove local_sandbox by @dagardner-nv in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/2194 * fix: Don't expose the user_id parameter to the LLM by @dagardner-nv in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/2190 * Improved user identity resolution by @dagardner-nv in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/2197 ✨ New Features …在 GitHub 查看 ↗ -
发布说明摘录
<!-- Release notes generated using configuration in .github/release.yml at v1.8.0 --> What's Changed 🚀 Notable Features and Improvements * Add Guardrails support * Add Experimental coding-agent adapters with NeMo-Relay telemetry * Add Microsoft Agent 365 integration plugin * Add Windows WSL2 setup instructions 🚨 Breaking Changes * Add NeMo Guardrails policy middleware by @ericevans-nv in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/2006 * Remove integration package for RagaAI Catalyst by @dagardner-nv in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/2013 …在 GitHub 查看 ↗ -
发布说明摘录
🚀 Notable Features and Improvements * Add AI coding agent skills for NeMo Agent Toolkit * Add consent-gated runtime telemetry for NeMo Agent Toolkit CLI commands <!-- Release notes generated using configuration in .github/release.yml at v1.7.0 --> What's Changed 🚨 Breaking Changes * chore: migrate openai dependency from 1.x to 2.x by @willkill07 in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/1849 * chore: dependency cleanup - drops optuna chain and openinference from core by @bbednarski9 in https://github.com/NVIDIA/NeMo-Agent-Toolkit/pull/1902 …在 GitHub 查看 ↗