AutoResearch 自动研究员
让编码智能体在单张英伟达 GPU 上自主迭代 nanochat 训练实验。
README 将代理的修改范围限定为 train.py，强调差异可审查，并建议禁用所有权限；这为最小权限提供了较明确但未被策略或代码强制的依据。自主隔夜循环没有逐次用户确认或批准门槛，因此 user_confirmation 为 0。文档说明会下载训练数据、修改代码并执行 GPU 训练，但没有列出数据端点、遥测、网络边界或完整外部副作用。未提供密钥、凭据或敏感数据处理规则。依赖清单可见且 PyTorch 固定版本，但多数依赖仅设下限，未见锁文件、校验、审计或漏洞处置，并使用 curl 管道安装命令。保留或丢弃实验及可审查差异暗示有限恢复能力，但没有明确回滚机制。README 清楚归因 nanochat、作者账号和相关分支，不过发布者身份仍未获企业注册验证。
README 与 pyproject 在项目目的、Python 版本、uv、PyTorch/CUDA 取向上基本一致；但“只有少量外部依赖”的表述与九项依赖相比有所简化，且关键实现文件未提供。依赖名称、版本约束和专用 PyTorch 索引足以支持普通安装定位，但未见锁定解析或备用源。所给材料没有错误消息、异常处理或失败恢复证据，因此 failure_messages 为 0。
文档覆盖研究者、新手、H100 用户和较小设备尝试者，并给出多项缩小模型的调参建议，但没有形成完整的角色化工作流。能力边界非常清楚：单 NVIDIA GPU、单个可修改文件、固定五分钟预算、单一 val_bpb 指标，且明确结果不能跨不同硬件直接比较。启动方式只有一条示例提示，真正决定代理行为的 program.md 未提供，因此触发精度证据较薄。环境要求和已测试硬件写得明确，也列出其他平台分支，但原项目缺少 CPU、MPS、AMD 和自动检测支持。
README 的快速开始、工作原理、结构、设计选择、平台支持和分支列表组织清晰。安装步骤具体，但 curl 管道安装缺少安全校验，且未提供常见安装失败排查。核心文件命名一致，pyproject 提供 0.1.0 版本；早期版本及缺少兼容承诺限制了稳定性评分。示例提示、手动运行路径和小设备调参指南较实用，但没有正式 FAQ。硬件限制、跨平台限制和跨机器不可比性说明充分。许可证仅在 README 声明 MIT，未给出 LICENSE 文件或 pyproject 许可证元数据。存在包版本号但没有标签、发布说明或 changelog。作者以第一人称表达维护取向并邀请分支讨论，但没有正式维护者、支持渠道、安全报告或更新政策。
预期产物被描述为实验日志、可审查的 train.py 变更和 val_bpb 指标，这些对研究循环有用；但没有提供日志格式、样例结果、汇总接口或关键 program.md。自动执行修改、训练、比较和保留或丢弃实验，相比手工迭代有明确增量价值，但所给材料没有结果数据证明改进幅度。固定五分钟实验预算、约每小时十二次和单 GPU 要求让时间成本较易理解；不过没有能耗、云成本、失败率或收益分布，因此不能给满分。
主要主张能关联到 README 中的文件角色和 pyproject 中的依赖配置，但 train.py、prepare.py、program.md、锁文件、测试和实验日志均未提供，无法对核心行为作静态交叉核验。README 与 pyproject 仅对名称、Python 要求和依赖环境形成有限互证，没有独立结果或测试来源。文档较好地区分确定设计、局限与推测，例如使用“hopefully”、说明跨平台支持只是原则上可能，并明确不同硬件结果不可比；但部分吞吐量和自主改进主张仍缺少证据。
- 代理被设计为无人值守地修改并执行训练代码；在隔离工作区和受限网络中运行，并在采用任何变更前人工审查差异。
- README 建议禁用权限，但没有证据表明 train.py 范围、确认门槛或网络限制会被技术性强制执行。
- prepare.py 会下载数据，但所给材料没有说明具体来源、许可、校验、缓存位置或可能发送的数据。
- 多数依赖未固定上限或精确版本，且未提供锁文件；在运行前应锁定并审计依赖，避免直接执行未经验证的 curl 管道安装。
- 项目仅明确支持单张 NVIDIA GPU，并在 H100 上测试；不同硬件上的 val_bpb 和吞吐量不可直接比较。
- 核心代理指令 program.md、训练代码、测试和实验日志均未提供，本评估不能验证实际安全边界、失败行为或研究结果。
这个 Agent 能做什么，适合哪些场景？
AutoResearch 是一个面向小型但真实 LLM 训练任务的自主实验框架，训练实现基于简化的单 GPU nanochat。仓库的关键组件是固定的数据与评估工具 prepare.py、由智能体修改的 train.py，以及由人维护的智能体指令 program.md。每次实验按照固定的 5 分钟墙钟预算运行，并以越低越好的验证指标 val_bpb 判断改动是否有效。智能体可以反复修改模型架构、超参数、优化器和批大小，执行训练后保留或丢弃实验结果，并留下实验日志。它是需要本地文件、Shell、联网准备数据和一张 NVIDIA GPU 的自托管研究工作流，而不是托管服务或通用训练平台。
首先运行 uv run prepare.py，下载训练数据、训练 BPE tokenizer，并准备 dataloader 与评估工具。随后，Claude Code、Codex 或其他编码智能体读取 program.md，只修改 train.py；该文件包含完整的 GPT 模型、Muon + AdamW 优化器和训练循环。每个候选版本通过 uv run train.py 训练固定 5 分钟，再以 val_bpb 评估，数值下降则保留改动，否则丢弃并继续下一轮。智能体可调整架构、超参数、优化器和批大小，最终产出 train.py 的迭代版本以及实验日志。prepare.py 按设计不应由智能体修改，program.md 则由人类持续调整以改变研究组织和策略。
- 拥有单张 NVIDIA GPU 的机器学习研究者，希望让编码智能体在夜间自动尝试约百次短训练实验。
- 研究智能体工作流的开发者，希望通过修改 program.md 比较不同研究指令带来的实验进展速度。
- 希望在固定计算时间内搜索 GPT 架构、优化器、批大小或训练超参数的 nanochat 使用者。
- 需要可审查实验差异的个人研究者，希望把智能体的修改范围限制在单个 train.py 文件。
- 准备为 Mac、Windows 或 AMD 平台制作分支的工程师，希望以精简的单 GPU训练实现作为起点。
这个 Agent 有哪些优点和局限？
- 把智能体的修改范围集中在 train.py，模型、优化器和训练循环的差异较容易审查。
- 每次训练采用固定 5 分钟预算，能在同一硬件上公平比较不同模型规模、架构和批大小。
- 使用与词表大小无关的 val_bpb 指标，便于比较涉及词表或架构变化的实验。
- 系统结构精简，只围绕 prepare.py、train.py 和 program.md 展开，不依赖分布式训练或复杂配置。
- 当前代码明确要求单张 NVIDIA GPU，并且只在 H100 上测试；CPU、MPS、AMD 和 Windows 等环境需使用分支或自行适配。
- 不同硬件上的结果不可直接比较，因为固定时间预算会针对各自平台产生不同的最优方案。
- 数据下载、tokenizer 准备和重复训练需要网络、磁盘写入权限以及持续的 GPU 计算资源。
- 默认 program.md 只是基础基线；要构建更成熟的研究组织、多智能体流程或更有效的策略，需要用户自行迭代。
- 来源没有提供训练成本估算、故障恢复机制或实验结果质量保证。
如何安装或部署这个 Agent？
运行环境要求为 Python 3.10+、uv 和单张 NVIDIA GPU；项目已在 H100 上测试。安装并初始化：
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync
uv run prepare.pyprepare.py 会联网下载训练数据并训练 tokenizer，一次性准备约需 2 分钟。来源未说明需要 API 密钥或其他凭据。
如何使用这个 Agent？
先用以下命令验证单次训练是否正常：
uv run train.py一次训练约为 5 分钟。进入自主研究模式时，在仓库目录中启动 Claude Code、Codex 或其他编码智能体，并让其读取 program.md；README 给出的起始提示为：
Hi have a look at program.md and let's kick off a new experiment! let's do the setup first.
智能体应遵循 program.md，反复编辑 train.py、运行训练、读取 val_bpb，并按结果保留或丢弃修改。人类通过编辑 program.md 改变研究策略，不应按常规研究流程直接修改 Python 文件。
这个 Agent 与同类方案有什么区别？
相较于完整的 nanochat，AutoResearch 使用更精简的单 GPU 训练实现，并将研究过程约束为智能体修改 train.py、按固定时间运行和比较 val_bpb。nanochat 的平台支持更广，并包含通用设备支持、自动检测及 Flash Attention 3 内核回退等方案；AutoResearch 则有意避免这些代码复杂度。README 还列出了面向 macOS、Windows、AMD 和 MLX 的社区分支，适合无法使用 NVIDIA GPU 的用户评估。