Potato 标注平台
自托管多模态标注与智能体评测平台，支持从任务配置到结果导出的完整流程。
- Star 数
- ★ 429
- 最近更新
- 5 天前
- License
- GPL-3.0
- 主语言
- Python
- FA 评分
- 59/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台OpenAI API · Claude APICodex · Claude Code（部分支持）
- 费用
- 免费，无需付费服务
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- NLP 研究团队配置分类、命名实体识别或共指任务，并汇集多位标注者的标签。
- 不适合
- 只需要托管式标注 SaaS 的团队
- 只想评估而不愿搭建标注任务的用户
- 源码审查
- 59/100 · 缺口较多
这个 Agent 能做什么，适合哪些场景？
Potato 是一个免费、自托管的标注平台，面向 NLP、智能体与生成式 AI 评测以及定性研究。用户通过 YAML 配置任务，在本地或部署的服务器上启动 Flask 服务，并通过浏览器界面标注文本、音频、视频、图像、文档和智能体轨迹。它支持从多种智能体框架导入轨迹，并按整体轨迹、步骤、文本片段或成对比较进行评估。平台还提供 LLM 标签建议、主动学习、质量控制和定性数据分析工作流。标注结果可导出；部署选项包括本地运行以及文档列出的云和托管平台。
用户准备 YAML 配置和待标注数据后，运行 potato start 或从源码启动 potato/flask_server.py，再在浏览器中打开服务进行标注。potato.trace_converter 可把 OpenAI、Anthropic/Claude、ReAct、LangChain、MCP 等格式的轨迹转换为 Potato 数据；评审者可以给整体任务、单步操作或输出片段打分，也可进行并排比较。平台能连接 OpenAI、Anthropic、Ollama、vLLM、Gemini、HuggingFace 和 OpenRouter，为实例提供标签建议；也可按不确定性、BADGE、BALD 等策略调整标注队列。项目支持多标注者、仲裁、注意力检查、黄金标准、IAA 指标，以及带 codebook、memos 和 cases 的 QDA 流程；完成后可导出标注数据。
- NLP 研究团队配置分类、命名实体识别或共指任务，并汇集多位标注者的标签。
- 智能体开发团队导入工具调用轨迹，逐步检查动作正确性、推理质量和任务成败。
- RAG 评测人员标注检索相关性、引用准确性和回答中的幻觉片段。
- 语音研究者用波形和分段界面标注音频，或导入字幕、转录文本及 ELAN 风格分层数据。
- 定性研究者用不断演进的 codebook、备忘录和案例对访谈或文档进行分析。
如何安装或部署这个 Agent？
需要 Python 环境和 shell。README 给出的 PyPI 安装方式如下；examples 目录随源码仓库提供，因此要运行该示例需另行克隆仓库。启动服务器后，通过浏览器访问本机地址。
如何使用这个 Agent？
最短工作流是安装软件、准备 YAML 配置与数据、启动服务、在浏览器中标注并导出。源码启动示例如下：
这个 Agent 有哪些优点和局限？
- 一个平台覆盖文本、音频、视频、图像、文档和智能体轨迹标注。
- 支持多种轨迹导入格式，并能按轨迹、步骤、片段或对比层级评测。
- 提供自托管运行、可配置的部署目标，以及面向多标注者任务的质量控制。
- 支持 codebook、memos 和 cases，能将 QDA 工作流与传统标注放在同一平台。
- 需要准备 YAML 任务配置和数据；首次使用并非只打开一个现成的 SaaS 工作区。
- 本地运行需要安装 Python 包或从源码安装依赖并启动服务；部署到云端还需配置对应平台。
- LLM 标签建议依赖所选提供方及其相应服务配置；本地 Ollama、vLLM 等也需自行部署。
- README 未在本段给出所有托管平台的具体费用、资源需求或统一部署配置。
这个 Agent 与同类方案有什么区别？
README 将 Potato 的 QDA 功能与 NVivo、ATLAS.ti 和 MAXQDA 这类定性分析工具作了定位比较；它强调可自托管且免费。对智能体评测，README 介绍了自身能力，但没有指定一个明确的直接替代产品。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Potato 标注平台 当前 | 59 · 缺口较多 | 命令行工具免费 | ★ 429 | 5 天前 | Python | OpenAI API · Claude API |
| ClawBench 浏览器智能体评测 | 48 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 1k | 1 天前 | Python | Codex · Claude Code |
| Meta ARE | 37 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 566 | 12 天前 | Python | — |
| MiroFlow 研究智能体 | 53 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 3.1k | 8 个月前 | Python | — |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
安全策略明确列出部署边界，并说明危险的 pickle 导入默认关闭、调试模式仅供开发、可信沙箱需显式确认；这支持用户确认和敏感凭据注意事项的部分得分。测试还展示 Docker 执行使用禁网、只读文件系统、资源限制，并在会话结束时清理工作区。但材料没有完整说明各类数据的流向、所有组件的权限或广泛依赖的安全维护，因此这些方面扣分；回滚路径仅有局部恢复说明，发布者身份也未验证。
README、LICENSE 与 package.json 对许可证说法不一致（GPLv3+ 对 MIT），因此自洽性得分低。requirements.txt 提供核心与可选依赖说明，但版本下限较宽且未见锁定文件，依赖可用性只能部分确认。代理测试文件展示了超时、规划器异常、无效动作和缺少 Docker 时的错误处理，故失败消息有较充分的静态证据；未据此推断实际运行结果。
材料覆盖 NLP、Agent 轨迹、多模态标注、QDA 和多种部署与协作场景，并提供示例目录和配置方式，因此受众与场景覆盖充分。功能边界通过安全策略和配置说明部分界定，但广泛的能力声明未在所给代码中逐项佐证。配置驱动的工作方式和多种安装/部署目标支持一定触发精度与环境适配；本评估不据此推断未展示的运行兼容性。
README 有清晰的功能分区、安装步骤、文档索引和大量示例；安全策略也列明支持版本、报告渠道及若干限制，因此信息架构和示例较强。扣分项包括安装依赖指引分散、包名/许可证元数据与 README 不一致，以及所给材料没有清晰的变更日志。安全策略提供维护和漏洞报告路径，但发布者身份未知，维护责任的可验证性有限。
该工具面向标注与 Agent 评估，提供多种标注模式、轨迹转换、质量控制和导出相关能力；结构化示例和配置入口支持可用输出，因此实用价值较高。边际价值和成本效益只给部分分数：README 的广泛功能说明缺少所给实现材料逐项佐证，且安装与部署涉及多种可选依赖和运维选择，材料没有量化其成本。
README 将不少功能指向具体文档、示例和研究论文，安全策略也给出明确配置名与范围；测试源文件佐证了部分代理行为，因此可追溯性与交叉佐证获得中等分数。扣分是材料主要由 README 声明、有限测试片段和安全策略构成，许可证元数据冲突削弱核验一致性；评估将文件明示内容与未验证的能力声明区分，但没有独立执行或验证。
- README、LICENSE 与 package.json 的许可证信息冲突；在采用或分发前应核对实际适用许可。
- 安全策略要求公开部署使用 TLS 反向代理、关闭调试模式，并为非本地试点启用密码验证；材料指出密码less 登录不验证用户名。
- README 描述了许多 Agent、AI 和部署功能；本次仅能静态审阅所给文件，不能据此确认这些功能在目标环境中的实际表现。