ReLE中文大模型能力评测与缺陷库
持续更新的中文AI大模型能力评测，覆盖7大领域300+细分维度，提供排行榜和超200万缺陷样本库。
- Star 数
- ★ 6.5k
- 最近更新
- 4 天前
- FA 评分
- 14/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 平台专用
- 费用
- 有免费版，另有付费云服务
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 大模型选型者：在综合、教育、医疗等榜单中对比模型，选择适合自身场景的模型
- 不适合
- 需要完全离线或私有化部署评测的团队
- 需要开源评测代码与完全透明方法论的团队
- 不接受结果与网关绑定 nonelinear.com 的用户
这个 Agent 能做什么，适合哪些场景？
ReLE（Really Reliable Live Evaluation for LLM）是NoneLinear团队维护的中文大模型能力评测项目，原名CLiB。项目已评测395个大模型，涵盖GPT、Gemini、Claude、文心、Qwen、DeepSeek等商用与开源模型，提供综合能力、推理、教育、医疗、金融、法律、Agent工具调用等7大领域排行榜。同时提供规模超200万的缺陷库（badcase），支持按维度浏览分析。项目还提供大模型统一网关，聚合多家供应商API，实现智能负载均衡和自动故障切换。对于私有模型，团队提供免费评测服务，并支持用户上传专属测试数据实现模型选型降本。
ReLE执行端到端的大模型评测流程：1）从GitHub仓库的leaderboard目录获取各模型在300+维度上的准确率、耗时、token消耗等指标；2）通过badcase链接展示各维度失败案例；3）提供在线评测服务，支持用户上传数据并自定义筛选排行榜（nonelinear.com/static/benchmarking.html）；4）集成大模型统一网关（api.nonelinear.com/v1），通过OpenAI兼容SDK调用模型，实现负载均衡和故障切换；5）提供模型选型工具，基于用户专属测试数据对比模型效果与成本，目标降本90%。项目还整合了LMArena和Artificial Analysis的英文评测数据，便于跨语言比较。
- 大模型选型者：在综合、教育、医疗等榜单中对比模型，选择适合自身场景的模型
- 模型开发者：利用超200万缺陷库分析模型弱点，定位改进方向
- 研究人员：参考ReLE技术报告，进行中文大模型能力各向异性研究
- 企业用户：通过统一网关调用多模型，享受智能负载均衡与高可用保障
- 需要降本的企业：上传专属测试数据，利用模型选型工具找出性价比最高的方案
如何安装或部署这个 Agent？
项目以GitHub仓库形式提供，无需安装客户端。使用在线服务需注册并获取API密钥：在nonelinear.com获取API key，然后通过OpenAI SDK调用统一网关。
如何使用这个 Agent？
1）访问仓库查看排行榜：如leaderboard/总分.md、leaderboard/教育.md等；2）通过badcase链接查看具体错误案例；3）使用在线评测：访问nonelinear.com/static/benchmarking.html自定义筛选榜单或上传数据；4）调用API：使用OpenAI SDK，设置base_url为https://api.nonelinear.com/v1，认证后调用模型；5）使用模型选型工具：上传专属测试数据，获取推荐模型。
这个 Agent 有哪些优点和局限？
- 覆盖模型数量多（395个），且持续更新（周更）
- 评测维度细化，涵盖7大领域300+细分，如牙科、高中语文等专业考试
- 提供超200万缺陷库，便于深度分析模型弱点
- 具有在线评测和模型选型工具，支持降低90%成本
- 整合国际榜单（LMArena、AA），便于中英文对比
- 商业化平台依赖，评测结果和网关服务关联非线智能官网
- 评测方法未完全透明，未开源具体评测代码或标准答案
- 部分领域标注TODO（如中考、初中奥数），覆盖不完整
- 模型调用和选型服务需付费，价格不透明
- 数据规模巨但可能仅限研究报告，社区利用需许可
这个 Agent 与同类方案有什么区别？
与LM Arena相比，ReLE专注于中文能力和专业领域（如医疗考试），提供更细分的维度；与OpenCompass相比，ReLE更侧重商业化服务与缺陷库；与SuperCLUE类似，ReLE也是中文评测，但ReLE提供更多模型和更细的维度，并集成了统一网关。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| ReLE中文大模型能力评测与缺陷库 当前 | 14 · 缺口较多 | 网页应用免费版 + 付费版 | ★ 6.5k | 4 天前 | — | — |
| AMB 记忆基准套件 | 39 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 153 | 5 天前 | Python | — |
| MobileGym | 50 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 827 | 9 天前 | Python | — |
| Potato 标注平台 | 59 · 缺口较多 | 命令行工具免费 | ★ 436 | 3 天前 | Python | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示仓库仅提供评测数据和排行榜，未包含任何代码或可执行组件，因此不存在权限、用户确认、数据流、敏感数据处理、依赖安全、外部影响、回滚或来源归属等信任相关机制。所有信任标准均得0分，因为没有证据表明存在这些机制。
自一致性：仓库内部结构一致，README中列出的排行榜文件与目录结构相符，但未提供任何测试或验证数据，因此仅得1分。依赖可用性：未提及任何依赖，得0分。失败消息：未提供任何错误处理或失败消息，得0分。
受众与场景：明确面向中文AI大模型评测，覆盖多学科教育场景，得2分。能力边界：仅说明评测范围，未明确模型能力边界，得1分。触发精度：未提供任何触发机制，得0分。环境适配：未说明运行环境或平台，得0分。
信息架构：目录结构清晰，有分类和链接，得2分。安装说明：无安装说明，得0分。命名稳定性：排行榜文件命名一致，但未说明版本稳定性，得1分。示例与FAQ：提供示例图片和链接，但无FAQ，得1分。已知限制：未提及，得0分。许可证：未提供，得0分。版本与变更日志：无，得0分。维护责任：未说明，得0分。
输出可用性：提供排行榜和缺陷库，但格式未明确，得1分。边际价值：提供大规模缺陷库和排行榜，对社区有参考价值，得2分。成本效益：未提供任何成本或效益分析，得0分。
声明可追溯性：排行榜数据有链接，但未提供原始数据或方法，得1分。跨源佐证：未提供其他来源验证，得0分。事实与推断分离：未区分事实和推断，得0分。
- 源码中未见：最小权限约束只授予完成任务所需的权限：用专用账号或只读令牌，并限定可访问的目录和仓库。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：数据流向说明运行时观察它连接了哪些外部服务（代理或防火墙日志）；弄清数据去向之前不要输入敏感数据。
- 源码中未见：敏感信息处理使用专用、低权限、可随时吊销的 API 密钥，不要复用生产凭据，也不要让密钥出现在日志里。
- 源码中未见：依赖安全审查安装前固定版本并做一次依赖扫描（如 npm audit、pip-audit）；优先放在容器里运行。
- 源码中未见：外部影响披露先弄清它会写入、发送或修改哪些外部系统，用测试账号或测试仓库验证后再接入正式环境。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 源码中未见：来源归属可核验从官方仓库或包源安装，核对发布者和仓库地址，避免同名仿冒包。
- 仓库仅提供评测数据和排行榜，未包含任何代码或可执行组件，无法验证其评测方法的准确性和公正性。
- 未提供许可证信息，使用和分发存在法律风险。
- 未提供数据来源和评测方法，排行榜的可信度有限。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。