开发与工程 fine-tuningllm-inferencelocal-uiggufrl-trainingmodel-servingunsloth-studio

Unsloth Studio

本地运行与微调 LLM 的图形化界面,训练速度提升 2 倍,显存占用降低 70%。

FollowAgents 评估 · FARS-2.1
谨慎使用
66/ 100 五分制 3.3 / 5
1 2 3 4 5 6
1信任安全19 / 29 · 3.3/5

证据显示:默认仅绑定本地回环地址,远程访问需显式选项;提供--secure和--disable-tools等安全选项;文档明确说明代码执行和工具默认开启且以用户身份运行,并警告暴露风险;密码设置支持环境变量和stdin避免命令行泄露;依赖有版本锁定和条件限制;外部效果(如Cloudflare隧道)有明确说明和失败关闭机制;提供卸载脚本和回滚路径;来源归属清晰(作者、维护者、版权声明)。扣分:未验证发布者身份,且部分安全措施依赖用户主动配置,未提供默认最小权限。

2可靠稳定9 / 14 · 3.2/5

证据显示:README和pyproject.toml描述一致,功能列表与文档链接对应;依赖有版本范围和条件限制,但部分依赖(如torchcodec)平台限制可能导致安装失败;文档提供故障排除和错误处理说明(如缓存清理、CI失败处理)。扣分:未提供运行时错误消息的具体示例,且依赖可用性未经过实际测试。

3适用触发12 / 18 · 3.3/5

证据显示:明确面向开发者和研究者,支持多种操作系统和硬件(NVIDIA、AMD、macOS、Vulkan);能力边界清晰(训练、推理、导出等);触发条件明确(如环境变量、命令行选项);环境适配良好(提供Docker、安装脚本、平台特定指南)。扣分:部分高级功能(如MCP、代码执行)需要用户自行配置,未提供默认安全边界。

4规范维护12 / 18 · 3.3/5

证据显示:README结构清晰,包含功能、安装、使用、新闻等;安装说明详细,支持多种方式;命名稳定(unsloth命令);提供示例和FAQ(通过文档链接);已知限制部分提及(如Vulkan仅推理);许可证明确(Apache-2.0,但studio部分为AGPLv3);版本管理通过CHANGELOG和动态版本;维护责任明确(作者和团队)。扣分:未提供完整的CHANGELOG内容,且许可证双重性可能引起混淆。

5有效结果9 / 13 · 3.5/5

证据显示:输出可用性高(提供多种导出格式和API);边际价值明显(加速训练、减少VRAM);成本效益合理(免费开源,提供免费笔记本)。扣分:性能声明未提供基准测试数据,且实际效果依赖硬件和配置。

6证据核验5 / 8 · 3.1/5

证据显示:README中的声明有文档链接支持;多个来源(README、pyproject、工作流)相互印证;事实与推断区分明确(如性能声明标注为'up to')。扣分:部分性能数字未提供具体测试方法,且未提供可复现的基准测试。

证据充分度: 评估于 2026年8月9日 审查版本 113a2cff297b
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 发布者身份未经验证,需谨慎对待。
  • 默认启用代码执行和工具,暴露服务时需使用--disable-tools并保护API密钥。
  • 许可证双重性(Apache-2.0与AGPLv3)可能影响合规性。
  • 部分依赖(如torchcodec)平台限制可能导致安装失败。
  • 性能声明缺乏基准测试数据,实际效果可能因硬件而异。
评估证据 [1][2][3][4][5]
查看完整评分方法 →

这个 Agent 能做什么,适合哪些场景?

Unsloth 是一个开源项目,提供 Unsloth Studio(网页 UI)和 Unsloth Core(代码库)两种使用方式,用于在本地运行和微调大语言模型。它支持文本、音频、嵌入和视觉模型,并兼容 NVIDIA、AMD、Apple Silicon 及 Vulkan 设备。Unsloth 的特色是优化的内核和打包算法,使训练速度提升至 2 倍(MoE 模型可达 12 倍),显存占用减少至 70%。它提供丰富的推理功能,包括模型搜索与下载、导出为 GGUF/safetensors、工具调用、代码执行、API 端点等。训练方面支持 LoRA/QLoRA、全参微调、强化学习(GRPO)、长上下文训练等,并可通过数据配方功能从 PDF、CSV 等自动创建数据集。Unsloth 还提供 `unsloth start` 命令,一键连接 Claude Code、Codex 等编码代理。项目采用 Apache-2.0 和 AGPL-3.0 双许可。

Unsloth Studio 是一个本地 Web UI,用户可以通过浏览器搜索、下载并运行模型(支持 GGUF、LoRA、safetensors),进行聊天、工具调用、代码执行和 web 搜索。它提供 OpenAI/Anthropic 兼容 API(/v1/chat/completions 等),允许外部客户端连接本地模型,并通过 unsloth start claude 等命令集成到 Claude Code、Codex 等代理。训练方面,它支持微调 500+ 模型,使用自定义 Triton 内核实现更快的训练和更低的显存占用,支持强化学习(GRPO)和长上下文训练。数据配方功能可从 PDF、CSV、DOCX 等自动创建数据集,并在可视化节点工作流中编辑。用户可通过 curl 或 PowerShell 命令安装,启动后访问本地端口,并可通过 --secure--cloudflare 实现远程访问。

  1. 希望在本地 GPU 上微调 Llama 3.1 等模型的数据科学家,利用 Unsloth 的优化内核节省 70% 显存,并在 Colab 中免费使用。
  2. 开发者需要为 Claude Code 或 Codex 提供本地模型后端,通过 unsloth start claude 快速连接。
  3. 研究人员希望进行强化学习(RL)训练,例如使用 Qwen3 进行 GRPO 微调,Unsloth 声称将显存降低 80%。
  4. 用户想在本地运行 GGUF 模型,利用硬件控制功能(如 MoE 专家卸载、多 GPU 张量并行)优化推理性能。
  5. 需要从 PDF、CSV 等文档自动创建训练数据集,并在可视化节点工作流中调整数据配方的团队。
  6. macOS 用户希望使用 Mac 上的 MLX 后端运行和微调模型,Unsloth 提供完整支持。

这个 Agent 有哪些优点和局限?

优点
  • 训练速度显著提升(最高 12 倍 MoE),显存占用降低 70%,并支持长上下文训练(500K)。
  • 提供图形化 Web UI(Unsloth Studio)和代码库(Core)两种方式,适合不同技术水平的用户。
  • 支持多种硬件(NVIDIA、AMD、Apple Silicon、Vulkan),并提供跨平台安装脚本(macOS/Linux/Windows)。
  • 支持 OpenAI/Anthropic 兼容 API 和 unsloth start 命令,方便集成到编码代理。
  • 提供丰富的模型支持(Llama、Qwen、Gemma、DeepSeek 等),并持续更新新模型支持。
局限
  • Unsloth Studio UI 使用 AGPL-3.0 许可,可能不适合不希望开源代码的组织。
  • 训练功能依赖 PyTorch,对于没有兼容 GPU 的用户,仅支持聊天和数据配方功能,训练受限。
  • 安装和配置可能复杂,尤其是自定义安装和 Vulkan 后端,需要一定技术知识。
  • 部分高级功能(如深度学习)需要较大显存(如 80GB GPU),普通消费者硬件可能无法使用。
  • 项目仍处于 Beta 阶段,可能存在不稳定或更改频繁的情况。

如何安装或部署这个 Agent?

对于 macOS、Linux、WSL:运行 curl -fsSL https://unsloth.ai/install.sh | sh。对于 Windows:在 PowerShell 中运行 irm https://unsloth.ai/install.ps1 | iex。安装器会设置环境,如果需要强制 Vulkan 后端,在安装前设置 UNSLOTH_FORCE_VULKAN=1。对于 Unsloth Core(代码方式),使用 uv 创建 Python 3.13 虚拟环境并执行 uv pip install unsloth --torch-backend=auto。也可以使用 Docker 镜像 unsloth/unsloth

如何使用这个 Agent?

安装后,在终端运行 unsloth studio -p 8888 启动 Web UI。默认绑定 127.0.0.1,可通过 -H 0.0.0.0 允许局域网访问,或使用 --secure 通过 Cloudflare 隧道提供 HTTPS 链接。在 UI 中,先搜索并下载模型,然后选择聊天或训练模式。训练时,可上传数据集或使用数据配方自动创建,配置 LoRA/QLoRA 或 RL 等参数。要连接到编码代理,运行 unsloth start claudeunsloth start codex 等,或使用 unsloth start claude --as-subagent --model unsloth/model-GGUF:quant 作为子代理。

常见问题

Unsloth 是免费的吗?
核心包采用 Apache 2.0 许可,Unsloth Studio UI 采用 AGPL-3.0,均免费开源。但训练需要 GPU 资源,Colab 免费额度有限。
Unsloth 和 llama.cpp 有什么区别?
Unsloth 基于 llama.cpp 进行推理,但增加了训练微调功能,并优化了内核和打包算法。
我可以使用 Unsloth 进行强化学习吗?
是的,Unsloth 支持 GRPO 等强化学习算法,并声称显存占用降低 80%。可参考其 RL 指南。
如何将本地模型连接到 Claude Code?
使用 unsloth start claude 命令,前提是已启动 Unsloth 并加载模型。支持将 Claude Code 作为子代理。
Unsloth 支持哪些文件格式的模型?
支持 GGUF、LoRA 适配器、safetensors 等常见格式,并可将模型导出为 GGUF 或 16-bit safetensors。

对比同类 Agent

用同一套 FARS 评审,横向比较这个 Agent 所属的短名单。

相关 Agents