LazyLLM
用低代码工作流组装、部署和迭代多智能体应用。
- Star 数
- ★ 3.9k
- 最近更新
- 2 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 49/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台OpenAI API
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 需要快速验证客服或内部问答机器人的 Python 团队，可用 OnlineChatModule 与 WebModule 启动基础聊天界面。
- 不适合
- 没有 GPU 或不愿配置 Slurm、Kubernetes 等基础设施的个人开发者
- 只想开箱即用、不愿写 Python 代码组装流程的非开发者
- 源码审查
- 49/100 · 缺口较多
这个 Agent 能做什么，适合哪些场景？
LazyLLM 是一个面向多智能体大语言模型应用的低代码开发框架，围绕“原型构建、数据反馈、迭代优化”组织应用开发。它以 Component、Module 和 Flow 为核心：Component 可执行函数或 bash 命令，Module 覆盖训练、部署、推理和评估中的部分或全部能力，Flow 用于编排数据流。框架提供 Pipeline、Parallel、Diverter、Warp、IFS 和 Loop 等流程，并可将组合后的应用通过 WebModule 提供多轮对话界面，或通过 ServerModule 封装为 API 服务。它同时覆盖在线模型服务和本地模型路径，并提供 Document、Retriever、Reranker 等 RAG 组件。适合希望用 Python 组合模型、检索和工作流，同时保留部署与微调扩展空间的团队。
开发者用 pipeline()、parallel()、bind() 等接口连接任意可调用对象、Module 和 Component。对于 RAG，Document 从 dataset_path 读取资料，create_node_group() 通过 SentenceSplitter 分块，Retriever 以 cosine 或 bm25_chinese 检索，Reranker 对结果重排，再将 context_str 和 query 传给 OnlineChatModule 或 TrainableModule。TrainableModule 可用于本地模型的训练、部署和推理；OnlineChatModule 与 OnlineEmbeddingModule 对接在线服务。WebModule(...).start().wait() 启动对话式 Web 服务，ServerModule 可将函数、流程或 Module 封装成 API 服务；CLI 还提供 lazyllm run chatbot 和 lazyllm run rag。
- 需要快速验证客服或内部问答机器人的 Python 团队，可用 OnlineChatModule 与 WebModule 启动基础聊天界面。
- 拥有本地文档目录的知识库团队，可用 Document、SentenceSplitter、Retriever 和 Reranker 组装检索增强问答。
- 需要根据用户意图分流文本、语音、图像问答、绘图和语音合成请求的产品团队，可用 IntentClassifier 与 pipeline 编排分支。
- 需要在在线模型与本地部署模型之间试验的算法团队，可在 OnlineChatModule 和 TrainableModule 路径间切换。
- 在 Slurm、裸金属或开发机上运行同一应用的工程团队，可使用 Launcher 抽象执行位置。
- 希望将已有函数、流程或模块以服务形式交付的后端团队，可通过 ServerModule 包装为 API 服务。
如何安装或部署这个 Agent？
安装基础包：pip3 install lazyllm。安装全部依赖：先执行 pip3 install lazyllm，再执行 lazyllm install full。使用在线 OpenAI 示例前，设置环境变量 LAZYLLM_OPENAI_API_KEY=xx，或在 ~/.lazyllm/config.json 中添加 openai_api_key=xx。使用本地模型时，README 要求至少安装 lightllm 或 vllm 之一；源码安装则执行 git clone [email protected]:LazyAGI/LazyLLM.git、cd LazyLLM、pip install -r requirements.txt。
如何使用这个 Agent？
最小在线聊天示例：import lazyllm；chat = lazyllm.OnlineChatModule()；lazyllm.WebModule(chat).start().wait()。已通过 pip 安装且 Python 环境的 bin 目录在 PATH 中时，可运行 lazyllm run chatbot。要启动本地模型聊天，可运行 lazyllm run chatbot --model=internlm2-chat-7b；要启动 RAG，可运行 lazyllm run rag --documents=/file/to/yourpath，或追加 --model=internlm2-chat-7b 使用本地模型。
这个 Agent 有哪些优点和局限？
- 以 Component、Module 和 Flow 分层，既能组合普通函数和 bash 命令，也能组合训练、推理与部署模块。
- 内置 Pipeline、Parallel、Diverter、IFS 和 Loop 等工作流结构，支持并行与异步处理场景。
- RAG 链路包含 Document、SentenceSplitter、Retriever 和 Reranker，可直接组合向量检索与 BM25 检索。
- 同时给出在线服务与 TrainableModule 本地模型的使用路径，并列出多种在线推理、嵌入和微调服务。
- WebModule 可启动多轮对话界面，ServerModule 可将函数、流程或模块封装为 API 服务。
- 在线聊天示例需要配置 LAZYLLM_OPENAI_API_KEY，使用在线服务会带来网络连通性和服务商依赖。
- 本地模型推理要求额外安装 lightllm 或 vllm，且模型自动下载依赖互联网连接。
- 本地 RAG 示例要求用户自行提供 dataset_path、模型名称和运行环境，文档未给出数据格式与资源规模要求。
- 跨平台执行明确列举裸金属、开发机、Slurm 和 SenseCore，但未提供其他平台的兼容性证据。
- 路线图中的 MCP 发布、分布式 Launcher 和可观测性改进不应视为当前已验证能力。
这个 Agent 与同类方案有什么区别？
路线图提到 Cookbook 将与 LangChain 和 LlamaIndex 比较代码量、速度和扩展性，但所给材料没有提供当前的功能对照或基准结果。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| LazyLLM 当前 | 49 · 缺口较多 | 代码库 / SDK免费 + 模型费 | ★ 3.9k | 2 天前 | Python | OpenAI API |
| ReachAI 企业智能体开发平台 | 67 · 存在缺口 | 自托管服务免费 + 模型费 | ★ 1k | 今天 | Java | OpenAI API |
| Dify | 73 · 存在缺口 | 自托管服务免费版 + 付费版 | ★ 161k | 今天 | Python | OpenAI API |
| Pi Dynamic Workflows | 72 · 存在缺口 | Agent 插件 / 技能免费 + 模型费 | ★ 591 | 12 天前 | TypeScript | — |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
README 与 SKILL.md 说明可组合本地和在线模型、文档检索及 Web 服务，API Key 配置建议使用环境变量；但样例会启动服务并自动下载模型，CLI 还支持部署与安装操作，材料没有展示按操作逐项确认、权限收敛或回滚机制，因此仅给薄弱分数。依赖清单规模大且包含多种宽松版本约束，未见依赖安全流程；来源有项目名和作者字段，但发布者身份未获验证，维护与归属线索有限。
CI 文件列出 lint、文档检查和多类测试任务，测试样例包含部署与模型调用断言；但静态材料不能证明这些任务在该修订实际通过。README、SKILL.md 和 pyproject 的功能入口及版本表述存在差异，且宽松依赖约束使可用性受外部包变化影响；CLI 错误处理在样例中只提供用法文本，故一致性、依赖可用性与故障说明均只部分体现。
材料面向初学者、算法研究员和开发者，列出对话、RAG、多模态、流程编排、微调、集群和多平台场景，也说明简单直线调用不必使用 Flow。由此能看出适用场景和部分边界；但广泛功能宣称没有逐项环境支持细节，且安装要求、硬件与服务条件分散，不能给满分。
README 按简介、特性、使用、安装、概念和计划组织，SKILL 提供组件导航和安装说明；示例覆盖在线/本地模型及 RAG。LICENSE 明确提供 Apache 2.0 全文。扣分原因是文档和 SKILL 的 API 名称及能力描述不完全一致，未见统一的已知限制说明，计划时间线不能替代清晰的发布变更记录，维护责任也没有明确的支持承诺或更新路径。
代码示例展示从模型、检索器和流程组合到 Web 服务的可操作路径，CLI 也提供常用入口，体现了多 Agent 与 RAG 组装的实际价值。成本效益只被概括为低成本和易用，没有量化资源需求；本地模型自动下载、完整依赖安装及训练部署能力会带来环境和算力成本，因此不给高分。
README 的安装方式、模块表和代码片段可与 pyproject 的包版本、依赖及 CLI 入口部分对照；CI 和测试源码也佐证项目包含测试与部署相关代码，但不能据此断言实际通过。许多性能、生产就绪和自动选择框架的说法仍是项目自述，材料未系统区分可核实事实与推断，故只给中低分。
- 在线模型调用需配置平台 API Key；请按文档使用环境变量或配置管理，避免将密钥写入示例代码或提交到仓库。
- 本地模型可能自动下载，部署、安装扩展依赖和训练可能消耗显著网络、磁盘、算力及外部服务资源；先核对目标环境和所需操作。
- README、SKILL 与包元数据中的入口名称和版本描述有差异；使用前应以该修订实际提供的 API 和对应安装说明为准。
你是这个项目的维护者？把 FARS 徽章加到 README
[](https://followagents.com/zh/agents/lazyllm)<a href="https://followagents.com/zh/agents/lazyllm"><img src="https://followagents.com/badge/lazyllm.svg?lang=zh" alt="FARS 评测"></a>最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
常见问题
能否只用在线模型，不部署本地推理框架？
本地模型运行还需要什么？
它能否构建 RAG 应用？
应用如何对外提供服务？
是否已经支持 MCP 服务发布？
谢谢反馈，我们会据此改进页面。