LLMSlim 上下文与记忆工具
在本地按令牌预算压缩上下文并检索长期记忆,无需默认调用 LLM。
- Star 数
- ★ 21
- 最近更新
- 今天
- License
- MIT
- 主语言
- Python
- FA 评分
- 70/100 · 存在缺口
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台Codex · Claude CodeOpenAI API · Claude API(部分支持)
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 希望让 Claude Code、Codex 或其他 MCP 客户端跨会话回忆用户事实的开发者,可用本地 SQLite 记忆服务器。
- 不适合
- 需要语义检索但不能安装可选重排模型的团队
- 要求压缩绝不丢失所需事实的场景
- 源码审查
- 70/100 · 存在缺口
这个 Agent 能做什么,适合哪些场景?
LLMSlim Core 是一个 MIT 许可的 Python 库,提供上下文压缩、规划和长期记忆检索。它也可通过 llmslim mcp 作为 MCP 服务器运行,或通过 llmslim serve 提供 HTTP API。记忆内容按原文写入 SQLite 或 Postgres,查询时由确定性代码在预算内选出相关消息;默认流程不调用模型。库支持 Python 3.9 及以上,MCP 服务器要求 Python 3.10 及以上;TypeScript 客户端连接本地 HTTP 服务。可选语义重排和外部模型集成会增加依赖,改写模式也会使用调用方提供的 LLM。
使用 Memory.add 将消息原文写入 SQLite 或 Postgres,并用 Memory.search 按问题和令牌预算返回匹配消息;MCP 服务器提供 remember、recall、list_memories、forget 和 fit_context 工具。compress、compress_documents 和 compress_chat_messages 可压缩文本、检索文档及对话消息;plan_context 与 ContextRuntime 可规划模型可见上下文并生成解释性本地轨迹。用户也可运行 llmslim wrap claude,在 Claude Code 前使用本地代理压缩部分命令输出。默认抽取式压缩只保留输入中的句子,可能丢弃需要的信息;语义重排、改写及供应商调用需要相应可选依赖或由应用显式发起。
- 希望让 Claude Code、Codex 或其他 MCP 客户端跨会话回忆用户事实的开发者,可用本地 SQLite 记忆服务器。
- 在构建 RAG 应用且需要控制检索上下文令牌预算的工程师,可用
compress_documents或框架适配器压缩文档。 - 需要将长对话历史装入模型上下文的应用开发者,可用
compress_chat_messages或相应 agent 历史适配器。 - 希望在 Python 应用中规划多来源上下文并查看选择原因的团队,可用
plan_context或ContextRuntime。 - 使用 Claude Code 且反复传入长测试或构建日志的开发者,可尝试本地代理
llmslim wrap claude,并评估其已公布的成本测量结果。
如何安装或部署这个 Agent?
MCP 服务可用 uvx 安装并启动;它需要 Python 3.10 或更高版本。Python 库支持 Python 3.9 或更高版本。HTTP 服务和 TypeScript 客户端需分别安装对应组件。
claude mcp add llmslim -- uvx --from "llmslim[mcp]" llmslim mcppip install llmslimpip install "llmslim[server]"
npm install llmslim如何使用这个 Agent?
在 MCP 客户端中启动 llmslim mcp 后,可通过五个记忆与上下文工具操作;服务器默认使用本地 SQLite 文件 ~/.llmslim/memory.db。Python 代码可添加原始消息并以问题和预算检索上下文。若使用 Claude Code 本地代理,先安装 proxy 可选依赖,再通过包装命令启动。
from llmslim.memory import Memory
mem = Memory("memory.db")
mem.add([{"role": "user", "content": "I'm allergic to peanuts."}], user_id="asha")
context = mem.search("Am I allergic to anything?", user_id="asha", budget=1500)
print(context.text)pip install "llmslim[proxy]"
llmslim wrap claude
llmslim proxy stats这个 Agent 有哪些优点和局限?
- 默认记忆写入和检索不调用 LLM 或嵌入 API,且服务器默认把数据存入本地 SQLite。
- MCP 提供明确的记忆范围配置;用户和 agent ID 在服务器启动时固定,模型不能自行切换到其他用户范围。
- 同一核心还提供 Python、HTTP 和 TypeScript 路径,并有 LangChain、LlamaIndex、Haystack 等可选适配器。
- 默认抽取式压缩只选取原文句子,输出可重复,便于检查和测试。
- 默认词汇匹配可能漏掉措辞不同的问题;语义检索需要可选重排器及其首次下载的模型。
- 抽取式压缩可能丢弃关键句,文档建议针对具体用例检查结果。
- MCP 快速安装需要 uv 和 Python 3.10 或更高版本;其他集成也可能需要额外依赖。
- 供应商改写或模型推理不由 LLMSlim 默认执行,应用必须自行提供 SDK、凭证并发起请求。
这个 Agent 与同类方案有什么区别?
README 将 LLMSlim 与 Mem0、Zep、LongLLMLingua、LLMLingua-2 及检索基线进行了基准比较,并公布准确率和端到端成本。结果随数据集、预算及是否使用重排器而变化;文档也指出,默认词汇模式在 NaturalQuestions 上低于纯重排检索基线,长记忆评测中的稠密检索也有领先结果。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| LLMSlim 上下文与记忆工具 当前 | 70 · 存在缺口 | MCP 服务器免费 + 模型费 | ★ 21 | 今天 | Python | Codex · Claude Code |
| LeanCTX 上下文智能层 | 75 · 表现良好 | 命令行工具免费 + 模型费 | ★ 3.9k | 今天 | Rust | Codex · Claude Code · OpenAI API · Claude API |
| Entroly | 68 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 479 | 6 天前 | Python | Codex · Claude Code · OpenAI API · Claude API |
| Remnic 智能体记忆 | 85 · 表现良好 | 命令行工具免费 + 模型费 | ★ 229 | 1 天前 | TypeScript | ChatGPT · Codex · Claude Code · OpenAI API |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
安全文档说明了固定作用域、来源降权、凭据脱敏、边界限制及工具不执行等控制,也明确要求宿主负责认证和授权,因此最小权限与数据流透明度有较强依据。未充分说明 forget 等删除操作是否需用户确认,也没有通用恢复流程;依赖版本多采用宽松下限,缺少本材料中的依赖审计证据。发布者身份未知,不据此加减分;作者信息和安全报告渠道提供了部分归属依据。
CI 配置覆盖多平台、多个 Python 版本、打包和集成检查,且文档给出失败关闭与错误处理行为。README 对 Python 版本有基础安装与 MCP 额外项的区分,但内容中混有多个产品阶段和版本叙述,容易使当前能力边界不够清晰;依赖可选拆分较好,但未证明所有外部服务或可选依赖始终可用。
材料面向开发者,列出 MCP、Python、HTTP、TypeScript 和多个框架集成及实际场景。安全边界和部分实验功能有说明,但产品功能与版本阶段繁多,触发条件和适用范围仍需读者从各节拼合。安装方式覆盖多种环境,并写明 Python、Node、网络下载及可选扩展要求。
README 有目录式分区、安装说明、可运行示例、FAQ 式限制说明,另有安全策略、分阶段安全文档、许可证和发布工作流。版本与变更记录可追踪;但仓库同时呈现 Core、Platform、历史阶段和多版本描述,名称及当前维护支持状态仍有一定解释成本。作者与安全联系渠道明确,维护责任和支持版本有所说明,但发布者 provenance 未验证。
记忆检索、上下文压缩和预算规划有清楚的输入输出示例,能把结果交给宿主模型或应用使用;本地处理和可选集成体现了潜在价值。材料同时强调词面检索可能漏召回、抽取压缩可能丢失事实,且质量与收益数字主要由仓库自身陈述,缺少本次静态审查可独立确认的适用效果,因此未给满分。
功能、安全主张在 README、威胁模型、配置和 CI 文件之间有一定对应,版本、依赖、测试流程可追踪。测试徽章与覆盖率数字属于仓库陈述,本评估未执行验证;不同文档的产品阶段和版本叙述并存,且部分收益主张依赖基准或外部链接,故交叉印证和事实/推断区分仅评为充分但非全面。
- 删除记忆前应确认目标用户和范围,并为需要恢复的部署安排数据库备份;材料未说明通用删除回滚机制。
- 检索与压缩会漏掉相关事实,且安全文档明确指出来源标记不是提示注入防护或授权机制;宿主仍须自行认证来源、限制工具权限并验证输出。
- README 汇集多个产品阶段和版本信息;部署前应核对所选安装额外项、运行时要求和目标版本。
常见问题
默认使用是否需要 API 密钥或付费模型?
记忆是否会自动总结或抽取事实?
默认检索能处理同义表达吗?
relevance="semantic" 使用语义重排,但需要安装额外依赖并在首次使用时下载模型。