Cache-to-Cache
让不同大模型绕过文本,以 KV 缓存直接交换语义。
- 源仓库
- thu-nics/C2C
- Star 数
- ★ 782
- 最近更新
- 24 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 39/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 免费,无需付费服务
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 研究多模型协作的团队,用 Qwen、Llama 等模型对测试 KV-Cache 通信与传统文本通信的差异。
- 不适合
- 只需要标准文本消息传递的多智能体团队
- 无法提供模型权重、检查点和推理算力的用户
- 需要成熟多共享模型生产服务的团队
- 官网
- fuvty.github.io ↗ 来自 GitHub 仓库设置
- 维护状态
- 近 30 天有提交最近提交 2026-10-28近 7 天每天 +0.9 ★
这个 Agent 能做什么,适合哪些场景?
Cache-to-Cache(C2C)是一个用于大语言模型间直接语义通信的 Python 项目,其主包名为 rosetta。它通过 C2CProjector 将共享模型的 KV-Cache 投影到接收模型的表示空间,再由 RosettaModel 将投影结果融合进生成过程,从而省去中间文本生成。项目提供可下载的预训练 Fuser、交互式聊天脚本、Gradio 演示、监督微调脚本和统一评测器;生成结果仍由接收模型输出为文本。训练时只更新投影器参数,源模型与目标模型保持冻结,并支持通过配置加入自定义投影器、数据集和评测任务。官方给出的实验结论是:相对单模型准确率提高 8.5–10.5%,相对文本通信性能提高 3.0–5.0%,延迟获得 2.0 倍加速。它适合具备本地模型和 GPU 推理条件、希望研究或集成模型级隐状态通信的团队,而不是可直接接入 ChatGPT、Claude 或通用智能体协议的成品服务。
完整流程从加载接收模型和共享模型开始:AutoModelForCausalLM 或 load_rosetta_model 读取模型,C2CProjector 按层转换共享模型的 KV-Cache,RosettaModel.set_projector_config 建立源层、目标层和投影器之间的映射。调用 RosettaModel.generate 时,kv_cache_index 指定序列中的哪些位置应用哪个共享模型的缓存投影;接收模型融合这些表示后生成最终文本。预训练路径可通过 huggingface_hub.snapshot_download 获取 nics-efc/C2C_Fuser 中的检查点;script/playground/live_chat_example.py 支持单个或多个共享模型。训练由 script/train/SFT_train.py 读取 recipe/train_recipe/ 中的配置,只优化投影器;评测由 script/evaluation/unified_evaluator.py 读取 recipe/eval_recipe/ 中的配置并计算数据集指标。项目还提供 script/playground/gradio_demo.py,并公布了一个独立的 Hugging Face 在线演示。
- 研究多模型协作的团队,用 Qwen、Llama 等模型对测试 KV-Cache 通信与传统文本通信的差异。
- 已有本地 Hugging Face 因果语言模型的工程师,为指定接收模型和共享模型训练专用 C2C Fuser。
- 需要复现实验的研究人员,使用训练配方和
unified_evaluator.py在自有数据集或基准上测量效果。 - 原型开发者通过
live_chat_example.py展示单共享模型或多共享模型共同影响接收模型回答。 - 模型架构研究者实现新的
Projector、数据适配器或评测逻辑,并通过项目注册与配置机制接入。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
pip install -epip install -e ".[training,evaluation]"
- 配置文件
0.5.jsonrecipe/eval_recipe/unified_eval.yaml- 运行环境
- Python 3.10
如何安装或部署这个 Agent?
创建项目指定的 Python 3.10 环境并以可编辑模式安装核心包:
conda create -n rosetta python=3.10
conda activate rosetta
pip install -e .训练和评测需要额外依赖:
pip install -e ".[training,evaluation]"官方推理示例明确选择 torch.device("cuda"),因此照搬该示例需要可用的 CUDA 环境。下载已发布 Fuser 时还需要网络访问 Hugging Face;示例没有声明必须配置 API 密钥。
如何使用这个 Agent?
最短的已发布权重用法是下载 Fuser、加载 RosettaModel,再用 kv_cache_index 指示何时注入共享模型缓存:
import torch
from huggingface_hub import snapshot_download
from script.playground.inference_example import load_rosetta_model, run_inference_example
checkpoint_dir = snapshot_download(
repo_id="nics-efc/C2C_Fuser",
allow_patterns=["qwen3_0.6b+qwen2.5_0.5b_Fuser/*"],
)
model_config = {
"rosetta_config": {
"base_model": "Qwen/Qwen3-0.6B",
"teacher_model": "Qwen/Qwen2.5-0.5B-Instruct",
"checkpoints_dir": f"{checkpoint_dir}/qwen3_0.6b+qwen2.5_0.5b_Fuser/final",
}
}
rosetta_model, tokenizer = load_rosetta_model(model_config, eval_config={}, device=torch.device("cuda"))
device = rosetta_model.device
prompt = [{"role": "user", "content": "Say hello in one short sentence."}]
input_text = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(input_text, return_tensors="pt").to(device)
instruction_index = torch.tensor([1, 0], dtype=torch.long).repeat(inputs['input_ids'].shape[1] - 1, 1).unsqueeze(0).to(device)
label_index = torch.tensor([-1, 0], dtype=torch.long).repeat(1, 1).unsqueeze(0).to(device)
kv_cache_index = [instruction_index, label_index]
with torch.no_grad():
sampling_params = {
'do_sample': False,
'max_new_tokens': 256
}
outputs = rosetta_model.generate(**inputs, kv_cache_index=kv_cache_index, **sampling_params)
output_text = tokenizer.decode(outputs[0, instruction_index.shape[1] + 1:], skip_special_tokens=True)
print(f"C2C output text: {output_text}")已有检查点也可用于交互聊天;多共享模型模式传入多个检查点路径:
python script/playground/live_chat_example.py --checkpoint_dir path/to/checkpointpython script/playground/live_chat_example.py --checkpoint_dir path/to/ckpt1 path/to/ckpt2训练与评测分别使用项目提供的配置配方:
python script/train/SFT_train.py --config recipe/train_recipe/C2C_0.6+0.5.jsonpython script/evaluation/unified_evaluator.py --config recipe/eval_recipe/unified_eval.yaml这个 Agent 有哪些优点和局限?
- 绕过中间文本生成,直接投影并融合 KV-Cache;这是相对传统文本式模型通信的核心差异。
- 提供七组 Qwen/Llama 接收者与共享者的预训练 Fuser,同时支持不同隐藏维度、层数、注意力头和分词器。
- 训练只更新 C2C 投影器,源模型和目标模型保持冻结,减少了修改基础模型的范围。
- 覆盖推理、交互聊天、Gradio 演示、单机或多 GPU 训练及统一评测,并开放投影器、数据集和基准扩展点。
- 已发布检查点仅覆盖列出的 Qwen 与 Llama 模型组合;其他组合需要自行配置并训练投影器。
- 示例依赖本地加载多个模型、检查点和 CUDA 推理,部署成本明显高于简单的文本 API 编排。
- 多共享模型支持被明确标为初步阶段,相关接口和生产可靠性仍可能变化。
- 仓库只预告未来提供 agent-managed KV-Cache 及其服务系统,当前材料没有给出完整生产服务部署方案。
- 没有文档证明其原生集成 ChatGPT、Codex、Claude、OpenAI API、Claude API 或 MCP。
这个 Agent 与同类方案有什么区别?
与文本式模型通信相比,C2C 不先把共享模型的知识解码为文本,而是把其 KV-Cache 投影并融合到接收模型中。项目报告其性能比文本通信高 3.0–5.0%,延迟加速 2.0 倍;相对单模型准确率高 8.5–10.5%。这些数字是项目给出的总体结果,材料没有列出逐模型、逐数据集的明细,也没有与其他具名框架进行比较。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Cache-to-Cache 当前 | 39 · 缺口较多 | 代码库 / SDK免费 | ★ 782 | 24 天前 | Python | — |
| JARVIS / HuggingGPT | 42 · 缺口较多 | 自托管服务免费 + 模型费 | ★ 26k | 1 年前 | Python | OpenAI API |
| γ-World 多智能体世界模型 | 38 · 缺口较多 | — | ★ 579 | 5 个月前 | Python | — |
| AgileRL 强化学习库 | 62 · 存在缺口 | 代码库 / SDK免费版 + 付费版 | ★ 970 | 今天 | Python | — |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
提供本地模型加载、训练和评估示例,但未说明模型或输入数据的处理边界、敏感数据措施或执行前确认流程,因此这些项目仅获有限分;依赖有固定版本,但缺少安全审计证据。GitHub Actions 工作流获 contents:write 权限,并可在 push 后自动提交并推送路径改写,没有审批或回滚说明,故外部影响和恢复能力得分为零。README 引用论文、项目页及模型资源,来源归属有一定支持,但发布者身份仍未知。
README、项目元数据与许可证存在明显不一致:README 名称为 C2C,包元数据及仓库链接仍称 unified_memory,元数据声明 MIT 而提供的 LICENSE 是 Apache-2.0。依赖版本固定且提供可选依赖组,但缺少故障处理或错误信息说明。
README 面向开发者和研究人员,覆盖推理、聊天、训练、评估及添加组件,并给出调用示例,适用场景较清楚。它声称支持任意模型对,但没有在提供材料中界定兼容限制;环境说明主要覆盖 Python 3.10、CUDA 示例及基础安装,适配信息不完整。
代码结构、安装步骤、配置位置、多个示例及支持的模型对均有说明,信息组织较好。多 sharer 功能被明确标为初步阶段,但其他已知限制较少。LICENSE 文件为 Apache-2.0,与 pyproject 中 MIT 声明冲突;项目版本为 0.1.0,但包主页、文档链接仍是占位或旧项目名称。News 提供部分更新记录,维护者与支持责任没有明确说明。
项目说明了通过 KV cache 在模型间传递语义,并提供预训练 fuser、示例和训练评估流程,展示了可直接使用的功能。性能和准确率收益仅由 README 声称,提供材料中没有佐证;双模型及 projector 的资源成本也未量化,因此效益和成本判断仅能给部分分。
README 提供论文引用、模型配对清单和配置示例,但关键准确率、延迟及速度提升没有在给定材料中提供可核对的实验细节。README、pyproject 和 LICENSE 之间存在名称与许可证冲突,无法形成充分交叉印证。性能数字以宣传性陈述呈现,缺少明确的证据与推断区分。
- 源码中未见:敏感信息处理使用专用、低权限、可随时吊销的 API 密钥,不要复用生产凭据,也不要让密钥出现在日志里。
- 源码中未见:外部影响披露先弄清它会写入、发送或修改哪些外部系统,用测试账号或测试仓库验证后再接入正式环境。
- 源码中未见:回滚或恢复路径运行前先备份,或在 git 分支、快照上操作,确保改动可以撤销。
- 许可证信息冲突:仓库 LICENSE 为 Apache-2.0,pyproject.toml 却声明 MIT;核实许可证前不要假定两者等同。
- GitHub Actions 工作流可在 push 后以 contents:write 权限自动提交并推送改写,使用时应审阅该自动写入行为及其权限。
- 准确率和速度提升是 README 中的陈述;本静态材料没有提供支持这些数字的实验细节。
常见问题
能否直接用于任意两个语言模型?
训练会修改基础模型权重吗?
是否必须使用 Hugging Face 在线服务?
多共享模型支持是否适合直接投入生产?
项目是否提供完整的长期运行服务?
Cache-to-Cache 官网是什么?
Cache-to-Cache 免费吗?
Cache-to-Cache 开源吗?
Cache-to-Cache 安全吗?
Cache-to-Cache 还在维护吗?
Cache-to-Cache 是谁开发的?
谢谢反馈,我们会据此改进页面。