Cache-to-Cache

让不同大模型绕过文本,以 KV 缓存直接交换语义。

源仓库
thu-nics/C2C
Star 数
★ 782
最近更新
24 天前
License
Apache-2.0
主语言
Python

30 秒速览

运行形态
代码库 / SDK命令行工具网页应用
可在哪里用
通用 · 跨平台
费用
免费,无需付费服务
上手难度
高 · 需要较重的基础设施
开始前需要
Python 3.10condaPyTorchTransformershuggingface_hub文档推理示例所需的 CUDA 运行环境Shell / 命令行网络访问本地文件系统
典型场景
研究多模型协作的团队,用 Qwen、Llama 等模型对测试 KV-Cache 通信与传统文本通信的差异。
不适合
  • 只需要标准文本消息传递的多智能体团队
  • 无法提供模型权重、检查点和推理算力的用户
  • 需要成熟多共享模型生产服务的团队
官网
fuvty.github.io ↗ 来自 GitHub 仓库设置
维护状态
近 30 天有提交最近提交 2026-10-28近 7 天每天 +0.9 ★

这个 Agent 能做什么,适合哪些场景?

Cache-to-Cache(C2C)是一个用于大语言模型间直接语义通信的 Python 项目,其主包名为 rosetta。它通过 C2CProjector 将共享模型的 KV-Cache 投影到接收模型的表示空间,再由 RosettaModel 将投影结果融合进生成过程,从而省去中间文本生成。项目提供可下载的预训练 Fuser、交互式聊天脚本、Gradio 演示、监督微调脚本和统一评测器;生成结果仍由接收模型输出为文本。训练时只更新投影器参数,源模型与目标模型保持冻结,并支持通过配置加入自定义投影器、数据集和评测任务。官方给出的实验结论是:相对单模型准确率提高 8.5–10.5%,相对文本通信性能提高 3.0–5.0%,延迟获得 2.0 倍加速。它适合具备本地模型和 GPU 推理条件、希望研究或集成模型级隐状态通信的团队,而不是可直接接入 ChatGPT、Claude 或通用智能体协议的成品服务。

完整流程从加载接收模型和共享模型开始:AutoModelForCausalLM 或 load_rosetta_model 读取模型,C2CProjector 按层转换共享模型的 KV-Cache,RosettaModel.set_projector_config 建立源层、目标层和投影器之间的映射。调用 RosettaModel.generate 时,kv_cache_index 指定序列中的哪些位置应用哪个共享模型的缓存投影;接收模型融合这些表示后生成最终文本。预训练路径可通过 huggingface_hub.snapshot_download 获取 nics-efc/C2C_Fuser 中的检查点;script/playground/live_chat_example.py 支持单个或多个共享模型。训练由 script/train/SFT_train.py 读取 recipe/train_recipe/ 中的配置,只优化投影器;评测由 script/evaluation/unified_evaluator.py 读取 recipe/eval_recipe/ 中的配置并计算数据集指标。项目还提供 script/playground/gradio_demo.py,并公布了一个独立的 Hugging Face 在线演示。

  1. 研究多模型协作的团队,用 Qwen、Llama 等模型对测试 KV-Cache 通信与传统文本通信的差异。
  2. 已有本地 Hugging Face 因果语言模型的工程师,为指定接收模型和共享模型训练专用 C2C Fuser。
  3. 需要复现实验的研究人员,使用训练配方和 unified_evaluator.py 在自有数据集或基准上测量效果。
  4. 原型开发者通过 live_chat_example.py 展示单共享模型或多共享模型共同影响接收模型回答。
  5. 模型架构研究者实现新的 Projector、数据适配器或评测逻辑,并通过项目注册与配置机制接入。

安装与配置要点

摘自下方的安装和使用说明,以项目 README 的最新说明为准。

安装 / 启动命令
  • pip install -e
  • pip install -e ".[training,evaluation]"
配置文件
0.5.json recipe/eval_recipe/unified_eval.yaml
运行环境
Python 3.10

如何安装或部署这个 Agent?

创建项目指定的 Python 3.10 环境并以可编辑模式安装核心包:

conda create -n rosetta python=3.10
conda activate rosetta
pip install -e .

训练和评测需要额外依赖:

pip install -e ".[training,evaluation]"

官方推理示例明确选择 torch.device("cuda"),因此照搬该示例需要可用的 CUDA 环境。下载已发布 Fuser 时还需要网络访问 Hugging Face;示例没有声明必须配置 API 密钥。

如何使用这个 Agent?

最短的已发布权重用法是下载 Fuser、加载 RosettaModel,再用 kv_cache_index 指示何时注入共享模型缓存:

import torch
from huggingface_hub import snapshot_download
from script.playground.inference_example import load_rosetta_model, run_inference_example

checkpoint_dir = snapshot_download(
    repo_id="nics-efc/C2C_Fuser",
    allow_patterns=["qwen3_0.6b+qwen2.5_0.5b_Fuser/*"],
)

model_config = {
    "rosetta_config": {
        "base_model": "Qwen/Qwen3-0.6B",
        "teacher_model": "Qwen/Qwen2.5-0.5B-Instruct",
        "checkpoints_dir": f"{checkpoint_dir}/qwen3_0.6b+qwen2.5_0.5b_Fuser/final",
    }
}

rosetta_model, tokenizer = load_rosetta_model(model_config, eval_config={}, device=torch.device("cuda"))
device = rosetta_model.device

prompt = [{"role": "user", "content": "Say hello in one short sentence."}]
input_text = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(input_text, return_tensors="pt").to(device)

instruction_index = torch.tensor([1, 0], dtype=torch.long).repeat(inputs['input_ids'].shape[1] - 1, 1).unsqueeze(0).to(device)
label_index = torch.tensor([-1, 0], dtype=torch.long).repeat(1, 1).unsqueeze(0).to(device)
kv_cache_index = [instruction_index, label_index]

with torch.no_grad():
    sampling_params = {
        'do_sample': False,
        'max_new_tokens': 256
    }
    outputs = rosetta_model.generate(**inputs, kv_cache_index=kv_cache_index, **sampling_params)
    output_text = tokenizer.decode(outputs[0, instruction_index.shape[1] + 1:], skip_special_tokens=True)
    print(f"C2C output text: {output_text}")

已有检查点也可用于交互聊天;多共享模型模式传入多个检查点路径:

python script/playground/live_chat_example.py --checkpoint_dir path/to/checkpoint
python script/playground/live_chat_example.py --checkpoint_dir path/to/ckpt1 path/to/ckpt2

训练与评测分别使用项目提供的配置配方:

python script/train/SFT_train.py --config recipe/train_recipe/C2C_0.6+0.5.json
python script/evaluation/unified_evaluator.py --config recipe/eval_recipe/unified_eval.yaml

这个 Agent 有哪些优点和局限?

优点
  • 绕过中间文本生成,直接投影并融合 KV-Cache;这是相对传统文本式模型通信的核心差异。
  • 提供七组 Qwen/Llama 接收者与共享者的预训练 Fuser,同时支持不同隐藏维度、层数、注意力头和分词器。
  • 训练只更新 C2C 投影器,源模型和目标模型保持冻结,减少了修改基础模型的范围。
  • 覆盖推理、交互聊天、Gradio 演示、单机或多 GPU 训练及统一评测,并开放投影器、数据集和基准扩展点。
局限
  • 已发布检查点仅覆盖列出的 Qwen 与 Llama 模型组合;其他组合需要自行配置并训练投影器。
  • 示例依赖本地加载多个模型、检查点和 CUDA 推理,部署成本明显高于简单的文本 API 编排。
  • 多共享模型支持被明确标为初步阶段,相关接口和生产可靠性仍可能变化。
  • 仓库只预告未来提供 agent-managed KV-Cache 及其服务系统,当前材料没有给出完整生产服务部署方案。
  • 没有文档证明其原生集成 ChatGPT、Codex、Claude、OpenAI API、Claude API 或 MCP。

这个 Agent 与同类方案有什么区别?

与文本式模型通信相比,C2C 不先把共享模型的知识解码为文本,而是把其 KV-Cache 投影并融合到接收模型中。项目报告其性能比文本通信高 3.0–5.0%,延迟加速 2.0 倍;相对单模型准确率高 8.5–10.5%。这些数字是项目给出的总体结果,材料没有列出逐模型、逐数据集的明细,也没有与其他具名框架进行比较。

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
Cache-to-Cache 当前 39 · 缺口较多 代码库 / SDK免费 ★ 782 24 天前 Python —
JARVIS / HuggingGPT 42 · 缺口较多 自托管服务免费 + 模型费 ★ 26k 1 年前 Python OpenAI API
γ-World 多智能体世界模型 38 · 缺口较多 — ★ 579 5 个月前 Python —
AgileRL 强化学习库 62 · 存在缺口 代码库 / SDK免费版 + 付费版 ★ 970 今天 Python —

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
缺口较多
39/ 100 五分制 2.0 / 5
信任安全 7/29
可靠稳定 5/14
适用触发 9/18
规范维护 8/18
有效结果 7/13
证据核验 3/8
查看各维度的扣分理由
信任安全7 / 29 · 1.2/5

提供本地模型加载、训练和评估示例,但未说明模型或输入数据的处理边界、敏感数据措施或执行前确认流程,因此这些项目仅获有限分;依赖有固定版本,但缺少安全审计证据。GitHub Actions 工作流获 contents:write 权限,并可在 push 后自动提交并推送路径改写,没有审批或回滚说明,故外部影响和恢复能力得分为零。README 引用论文、项目页及模型资源,来源归属有一定支持,但发布者身份仍未知。

可靠稳定5 / 14 · 1.8/5

README、项目元数据与许可证存在明显不一致:README 名称为 C2C,包元数据及仓库链接仍称 unified_memory,元数据声明 MIT 而提供的 LICENSE 是 Apache-2.0。依赖版本固定且提供可选依赖组,但缺少故障处理或错误信息说明。

适用触发9 / 18 · 2.5/5

README 面向开发者和研究人员,覆盖推理、聊天、训练、评估及添加组件,并给出调用示例,适用场景较清楚。它声称支持任意模型对,但没有在提供材料中界定兼容限制;环境说明主要覆盖 Python 3.10、CUDA 示例及基础安装,适配信息不完整。

规范维护8 / 18 · 2.2/5

代码结构、安装步骤、配置位置、多个示例及支持的模型对均有说明,信息组织较好。多 sharer 功能被明确标为初步阶段,但其他已知限制较少。LICENSE 文件为 Apache-2.0,与 pyproject 中 MIT 声明冲突;项目版本为 0.1.0,但包主页、文档链接仍是占位或旧项目名称。News 提供部分更新记录,维护者与支持责任没有明确说明。

有效结果7 / 13 · 2.7/5

项目说明了通过 KV cache 在模型间传递语义,并提供预训练 fuser、示例和训练评估流程,展示了可直接使用的功能。性能和准确率收益仅由 README 声称,提供材料中没有佐证;双模型及 projector 的资源成本也未量化,因此效益和成本判断仅能给部分分。

证据核验3 / 8 · 1.9/5

README 提供论文引用、模型配对清单和配置示例,但关键准确率、延迟及速度提升没有在给定材料中提供可核对的实验细节。README、pyproject 和 LICENSE 之间存在名称与许可证冲突,无法形成充分交叉印证。性能数字以宣传性陈述呈现,缺少明确的证据与推断区分。

风险与缓解建议
  • 源码中未见:敏感信息处理使用专用、低权限、可随时吊销的 API 密钥,不要复用生产凭据,也不要让密钥出现在日志里。
  • 源码中未见:外部影响披露先弄清它会写入、发送或修改哪些外部系统,用测试账号或测试仓库验证后再接入正式环境。
  • 源码中未见:回滚或恢复路径运行前先备份,或在 git 分支、快照上操作,确保改动可以撤销。
  • 许可证信息冲突:仓库 LICENSE 为 Apache-2.0,pyproject.toml 却声明 MIT;核实许可证前不要假定两者等同。
  • GitHub Actions 工作流可在 push 后以 contents:write 权限自动提交并推送改写,使用时应审阅该自动写入行为及其权限。
  • 准确率和速度提升是 README 中的陈述;本静态材料没有提供支持这些数字的实验细节。
证据充分度:低 评估于 2026年11月8日 审查版本 5eac72b90faf
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/c2c.svg?lang=zh)](https://followagents.com/zh/agents/c2c)
<a href="https://followagents.com/zh/agents/c2c"><img src="https://followagents.com/badge/c2c.svg?lang=zh" alt="FARS 评测"></a>

常见问题

能否直接用于任意两个语言模型?
框架声明支持任意模型对,并处理隐藏维度、层数、注意力头和分词器差异;但只有列出的七组模型对提供预训练 Fuser,其他组合通常需要自行配置和训练投影器。
训练会修改基础模型权重吗?
不会。文档说明训练期间源模型和目标模型都被冻结,只更新 C2C 投影器参数。
是否必须使用 Hugging Face 在线服务?
核心形态是本地 Python 库。官方示例通过 Hugging Face 下载模型与 Fuser,因此首次获取这些文件需要网络;材料没有说明下载后推理必须调用托管 API。
多共享模型支持是否适合直接投入生产?
仓库已提供向单个接收模型融合多个共享模型缓存的聊天示例,但明确称该功能仍处于初步阶段并在持续开发。
项目是否提供完整的长期运行服务?
当前材料提供库、脚本、Gradio 演示和在线演示,但 agent-managed KV-Cache 及相应服务系统仍属于预告功能。
Cache-to-Cache 官网是什么?
Cache-to-Cache 的 GitHub 仓库填写的官网是 https://fuvty.github.io/thinking_yard_project_page/projects/c2c/。这个链接由仓库作者设置;源码在 GitHub(thu-nics/C2C)。
Cache-to-Cache 免费吗?
免费。Cache-to-Cache 可以免费使用,不需要付费服务。
Cache-to-Cache 开源吗?
开源。源码在 GitHub(thu-nics/C2C),许可证是 Apache-2.0。
Cache-to-Cache 安全吗?
FollowAgents 的 FARS 评审(2026年11月8日)给 Cache-to-Cache 的“信任与安全”打了 7/29 分。评审没有在源码和文档里找到这些安全措施:敏感信息处理、外部影响披露、回滚或恢复路径。接入真实账号或数据前:使用专用、低权限、可随时吊销的 API 密钥,不要复用生产凭据,也不要让密钥出现在日志里。
Cache-to-Cache 还在维护吗?
在维护。GitHub 上最近一次提交是 2026-10-28,在最近 30 天内。
Cache-to-Cache 是谁开发的?
Cache-to-Cache 由 GitHub 账号 thu-nics 发布。FollowAgents 没有核实这个账号背后是哪个人或公司。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓

相关核心概念