银河 AstraCache
面向大模型推理的共享 KV Cache 存储
霄云银河 AstraCache 是面向大模型推理场景的 KV Cache 存储产品。AstraCache 通过提供高速、极低延迟全闪存储扩展 KV Cache 容量，支持 KV Cache 的多推理实例复用，以及引擎重启、模型升级后依然可用，减少重复预填充计算，降低首 token 延迟与推理成本，提升推理系统整体服务吞吐能力。银河 AstraCache 已完成与 vLLM、SGLang 和 LMCache 的对接。
产品定位：推理时代的新命题
大模型推理阶段，注意力机制在处理每个 token 时会产生一组 Key/Value 结果，推理引擎把这些 KV 保留下来，后续生成每个 token 时可以反复使用这些 KV，这就是 KV Cache。当新请求与历史请求具有相同前缀时即可直接读回已保存的 KV Cache，跳过对应的预填充计算，从而缩短首 token 延迟，释放 GPU 算力以服务更多请求。长文档问答、多轮对话、重复使用长上下文的 Agent 应用，KV Cache 对算力成本的节省尤为重要。
但长上下文与高并发推理会持续推高 KV Cache 容量需求：
长上下文请求的 KV 随上下文长度线性增长，单条可达数 GB，高并发下热前缀总量达到 TB 级，可复用的 KV 远远超出显存与内存的容量。
多个推理实例需要复用同一批 KV，以避免各自重复计算、重复保存。
海量的 KV 需要在进程重启或模型升级后继续可复用。
仅通过推理系统的 GPU 显存和 CPU 内存缓存实例的 KV Cache，可保留的历史前缀有限，也难以在多个实例之间充分复用。银河 AstraCache 将 KV Cache 扩展到共享 SSD 存储，为长上下文、多轮交互和多副本部署提供更大的缓存空间。
系统架构：一份数据，全集群复用
银河 AstraCache 采用“引擎侧调度 + 外置共享存储”的架构。每台推理服务器上，vLLM、SGLang 等推理引擎负责请求调度与批处理；引擎侧缓存框架（LMCache 或原生 offloading）管理 KV 的分层与复用；本地层由 GPU 显存和 CPU 内存承接最热的 KV Cache。需要扩展容量、跨实例共享或跨重启保留的 KV Cache，则通过部署在推理服务器上的 AstraCache 用户态 SDK，经 RDMA 或 TCP 网络批量读写共享 SSD 存储池 —— 多台服务器共用同一份缓存，实现一次写入、全部实例复用。
vLLM、SGLang 等引擎负责请求排队、批处理调度与显存管理，是 KV 的生产者与消费者。
LMCache 或引擎原生 offloading 决定哪些前缀值得保留、何时下沉到外部存储层。
GPU 显存与 CPU 内存承接最热的数据，访问最快，但容量有限。
AstraCache SDK 部署在推理服务器上，按 key 批量读写；底层是跨服务器共享的 SSD 存储池，也是 KV 唯一可跨进程存活的一层。
产品功能与核心能力
适用的典型应用场景
前缀重复、上下文很长、实例多、进程会重启的推理负载场景，都是银河 AstraCache 的用武之地。
生态接入
银河 AstraCache 提供三条主流接入路径：
作为引擎的外部存储层，位于 CPU 主缓存层之后，异步保存与恢复 KV，无需经过 LMCache。
作为其 L2 存储插件，复用内存池与完成通知机制。
作为 HiCache 的动态存储后端，支持普通 KV 页及相应多内存池接口。
与独立分布式 KVCache 存储系统 Mooncake 的透明接入也在推进中。
产品价值
银河 AstraCache —— 让重复计算只发生一次。
