霄云科技发布大模型推理缓存产品：银河AstraCache
霄云科技正式发布面向大模型推理的 KV Cache 存储产品——银河 AstraCache。产品通过共享全闪存储扩展 KV Cache 容量，支持多推理实例复用和跨重启保留，减少重复预填充计算，降低首 token 延迟与推理成本，提升整体吞吐。银河 AstraCache 已完成与 vLLM、SGLang 和 LMCache 的对接。
推理缓存新需求
大模型推理需要先对输入内容进行预填充计算，生成 KV Cache，再逐步生成回答。当新请求与历史请求具有相同前缀时，读取已保存的 KV Cache，即可跳过对应前缀的重复计算，缩短首 token 延迟，并释放 GPU 算力以服务更多请求。
长上下文与高并发推理持续推高 KV Cache 容量需求。当缓存仅保存在单个实例的显存和内存中时，可保留的历史前缀有限，也难以在多个实例之间充分复用。银河 AstraCache 将 KV Cache 扩展到共享 SSD 存储，为长上下文、多轮交互和多副本部署提供更大的缓存空间。
产品架构
银河 AstraCache 采用“引擎侧调度 + 外置共享存储”的架构。vLLM 原生 offloading、LMCache 和 SGLang HiCache 负责缓存分层与复用，GPU 显存和 CPU 内存承接最热的数据。需要扩展容量、跨实例共享或跨重启保留的 KV Cache，通过 AstraCache 用户态 SDK，经 RDMA 或 TCP 网络读写共享 SSD 存储池，实现一次写入、多实例复用。
AstraCache 系统架构：多台推理服务器共享 SSD KV Cache 存储
核心特性
AstraCache 采用 tenant / namespace / key 三层名字管理，支持名称修改，无需搬移底层数据，便于组织和管理共享缓存。
典型场景
从已测试的客户情况看，以下几类负载的收益最直接。
生态接入
银河 AstraCache 提供三条主流接入路径：vLLM 原生 KV Cache offloading、LMCache 存储插件，以及 SGLang HiCache 存储后端。推理引擎与缓存框架负责缓存调度和复用，银河 AstraCache 提供高性能共享存储。Mooncake 接入也在持续推进。
“长上下文和多实例部署，让 AstraCache 从单机资源变成需要统一管理和共享的基础设施。银河 AstraCache 让已经完成的计算得到更多复用，帮助客户把 GPU 算力用于新的推理任务。”
——霄云科技产品负责人
