推理

LLM Serving、KV Cache、调度与推理优化项目

推理引擎

项目	简介	参考资料
vllm-project/vllm	高吞吐、显存高效的 LLM 推理与 Serving 引擎，提供 PagedAttention、连续批处理、分布式推理以及 OpenAI 兼容服务接口。	官方文档
sgl-project/sglang	面向语言模型和多模态模型的高性能推理框架，覆盖 RadixAttention、结构化输出、推测解码和分布式 Serving。	官方文档
NVIDIA/TensorRT-LLM	面向 NVIDIA GPU 的 LLM 推理引擎，提供优化 Kernel、量化、In-flight Batching 以及多 GPU、多节点推理能力。	官方文档

推理平台

项目	简介	参考资料
ai-dynamo/dynamo	面向数据中心级 GPU 集群的分布式推理框架，负责请求路由、Prefill-Decode 分离、Worker 编排和跨节点推理。	官方文档
llm-d/llm-d	Kubernetes 原生的分布式 LLM 推理栈，围绕推理引擎提供智能路由、Prefill-Decode 分离、KV Cache 感知调度和集群部署能力。	官方网站
volcano-sh/kthena	Kubernetes 原生 AI Serving 平台，通过声明式资源管理模型服务，并提供推理路由、资源调度与多节点部署能力。	官方文档
ome-projects/ome	面向 LLM Serving 的 Kubernetes Operator，管理模型生命周期、Serving Runtime、服务部署和 GPU 调度，支持 SGLang、vLLM、TensorRT-LLM 与 Triton。	官方文档

KV Cache

项目	简介	参考资料
LMCache/LMCache	面向 LLM 推理的 KV Cache 管理层，可将缓存卸载到 CPU、磁盘或远程存储，并在请求和 Serving 实例之间持久化与复用，减少重复 Prefill 计算并降低首 Token 延迟。	官方文档
taco-project/FlexKV	面向大规模 LLM 推理的分布式 KV Cache 系统，提供 CPU、SSD、分布式存储三级缓存、跨节点复用和异步预取，已集成 vLLM、SGLang、TensorRT-LLM 与 Dynamo。	使用文档
kvcache-ai/Mooncake	提供高性能 Transfer Engine 和分布式 Mooncake Store，更偏向 KV Cache 的传输与存储底座；既可独立使用，也可作为 LMCache 后端。	官方文档
SGLang HiCache	SGLang 内置的分层 KV Cache 系统，在 GPU、CPU 与分布式存储之间缓存和复用 KV 数据，扩展可用缓存容量并减少重复 Prefill。	官方文档