AIBrix

1. 调研缘由

将大模型推理从单个实例扩展到 Kubernetes 集群时，团队会同时遇到路由、伸缩、模型加载、缓存和硬件异常。AIBrix 的价值在于把这些问题拆成可组合的开源基础组件，而不只是另一个模型服务器。[S1]

2. 简介与产品工作流

AIBrix 是 vLLM Project 下的云原生 GenAI 推理基础设施。请求可经由 LLM Gateway 路由到合适模型和副本，自动伸缩器按负载调整容量，统一运行时负责指标和模型下载，分布式 KV cache 用于跨引擎复用。[S1]

3. 团队与时间背景

官方仓库把 2024 年 11 月的 v0.1.0 列为首个版本，后续持续更新。2026 年 6 月的 v0.7.0 发布又引入管理控制台、Batch API、多引擎集成和高可用网关增强，说明项目仍在近三年窗口内快速演进。[S1][S2]

4. 技术基础与生态位

AIBrix 包含网关与路由、面向 LLM 的自动伸缩、统一 AI Runtime、分布式推理、分布式 KV cache、异构 GPU serving 和 GPU 故障检测。它不替代 vLLM、SGLang 等引擎，而是给这些引擎增加集群控制面。[S1][S2]

5. 集成与部署路径

官方提供 Kubernetes manifests 和稳定版发布产物。小白式路径应是先在隔离集群部署依赖和核心组件，用一个模型验证网关与弹性，再逐步开启分布式 KV cache 和分离式推理，避免一次引入过多变量。[S1]

6. 公开评价与主要分歧

**正面价值：**组件化设计能把路由、容量和缓存统一到 Kubernetes 运维面。[S1] **主要分歧：**v0.7.0 官方对新控制台、Batch API 和部分资源管理功能明示了 preview 成熟度提示，接口可能继续变化，不宜未验证就承载核心流量。[S2]

7. 同类对比

与单机模型 serving 引擎相比，AIBrix 关注多副本、多节点和多租户的调度问题；与通用 Kubernetes ingress 和 HPA 相比，它更理解模型、token、KV cache 以及 prefill/decode 负载。代价是额外的 CRD、组件和升级面。[S1][S2]

8. 适用场景与验收

适合已有 Kubernetes、多模型或多副本推理，并且需要统一网关、弹性和缓存的平台团队。验收应比较引入前后的 TTFT、吞吐、尾延迟、GPU 利用率和单位请求成本，同时演练副本宕机、网关故障与容量突增。

9. 归纳洞察 ★

AIBrix 把大模型推理从“跑起一个引擎”推向“管理一个服务集群”。它最有价值的地方是让路由、弹性、缓存与故障处理共用运维视图；但若只有单模型小流量，引入这层控制面可能比直接部署更复杂。

10. 来源与更新时间

• 信息截至(as_of): 2026-08-13