Kubernetes

Envoy AI Gateway 在 Kubernetes 与 Envoy Gateway 之上统一连接多种模型服务，为生成式 AI 请求提供路由、认证、策略和可观测能力。

面向 Kubernetes 集群的 vLLM 生产参考实现，组合推理引擎、请求路由和可观测组件。