Envoy AI Gateway：基于 Envoy Gateway 的生成式 AI 流量治理层
Envoy AI Gateway 在 Kubernetes 与 Envoy Gateway 之上统一连接多种模型服务，为生成式 AI 请求提供路由、认证、策略和可观测能力。
Envoy AI Gateway ai-gateway ai-infrastructure Kubernetes open-source Envoy AI Gateway 在 Kubernetes 与 Envoy Gateway 之上统一连接多种模型服务，为生成式 AI 请求提供路由、认证、策略和可观测能力。
1. 项目定位
Envoy AI Gateway 是构建在 Envoy Gateway 之上的开源 AI 流量治理项目。官方在 2024 年 10 月 18 日介绍这项由 Tetrate 与 Bloomberg 发起的协作，目标是把 AI 流量能力带入 Envoy 社区。[S1]
2. 核心能力
它在应用与模型提供方之间提供统一入口，用路由资源描述后端和请求处理方式。入门文档覆盖安装、基础配置、首个请求，并提供连接 OpenAI、AWS Bedrock 等提供方的路径，可减少客户端重复实现认证与适配。[S2]
3. 工作方式
典型部署以 Kubernetes、Envoy Gateway 和 AI Gateway 为基础。管理员声明后端、路由和安全策略，请求进入网关后按规则转发。它负责流量与策略，不训练模型，也不会判断回答是否正确。
4. 开放程度
项目代码、文档和社区协作均公开，可在自有基础设施中部署。[S1] 但实际链路还包含 Envoy Gateway、集群、模型供应商和密钥系统，多层版本兼容需要单独管理。开源也不等于默认安全，尤其不能把上游 API 密钥直接写入公开配置或仓库。
5. 适用场景
它适合已经采用 Kubernetes、需要统一接入多个模型提供方的团队，尤其是希望集中处理认证、路由、限流和观测的 AI 平台。若只有一个低流量应用和单一模型 API，引入集群级网关可能增加维护负担；此时轻量代理或供应商 SDK 更直接。
6. 部署路径
先按官方先决条件准备测试集群和 Envoy Gateway，再安装 AI Gateway，以模拟后端完成第一条请求。[S2] 确认控制面和数据面正常后，才接入一个真实提供方，并通过 Kubernetes Secret 管理凭证。最后逐步加入多后端路由、失败处理、配额和可观测配置。
7. 主要风险
集中网关会成为关键依赖：错误路由可能把敏感提示送到错误区域或供应商，限流配置失误会造成费用突增，日志也可能泄露提示与模型输出。升级 CRD 或组件版本时还可能出现兼容问题。应实行最小权限、日志脱敏、配置评审和可回滚发布。
8. 选型判断
选择它的前提是团队愿意把 AI 流量治理纳入云原生运维。优势是沿用 Envoy 生态并统一多提供方接入；代价是 Kubernetes 与网关知识。还要验证所需认证、流式响应、工具调用和错误语义。
9. 验收方法
在测试集群接入两个提供方，发送普通、流式、超时和限额请求，检查路由、认证、错误码、指标与追踪是否符合预期。随后模拟一个上游故障和一次配置回滚。成功标准是密钥不出现在日志中、请求不会误投、故障可观察，且网关恢复不要求修改客户端。
10. 来源与更新时间
本文研究截至 2026-08-09；项目仍在演进，安装前应以对应版本文档和兼容矩阵为准。