model-gateway

vLLM Semantic Router 在模型服务前按请求语义选择模型、工具与策略，适合多模型推理平台，但需要用业务流量校准路由并保留安全回退。

LiteLLM 是将多家模型接口统一到代理与 SDK 层的开源项目。

OpenRouter 提供面向多家模型的统一 API 与路由服务。