Higress.AI 是云原生开源的 AI 网关,也是 CNCF Sandbox 项目,致力于为 Agent 开发、LLM API 管理与 MCP 工具调用提供生产级能力。它提供免费开源版与云上 Serverless 商业版两种选择,通过统一的入口接入模型 API、工具与 MCP Server,帮助企业构建安全、可控、可观测的 AI 基础设施。
作为 AI 网关,Higress.AI 能够统一治理三类 AI 流量:模型 API、MCP 工具与 Kubernetes 推理工作负载。其核心模块包括 LLM Gateway(模型 API 治理),负责统一协议转换与 Token 治理;MCP Gateway(工具调用治理),提供 MCP 代理与协议转换能力;以及 Model Gateway(推理负载治理),支持 Gateway API Inference Extension、InferencePool 与 Endpoint Picker 等机制。同时,内置安全防护、流量治理与可观测能力,确保 AI 应用在生产环境中的稳定运行。
在功能层面,Higress.AI 支持 100+ 主流大模型的统一协议接入与模型级 Fallback,让后端模型调度更加灵活;提供应用防护能力,对输入数据进行隐私保护并对输出内容进行过滤;支持精确缓存与语义缓存,对相似或重复的推理结果进行上下文缓存,有效节省 Token 并降低时延;同时提供 Token 管控能力,追踪消费者额度并在超额时进行限制,为 Token 使用分析提供数据支持。
Higress.AI 已服务于多个行业场景,包括数字员工、金融数据 MCP 服务、企业级 AI 网关升级等,并有多家头部企业实践验证。开发团队可通过 Docker 一键启动本地开源版,在 5 分钟内完成核心能力验证;生产企业亦可选用阿里云 AI 网关 Serverless 版本,按实际调用量弹性伸缩,获得全托管免运维的体验。