README

AI Gateway

 AI Native API Gateway 


    





 


官网   |
  文档   |
  博客   |
  MCP Server 快速开始   |
  电子书   |
  开发指引   |
  AI插件  




    English | 中文 |  日本語  



 Higress 是什么？

Higress 是一款云原生 API 网关，内核基于 Istio 和 Envoy，可以用 Go/Rust/JS 等编写 Wasm 插件，提供了数十个现成的通用插件，以及开箱即用的控制台（demo 点这里）

 核心使用场景

Higress 的 AI 网关能力支持国内外所有主流模型供应商和基于 vllm/ollama 等自建的 DeepSeek 模型。同时，Higress 支持通过插件方式托管 MCP (Model Context Protocol) 服务器，使 AI Agent 能够更容易地调用各种工具和服务。借助 openapi-to-mcp 工具，您可以快速将 OpenAPI 规范转换为远程 MCP 服务器进行托管。Higress 提供了对 LLM API 和 MCP API 的统一管理。

🌟 立即体验 https://mcp.higress.ai/ 基于 Higress 托管的远程 MCP 服务器:

!Higress MCP 服务器平台

 生产环境采用

Higress 最初在阿里内部为解决网关 reload 对长连接业务有损，以及
gRPC/Dubbo 负载均衡能力不足而诞生。Higress 目前作为厂商中立的 CNCF
项目由社区共同开发，并已被多个行业的组织采用。公开采用者和使用场景见
ADOPTERS.md。

 Summary

- 快速开始    
- 功能展示
- 使用场景
- 核心优势
- 社区

 快速开始

Higress 只需 Docker 即可启动，方便个人开发者在本地搭建学习，或者用于搭建简易站点:

bash
 创建一个工作目录
mkdir higress; cd higress
 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD}:/data \
        -p 8001:8001 -p 8080:8080 -p 8443:8443  \
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest


监听端口说明如下：

- 8001 端口：Higress UI 控制台入口
- 8080 端口：网关 HTTP 协议入口
- 8443 端口：网关 HTTPS 协议入口

Higress 通过多个区域的项目镜像仓库发布镜像。使用者也可以将镜像同步到
自己控制的仓库，并通过 Helm 的 global.hub 参数进行配置。

 如果从 higress-registry.cn-hangzhou.cr.aliyuncs.com 拉取镜像超时，可以尝试使用以下镜像加速源：
 
 北美: higress-registry.us-west-1.cr.aliyuncs.com
 
 东南亚: higress-registry.ap-southeast-7.cr.aliyuncs.com

 K8s 部署时，可以通过 Helm values 配置 global.hub 参数来使用距离部署区域更近的镜像仓库，该参数会同时应用于 Higress 组件镜像和内置 Wasm 插件镜像：
 
 bash
  示例：使用北美镜像源
 helm install higress -n higress-system higress.io/higress --set global.hub=higress-registry.us-west-1.cr.aliyuncs.com --create-namespace
 
 
 可用镜像仓库：
 - 中国（杭州）: higress-registry.cn-hangzhou.cr.aliyuncs.com（默认）
 - 北美: higress-registry.us-west-1.cr.aliyuncs.com
 - 东南亚: higress-registry.ap-southeast-7.cr.aliyuncs.com

K8s 下使用 Helm 部署等其他安装方式可以参考官网 Quick Start 文档。

 使用场景

- AI 网关:

  Higress 能够用统一的协议对接国内外所有 LLM 模型厂商，同时具备丰富的 AI 可观测、多模型负载均衡/fallback、AI token 流控、AI 缓存等能力：

  Higress 同时也是 Gateway API Inference Extension 一致性实现，支持在 Kubernetes 上进行推理感知路由。

  !

- MCP Server 托管:

  Higress 作为基于 Envoy 的 API 网关，支持通过插件方式托管 MCP Server。MCP（Model Context Protocol）本质是面向 AI 更友好的 API，使 AI Agent 能够更容易地调用各种工具和服务。Higress 可以统一处理工具调用的认证/鉴权/限流/观测等能力，简化 AI 应用的开发和部署。

  !

  通过 Higress 托管 MCP Server，可以实现：
  - 统一的认证和鉴权机制，确保 AI 工具调用的安全性
  - 精细化的速率限制，防止滥用和资源耗尽
  - 完整的审计日志，记录所有工具调用行为
  - 丰富的可观测性，监控工具调用的性能和健康状况
  - 简化的部署和管理，通过 Higress 插件机制快速添加新的 MCP Server
  - 动态更新无损：得益于 Envoy 对长连接保持的友好支持，以及 Wasm 插件的动态更新机制，MCP Server 逻辑可以实时更新，且对流量完全无损，不会导致任何连接断开

- Kubernetes Ingress 网关:

  Higress 已被 Kubernetes Ingress Controllers 官方文档收录，可作为 K8s 集群的 Ingress 入口网关，并且兼容大量 K8s Nginx Ingress 注解，可以从 K8s Nginx Ingress 快速平滑迁移到 Higress。
  
  Higress 支持 Gateway API 标准，并被列为 Gateway API 一致性实现，支持用户从 Ingress API 平滑迁移到 Gateway API。

  相比 ingress-nginx，资源开销大幅下降，路由变更生效速度有十倍提升：

  !
  !
  
- 微服务网关:

  Higress