Skip to content

AI 网关

「AI 网关」是 Rise 智算平台的模型调用流量入口,负责将上层请求(Playground、API Key、OpenAI 兼容调用)路由到正确的上游服务,并提供渠道管理、访问授权、限流配额等治理能力。

入口路径:左侧菜单 AI 智算管理 > AI 网关,页面路由 /admin/ai/gateway

AI 网关模块菜单

页面菜单

页面路由说明
API 渠道/admin/ai/gateway/ai-provider接入外部模型服务商或私有推理服务
创建 API 渠道/admin/ai/gateway/ai-provider/create新建渠道
API 渠道详情/admin/ai/gateway/ai-provider/:uuid查看与编辑渠道
AI 路由/admin/ai/gateway/ai-route模型调用路由规则
新增 AI 路由/admin/ai/gateway/ai-route/create新建路由
AI 路由详情/admin/ai/gateway/ai-route/:name查看与配置路由
路由配置/admin/ai/gateway/route-configHigress 原生路由配置
API 密钥管理/admin/model-x/api-keyAPI Key 生命周期管理
MCP 管理/admin/model-x/mcpMCP Server 管理
AI 插件中心/admin/model-x/ai-pluginHigress Wasm 插件

API 渠道

API 渠道用于接入外部模型服务商(OpenAI、Anthropic、智谱等),或管理由平台私有推理服务自动生成的 system 渠道。

查看 API 渠道

  1. 进入 AI 智算管理 > AI 网关 > API 渠道
  2. 列表展示:渠道名称、服务商、Endpoint、状态(启用/禁用)、所属工作空间、关联模型数量、创建时间。
  3. 使用顶部筛选栏按工作空间、状态、服务商、名称查询。
  4. 点击渠道名称进入详情页,查看基础信息、API Key 列表、支持模型、调用统计。

API 渠道详情页

API 渠道列表页

创建 API 渠道

  1. 在 API 渠道列表页点击「创建 API 渠道」。
  2. 基础信息
    • 渠道名称:如 OpenAI 生产环境
    • 所属工作空间:留空表示平台级渠道;选择后仅该租户可见。
    • 服务商:选择服务商条目(如 OpenAI、Anthropic、智谱、OpenAI 兼容服务等)。
    • Endpoint:API 根地址,不含 /chat/completions 等路径后缀;留空使用服务商默认端点。
    • API Key:至少填写一个;点击「校验」可测试 Key 是否有效。支持配置多个 Key 实现负载轮换。
  3. 高级设置(默认收起)
    • 原生透传:开启后协议为 original,适用于原生支持 /v1/messages 的服务商。
    • 备注:记录渠道用途。
    • USD→CNY 汇率:用于渠道成本换算。
    • 代理服务器:若上游需通过正向代理访问,选择已配置的代理。
    • 自定义请求头:如火山 TTS 需要的 X-Api-Key
  4. 支持模型
    • 从上游探测:填写 Endpoint 和 Key 后,点击探测按钮自动拉取可用模型列表,勾选要接入的模型。
    • 手动填写:直接输入模型名称、分类、上游模型名(若与用户请求名不同)。
  5. 点击「创建」。

创建 API 渠道表单,重点标注服务商/Endpoint/API Key/模型探测

管理 API 渠道

  1. 在 API 渠道列表页,点击行内「更多操作」或在详情页点击对应按钮:
    • 启用/禁用:禁用后,关联的 AI 路由不再向其转发请求。
    • 编辑:修改 Endpoint、Key、模型列表、汇率等。
    • 删除:删除前系统会展示级联影响清单(关联的 AI 路由),确认后执行。
  2. 点击渠道详情中的「模型名称列表」页签,查看已接入的所有模型名。

AI 路由

AI 路由定义了一条模型调用规则:当请求匹配某些条件(模型名、请求头、请求参数)时,将流量转发到哪些上游服务,并可配置权重、降级、限流、配额等。

查看 AI 路由

  1. 进入 AI 智算管理 > AI 网关 > AI 路由
  2. 列表展示:路由名称、模型匹配、目标服务、所属工作空间、状态、创建时间。
  3. 使用顶部筛选栏按工作空间、状态、名称查询。
  4. 点击路由名称进入详情页,查看匹配条件、目标服务、Fallback、限流、配额、访问授权等配置。

AI 路由详情页

AI 路由列表页

创建 AI 路由

  1. 在 AI 路由列表页点击「新增 AI 路由」。
  2. 基本信息
    • 名称:路由唯一标识。
    • 所属工作空间:留空为平台级,否则仅该租户可见。
  3. 匹配条件
    • 请求头:按 Key-Value 精确匹配。
    • 请求参数:按 URL 参数精确匹配。
    • 模型匹配:选择或输入模型名称,支持多选和手动新增。
    • 模型分类:用于自动推断接口路径(如 chat/completions、images/generations)。
    • 接口路径:真实访问路径,支持自动推断或手动输入。
  4. 流量控制
    • 路由类型:单集群 / 跨集群。
    • 单集群:添加目标 AI 服务(API 渠道或私有推理服务),设置请求比例和模型映射。
    • 跨集群:配置子集群网关端点池(address:port + 权重)。
  5. 点击「保存」,路由生效;保存后可在详情页查看完整 curl 调用示例。

创建 AI 路由表单,重点标注模型匹配、目标 AI 服务

配置降级与限流

进入路由详情页:

  1. Fallback 配置:当主上游异常时,自动切换到备用模型或渠道;支持按错误率、延迟阈值触发。
  2. 限流配置:按 API Key 或平台维度设置 QPS/Token 速率限制。
  3. 配额配置:按 API Key 设置 Token 用量上限。
  4. 访问授权:配置哪些 API Key 可以访问该路由。
  5. 修改后点击「保存」生效。

AI 路由详情页 Fallback/限流/配额页签

路由配置

「路由配置」用于管理 Higress 原生路由配置项,适合需要直接操作网关原生能力的管理员。

  1. 进入 AI 智算管理 > AI 网关 > 路由配置
  2. 列表展示原生路由名称、域名、路径、目标服务、状态等。
  3. 点击「创建」或行内「编辑」打开抽屉,填写路由名称、域名、匹配路径、Rewrite 规则、目标服务等。
  4. 保存后路由生效。

路由配置列表与创建抽屉

API 密钥管理

API 密钥管理用于创建、启用/禁用、删除 API Key,并配置 Key 可访问的模型范围与配额。

  1. 进入 AI 智算管理 > AI 网关 > API 密钥管理
  2. 点击「创建 API Key」,填写:

AI 网关 API Key 创建抽屉

  • 名称:便于识别的 Key 名称。
  • 所属工作空间:留空为平台级,选择后仅该租户可见。
  • 可访问模型:选择该 Key 允许调用的模型范围。
  • 配额:设置 Token 用量上限或调用次数上限。
  1. 创建成功后复制 Key 值;Key 值仅在创建时展示一次,请妥善保存。
  2. 在列表中可对 Key 执行启用/禁用/删除操作。

API 密钥管理列表与创建表单

MCP 管理

MCP 管理用于创建 MCP Server,并配置工具级授权。

  1. 进入 AI 智算管理 > AI 网关 > MCP 管理
  2. 点击「创建 MCP Server」,选择类型:
    • OPEN_API:上传 Swagger 文件或填写 OpenAPI 规范,系统自动转换为 tools YAML。
    • DIRECT_ROUTE:直接配置 streamable/sse 路由地址。
  3. 填写名称、描述、Endpoint、授权信息等。
  4. 在详情页配置工具级授权,决定哪些 API Key 可以调用哪些工具。

MCP Server 详情页 5. 保存后 MCP Server 可被上层应用通过 AI 网关调用。

MCP 管理创建表单

AI 插件中心

AI 插件中心用于浏览和配置 Higress Wasm 插件(如 ai-proxy、model-mapper、ai-statistics 等)。

  1. 进入 AI 智算管理 > AI 网关 > AI 插件中心
  2. 列表展示插件名称、类型、版本、状态。
  3. 点击插件名称进入详情页,查看插件配置说明。

AI 插件详情页

  1. 点击「配置」修改插件参数;系统插件受保护,避免覆盖真实配置。
  2. 保存后插件即时生效。

AI 插件中心列表

常见问题

Q:Playground 中看不到某个外部模型? A:确认该模型已加入某个 API 渠道,并且存在一条 AI 路由将其模型名匹配到该渠道;同时 API Key 需有该路由的访问授权。

Q:调用返回 429? A:检查 API Key 是否触发了限流规则或 Token 配额上限;也检查上游渠道是否被限流。

Q:如何切换模型到备用渠道? A:在 AI 路由详情页配置 Fallback,当主渠道错误率或延迟超过阈值时自动切换。

Q:平台级渠道与租户级渠道有什么区别? A:平台级渠道(所属工作空间留空)对所有租户可见;租户级渠道仅对指定租户可见,适合接入该租户私有的模型服务。

基于 Rise 智算平台 release-2606.v2.2.x 生成