AIGateWay-Universal

全球首个生产级、语义驱动、全生态兼容的开源AI能力智能路由与全局调度引擎

核心特性 • 快速开始 • 架构设计 • 文档 • 社区

---

项目定位

AIGateWay-Universal 是企业级AI应用的统一流量入口、能力中台、成本与效果最优管控底座，填补AI生态中「模型/工具层」与「应用层」之间的智能调度层空白。

核心解决痛点

痛点	解决方案
🔴 多模型/多工具接入成本高	全生态适配器，100+模型/工具开箱即用
🔴 简单任务占用高成本模型	语义驱动智能路由，自动匹配最优模型
🔴 成本与效果无法兼顾	多目标优化调度，全局最优解
🔴 调度策略僵化	策略热更新，实时调整
🔴 无法实现全局最优	效果评测闭环，持续优化

---

核心特性

🎯 语义驱动智能路由

• 需求语义解析：50ms内完成任务类型识别、复杂度分级
• 多目标优化调度：综合成本、性能、准确率计算全局最优解
• 效果评测闭环：基于输出质量动态调整路由策略

🔌 全生态兼容

• 100+ 大模型适配：OpenAI、Anthropic、豆包、通义千问、Llama、Qwen等
• MCP协议工具集：全兼容Model Context Protocol
• 统一API：OpenAI兼容标准，业务代码零修改

💰 成本优化

• 多维度成本管控：按项目、团队、用户精细化统计
• 自动化降本策略：平均降低30%-60% AI调用成本
• 预算管控：超支自动告警/拦截

🔐 企业级安全

• 细粒度RBAC权限：用户/团队/项目/角色分级管理
• 全链路审计：不可篡改审计日志，满足等保2.0
• 数据安全护栏：敏感数据脱敏、内容安全检测

📊 可观测性

• 全链路追踪：OpenTelemetry + Jaeger
• 可视化监控：Token消耗、延迟、成功率实时展示
• 智能告警：多渠道自定义告警

🎨 低代码编排

• 拖拽式策略编排：零代码配置路由规则
• 20+ 场景模板：一键导入快速适配
• 策略热更新：无需重启实时生效

---

架构设计

┌─────────────────────────────────────────────────────────┐
│ 前端交互与低代码策略编排层                                │
│ 可视化编排、管控控制台、模板市场、人机协同界面            │
├─────────────────────────────────────────────────────────┤
│ 安全合规与统一权限管控层                                 │
│ RBAC权限、全链路审计、数据安全、内容安全护栏              │
├─────────────────────────────────────────────────────────┤
│ 智能路由与调度核心层（项目心脏）                          │
│ 语义解析引擎、多目标优化调度、效果评测、策略管理          │
├─────────────────────────────────────────────────────────┤
│ 全生态兼容适配层                                         │
│ 多模型适配器、统一工具网关、协议转换、算力池化管理        │
├─────────────────────────────────────────────────────────┤
│ 可观测与成本治理层                                       │
│ 全链路追踪、监控告警、成本统计、优化分析、数据归档        │
└─────────────────────────────────────────────────────────┘

---

快速开始

方式1：Docker Compose（推荐）

前置要求： Docker + Docker Compose

# 1. 克隆仓库
git clone https://github.com/zhan1206/aigateway-universal.git
cd aigateway-universal

# 2. 配置环境变量
cp configs/.env.example configs/.env
# 编辑 configs/.env 填入你的 API Key

# 3. 启动所有服务（含 MySQL, Redis, Kafka, Jaeger）
cd deploy/docker
docker-compose up -d

# 4. 查看日志
docker-compose logs -f gateway

# 5. 访问
#   控制台: http://localhost:3000
#   API:    http://localhost:8080/health
#   Jaeger: http://localhost:16686

方式2：源码编译

前置要求：

• Go 1.21+
• Node.js 18+
• npm 9+

# 1. 克隆仓库
git clone https://github.com/zhan1206/aigateway-universal.git
cd aigateway-universal

# 2. 配置环境变量
cp configs/.env.example configs/.env
# 编辑 configs/.env 填入你的 API Key

# 3. 启动后端
cd backend
go mod tidy          # 生成 go.sum 并下载依赖
go run ./cmd/gateway  # 默认监听 :8080

# 4. 启动前端（新终端）
cd frontend
npm install
npm run dev          # 默认监听 :3000，自动代理 API 到 :8080

# 5. 访问控制台
open http://localhost:3000

测试 API：

curl http://localhost:8080/health
curl -X POST http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

方式3：Kubernetes

前置要求： kubectl + 集群访问权限

# 1. 克隆并配置
git clone https://github.com/zhan1206/aigateway-universal.git
cd aigateway-universal

# 2. 创建 Secret
kubectl create secret generic aigateway-secrets \
  --from-literal=db-password=YOUR_DB_PASSWORD \
  --from-literal=jwt-secret=YOUR_JWT_SECRET

# 3. 部署
kubectl apply -f deploy/k8s/

# 4. 查看状态
kubectl get pods -l app=aigateway
kubectl logs -l app=aigateway

---

技术栈

模块	技术选型
后端核心引擎	Go
智能调度	Python
前端框架	React + TypeScript + Ant Design Pro
数据存储	MySQL + Redis
消息队列	Kafka
链路追踪	OpenTelemetry + Jaeger
监控	Prometheus + Grafana
日志检索	Elasticsearch
部署	Docker + Kubernetes

---

兼容生态

大模型（100+）

商用API	开源模型
OpenAI GPT-4/3.5	Llama 3
Anthropic Claude	Qwen 2
豆包	DeepSeek
通义千问	Phi
智谱 GLM	Yi
Google Gemini	Mistral

工具组件

• ✅ MCP协议工具集
• ✅ OpenAPI插件
• ✅ 自定义工具
• ✅ RAG引擎

---

核心API

OpenAI兼容接口

# Chat Completion
POST /v1/chat/completions
Authorization: Bearer YOUR_API_KEY

{
  "model": "auto",  // 自动路由
  "messages": [
    {"role": "user", "content": "你好"}
  ]
}

智能路由配置

# 创建路由策略
POST /api/v1/policies

{
  "name": "成本优先策略",
  "rules": [
    {
      "condition": {"task_type": "simple_qa"},
      "target": {"model": "qwen-turbo", "priority": 1}
    },
    {
      "condition": {"task_type": "code_generation"},
      "target": {"model": "gpt-4", "priority": 2}
    }
  ]
}

---

项目结构

aigateway-universal/
├── backend/                    # Go 后端
│   ├── cmd/gateway/           # API 网关服务
│   ├── internal/
│   │   ├── core/              # 核心引擎
│   │   │   ├── router/        # 智能路由
│   │   │   ├── scheduler/     # 调度引擎
│   │   │   ├── analyzer/      # 语义解析
│   │   │   └── evaluator/     # 效果评测
│   │   ├── adapter/           # 适配层
│   │   ├── security/          # 安全模块
│   │   ├── observability/     # 可观测性
│   │   └── cost/              # 成本管控
│   └── pkg/                   # 公共库
├── frontend/                   # React 前端
│   └── src/
│       ├── pages/             # 页面组件
│       ├── components/        # 通用组件
│       ├── services/          # API 服务
│       └── store/             # 状态管理
├── deploy/                     # 部署配置
│   ├── docker/                # Docker 配置
│   └── k8s/                   # Kubernetes 配置
├── configs/                    # 配置文件
├── docs/                       # 文档
└── templates/                  # 路由模板

---

路线图

版本	时间	核心目标
v0.1 MVP	3个月	20+模型适配、基础路由能力
v0.5 Beta	6个月	智能调度引擎、可观测性
v1.0 正式版	12个月	企业级生产可用
v2.0 生态版	24个月	多租户、策略自学习

详见 开源迭代规划

---

文档

• 快速开始指南
• 架构设计文档
• API 文档
• 部署指南
• 最佳实践

---

贡献指南

我们欢迎所有形式的贡献！

• 🐛 报告Bug
• 💡 功能建议
• 📖 改进文档
• 🔧 提交代码

详见 CONTRIBUTING.md

---

社区

• GitHub Discussions: 讨论与问答
• Discord: 实时交流
• 微信公众号: AIGateWay

---

许可证

本项目采用 Apache 2.0 协议开源。

---

Star History

---

Made with ❤️ by AIGateWay Community