JAiRouter¶

AI 模型服务统一网关
一行代码接入所有模型

🎯 核心价值¶

特性	描述
🔌 统一 API	OpenAI 兼容接口，无缝对接 Ollama、vLLM、GPUStack 等
⚖️ 智能负载均衡	5 种策略自动分发请求，健康检查自动剔除故障节点
🛡️ 流量控制	限流、熔断、降级，保障服务稳定性
🔐 双认证体系	JWT + API Key，支持审计日志和黑名单
📊 全链路追踪	OpenTelemetry 集成，性能瓶颈一目了然
💾 状态持久化	Redis / 文件存储，支持集群高可用部署

🏗️ 架构概览¶

┌─────────────────┐     ┌─────────────────────┐     ┌─────────────────┐
│   OpenAI SDK    │────▶│     JAiRouter       │────▶│    Ollama       │
│   Langchain     │     │  • 负载均衡          │     │    vLLM         │
│   HTTP Client   │     │  • 限流熔断          │     │    GPUStack     │
└─────────────────┘     │  • 认证鉴权          │     │    Xinference   │
                        └─────────────────────┘     └─────────────────┘

⚡ 1分钟快速体验¶

# 启动服务
docker run -d --name jairouter -p 8080:8080 sodlinken/jairouter:latest

# 访问控制台
open http://localhost:8080

📚 快速导航¶

我想要...	推荐文档
快速体验	快速开始指南
生产部署	部署指南
配置服务	配置指南
API 集成	API 参考
监控告警	监控指南
故障排查	常见问题

📈 项目状态¶

LTS 版本: v2.6.11 是最终长期支持版本，持续维护至 2028-05

🔧 支持的后端服务¶

后端	说明
GPUStack	GPUStack 私有模型服务
Ollama	本地大模型运行工具
vLLM	高性能 LLM 推理引擎
Xinference	分布式模型推理框架
LocalAI	OpenAI 兼容本地推理
OpenAI	OpenAI 官方 API

🤝 社区支持¶

GitHub Issues - 问题反馈
GitHub Discussions - 讨论交流
贡献指南 - 参与开发

如果 JAiRouter 对您有帮助，请给个 ⭐️ Star 支持一下！