跳转至

发展路线图

文档版本: 2.0.0 最后更新: 2026-09-06 Git 标签: v3.0.1 作者: Lincoln

本文档描述了 JAiRouter 项目的未来发展规划和功能路线图。

项目愿景

JAiRouter 致力于成为最优秀的开源 AI 模型服务路由网关,为用户提供:

  • 统一接入: 一个网关接入所有 AI 模型服务
  • 智能路由: 基于多种策略的智能负载均衡
  • 高可用性: 完善的容错和故障恢复机制
  • 易于使用: 简单的配置和丰富的文档
  • 高性能: 支持大规模并发和低延迟响应
  • 可观测性: 全面的监控、日志和链路追踪

当前版本状态

✅ v3.0.1 (当前稳定版)

发布状态: 已发布 (2026-09-06) Git 标签: v3.0.1

主要功能(v2.9.6 → v3.0.1 演进)

版本日期核心内容
v2.9.62026-08-30路由智能深化-2:请求级故障转移(换实例重试 + 请求内黑名单 + 全失败回退)
v2.9.72026-09-01路由智能深化-3:标签路由(实例 tags + TARGET_TAGS 动作 + header 圈选 + 旧库迁移/限流器修复)
v2.9.82026-09-02Web 菜单 RBAC 管理(43 权限码 + 4 角色模板 + 数据驱动 URL 权限矩阵 + 权限管理 UI + 登录 DB fallback)
v2.9.92026-09-03路由智能深化-4:响应缓存 P0(非流式精确匹配缓存 + Caffeine + 租户隔离键 + 指标)
v2.9.102026-09-05路由智能深化-5:响应缓存 P1(流式 SSE 拼接缓存 + 失效 API + 缓存键三段式 + 服务级限流提前短路 + 权限码 44)
v2.9.112026-09-05文档与 UI 品质:README 截图/内容更新(亮/暗 + 权限码 44 + 响应缓存 P1)+ hallmark 管理台设计审计(v2.10.x 重构输入)+ 前端小修(权限码 44 同步等)
v2.10.02026-09-05Web 前端地基:死代码清理(-13.5k 行)+ PageSkeleton/StatCard/useChartTheme 统一组件 + ~20 页令牌化(~150 hex→token)+ Element Plus 暗色修复 + Layout/console 清理
v2.10.12026-09-06治理指挥台:Dashboard v2(治理链路面板/异常摘要/服务跳转)+ Cross-link 跨页导航 + 7 页 PageSkeleton 迁移 + 令牌化收尾(~102 hex→token + 间距梯度)
v2.10.22026-09-06配置接入与能力补页:响应缓存管理页(状态/定向失效 + B 档运行时开关 + 命中观测)+ 慢查询分析页 + CB 重置/配额告警 + Onboarding 接入引导 + 后端缓存状态与废弃标注(权限码 45)
v2.10.32026-09-06Web 双语版:全量 zh/en i18n(39 语言包/2321 keys)+ 语言切换器 + Element Plus locale + 日期/数字本地化 + 暗色对比收口
v2.10.42026-09-06Web 体验收尾:服务类型显示名统一(顶层 serviceTypes.*)+ ECharts 语言/主题热切换 + 死代码清理 + 暗色对比审计门禁(36 页 ≥4.5)+ 后端 message 注记 + 代码块双主题高亮
v3.0.12026-09-06Web 完整流程系列开篇(流程串联):Onboarding 预选闭环 + Dashboard 治理入口补全 + CB/LB 反向跳转 + 版本页入站 + 旧 redirect 清理 + PageSkeleton 覆盖 18 页

统计数据

  • 测试数量: 3,243(全绿)
  • Java 源文件: 750+
  • 代码规模: ~135k LOC

✅ v2.10.x - Web 管理台重构系列(已完成,2026-09-06)

前端功能已齐但未形成完整系统流程,按每版一主题拆分重构: - v2.10.0 前端地基 ✅(2026-09-05 已发布):死代码清理(13 .vue + common ≈13.5k 行)+ PageSkeleton/StatCard/useChartTheme + Dashboard·Service·Rule 试点 + ~20 页令牌化 + Element Plus 暗色修复 + Layout/console 清理 - v2.10.1 治理指挥台 ✅(2026-09-06 已发布):Dashboard v2 治理链路面板 + 异常摘要 + Cross-link 跨页导航 + 7 页 PageSkeleton 迁移 + 令牌化收尾 - v2.10.2 配置接入与能力补页 ✅(2026-09-06 已发布):响应缓存管理页(状态/失效 + B 档运行时开关 + 命中观测)+ 慢查询分析页 + CB 重置/配额告警 + Onboarding 接入引导 + 后端缓存状态与废弃标注 + 权限码 45 - v2.10.3 Web 双语版 ✅(2026-09-06 已发布):全量 zh/en i18n + 语言切换器 + Element Plus locale + 日期/数字本地化 + 暗色对比收口 - v2.10.4 Web 体验收尾 ✅(2026-09-06 已发布):服务类型显示名统一 + ECharts 图表语言/主题热切换 + 死代码清理(utils/errorHandler、validators/* 等)+ 暗色对比审计门禁(36 页 ≥4.5)+ 后端 message 文档注记 + 代码块暗色语法高亮


🎯 v3.0.x - Web 完整流程系列 (进行中)

v3.0 为 Web 完整流程里程碑(对外 /api/v1 保持兼容,无 breaking): - v3.0.1 流程串联 ✅(2026-09-06 已发布):Onboarding 预选闭环(useRoutePreselect + 5 容器 query 预选)+ Dashboard 治理入口补全 + CB/LB 反向跳转 + 版本页入站 + 旧 redirect 清理 + PageSkeleton 覆盖 18 页 - v3.0.2 API 清理与权限收口:删除 4 废弃整控制器与 TokenUsageController 死方法等(含 DTO/Registry/测试随删随清)+ 权限 URL 规则渐进补齐(每项登记 + 401/403 测试) - v3.0.3 验收与发布:端到端旅程验收 + README 素材重拍(双语×亮暗)+ 文档/计划同步 + Release(tag/gh/docker 双远端) - v3.0.x 完成后收束 Web 里程碑;高可用地基(多节点/Redis 分布式/配置回滚)顺延至 v3.0 后评估;语义缓存仅评估另立项;微服务化另行


✅ v2.6.11 LTS (长期支持版)

发布状态: 已发布 (2026-04-17) 维护周期: 至 2028-05

已完成功能

  • ✅ 多租户支持
  • ✅ API Key 认证机制
  • ✅ JWT Token 支持
  • ✅ OAuth 2.0 集成
  • ✅ 基于角色的访问控制 (RBAC)
  • ✅ 请求/响应数据脱敏
  • ✅ 安全审计日志
  • ✅ H2 嵌入式数据库
  • ✅ PostgreSQL/MySQL 支持
  • ✅ Redis 缓存集成
  • ✅ Prometheus 指标收集
  • ✅ Grafana 仪表板模板
  • ✅ 分布式链路追踪 (Zipkin/OpenTelemetry)
  • ✅ 完整的 Docker 部署方案
  • ✅ Kubernetes 部署支持

代码质量

  • ✅ Checkstyle 代码规范检查
  • ✅ SpotBugs 静态分析
  • ✅ JaCoCo 测试覆盖率报告
  • ✅ 700+ 单元测试
  • ✅ E2E 集成测试

🎯 v2.7.x - 性能优化系列 (2026年Q2-Q3)

已完成

版本日期主要内容
v2.7.02026-04-20Package 结构重组,6个服务模块
v2.7.12026-04-21auth 模块独立 (116 文件)
v2.7.22026-04-22config 模块独立 (~50 文件)
v2.7.32026-04-23router 模块上 (adapter/loadbalancer)
v2.7.42026-04-24router 模块下 (熔断/限流)
v2.7.52026-04-25monitor 模块独立 (98 文件)
v2.7.62026-04-26persistence 模块独立 (49 文件)
v2.7.72026-04-27common 模块独立 (96 文件)
v2.7.82026-04-28controller 分组优化
v2.7.92026-04-29包结构优化完成
v2.7.102026-07-13技术债务清理 - 大文件拆分+废弃代码清理
v2.7.112026-07-14RBAC权限控制 + UI优化

性能提升

  • 路由流程优化 20-50%
  • 内存占用降低 15%
  • 启动时间减少 30%

⏸️ v3.0 - 微服务架构 (无限期推迟)

状态: ⏸️ 推迟

由于当前单体架构已满足需求,v3.0 微服务架构转型已无限期推迟。


功能特性规划

适配器扩展

已支持 ✅

适配器类型状态
GPUStackChat/Embedding/Rerank
OllamaChat/Embedding
vLLMChat
XinferenceChat/Embedding/Rerank
LocalAIChat/Embedding
OpenAIChat/Embedding
Azure OpenAIChat/Embedding
Anthropic ClaudeChat
阿里云百炼Chat/Embedding
腾讯云混元Chat
百度智能云Chat

计划支持 📋

  • 📋 Google Gemini (v2.8.x)
  • 📋 Cohere API (v2.8.x)
  • 📋 AWS Bedrock (v2.9.x)

负载均衡策略

已实现 ✅

  • ✅ Random (随机)
  • ✅ Round Robin (轮询)
  • ✅ Weighted Round Robin (加权轮询)
  • ✅ Least Connections (最少连接)
  • ✅ IP Hash (IP哈希)
  • ✅ Consistent Hash (一致性哈希)

计划实现 📋

  • 📋 Latency-based (延迟优先)
  • 📋 Cost-based (成本优先)
  • 📋 Model Capability-based (能力匹配)

限流算法

已实现 ✅

  • ✅ Token Bucket (令牌桶)
  • ✅ Leaky Bucket (漏桶)
  • ✅ Sliding Window (滑动窗口)
  • ✅ Warm Up (预热限流)
  • ✅ Adaptive Rate Limiting (自适应限流)

计划实现 📋

  • 📋 Distributed Rate Limiting (分布式限流)
  • 📋 User-based Rate Limiting (用户级限流)
  • 📋 API Key 级别的限流

监控和可观测性

已实现 ✅

  • ✅ Prometheus 指标
  • ✅ Grafana 仪表板
  • ✅ 健康检查端点
  • ✅ 基础告警规则
  • ✅ 分布式链路追踪 (Zipkin/OpenTelemetry)
  • ✅ 结构化日志

计划实现 📋

  • 📋 业务指标分析
  • 📋 成本分析
  • 📋 自定义告警规则

技术架构

当前架构 (v2.6.x)

单体应用 → 模块化设计 → 响应式编程

架构演进

阶段版本状态
基础架构v0.1 - v0.3✅ 已完成
安全认证v0.4✅ 已完成
监控追踪v0.5✅ 已完成
性能优化v2.7.x✅ 已完成
配置管理v2.8.x📋 规划中
可维护性提升v2.9.x📋 规划中
微服务探索v3.0⏸️ 推迟

技术栈

核心技术

  • 后端: Spring Boot 3.5.5 + WebFlux (响应式)
  • 前端: Vue 3 + TypeScript + Element Plus
  • 数据库: H2 (嵌入式) + R2DBC
  • 缓存: Redis (可选)
  • 监控: Prometheus + Grafana
  • 追踪: OpenTelemetry + Zipkin

数据存储

  • 默认: H2 嵌入式数据库
  • 生产: PostgreSQL / MySQL
  • 缓存: Redis (可选)

性能目标

版本RPS延迟 (P95)可用性并发连接
v2.6.x5k< 50ms99.95%5k
v2.7.x10k< 30ms99.95%10k
v2.8.x20k< 20ms99.99%20k
目标100k+< 10ms99.99%100k+

社区发展

当前状态

  • GitHub / Gitee 双平台托管
  • 完整的用户文档和 API 文档
  • 中英文文档支持
  • MkDocs 静态网站

发展目标

  • 活跃的开发者社区
  • 定期的版本发布
  • 更多适配器支持
  • 完善的插件系统

版本发布周期

版本类型周期说明
LTS24个月长期稳定支持
功能版1-2个月新功能迭代
补丁版按需Bug 修复和安全更新

参与方式

开发贡献

代码贡献

  • 功能开发和 Bug 修复
  • 性能优化和重构
  • 测试用例编写
  • 代码审查

文档贡献

  • 用户文档完善
  • API 文档更新
  • 教程和示例编写
  • 多语言翻译

反馈渠道


风险和挑战

技术风险

  • 性能瓶颈: 大规模部署下的性能挑战
  • 兼容性: 多版本 API 兼容性维护
  • 安全性: 安全漏洞和攻击防护

市场风险

  • 竞争加剧: 类似产品的竞争
  • 技术变化: AI 技术快速发展带来的挑战
  • 用户需求: 用户需求的快速变化

应对策略

  • 持续的技术创新和优化
  • 活跃的社区建设和维护
  • 灵活的产品策略调整
  • 完善的质量保证体系

总结

JAiRouter 项目将继续秉承开源精神,致力于为用户提供最优秀的 AI 模型服务路由解决方案。我们欢迎社区的参与和贡献,共同推动项目的发展和进步。

近期重点 (2026年)

  1. ✅ 完成 v2.7.x 性能优化系列 + RBAC权限控制
  2. ✅ 推进 v2.8.x 配置管理优化 + 新适配器 + 插件系统/规则引擎/资源池
  3. ✅ v2.9.x 智能路由深化系列(故障转移/标签路由/响应缓存 P0)
  4. ✅ v2.9.10 响应缓存 P1(流式缓存 + 失效 API + 限流短路)
  5. ✅ v2.9.11 README/截图更新 + hallmark 管理台设计审计 + 前端修复
  6. ✅ v2.10.x Web 管理台重构系列全部完成(v2.10.0 前端地基 ✅ 2026-09-05;v2.10.1 治理指挥台 ✅ / v2.10.2 配置接入与能力补页 ✅ / v2.10.3 Web 双语版 ✅ / v2.10.4 Web 体验收尾 ✅ 2026-09-06)
  7. 🎯 v3.0.x Web 完整流程系列(v3.0.1 流程串联 ✅ 2026-09-06;v3.0.2 API 清理与权限收口 📋;v3.0.3 验收与发布 📋)
  8. 📋 语义缓存评估(向量相似度复用,另立项);高可用地基(多节点/Redis)于 v3.0.x 后评估

长期愿景

  1. 成为 AI 模型路由领域的标准
  2. 建立完整的生态系统
  3. 实现企业级商业化成功
  4. 推动行业技术发展

更新时间: 2026年9月6日

如有任何建议或想法,欢迎通过 GitHub Discussions 与我们交流。