TokenFleet 分布式调度框架

核心优势

TokenPilot 智能推理路由

实例选点

减少重复计算与端点拥塞,按请求选择更合适的实例。

FleetMind 跨机房容量协同

机房选择

利用分散容量承接热点需求,短周期调请求、长周期调副本。

SLOMax 混合负载调度

队列与容量

减少负载干扰,提高达标产出;按服务等级分池准入。

叠加式接入

业务侧入口保持不变

以叠加方式接入现有 Kubernetes 推理集群;Gateway 暂存请求,通过 ext-proc 咨询决策引擎,选点后转发至模型实例。

适用场景

共用同一套算力

适合多模型、多租户、混合负载共用同一套算力的推理集群:在线服务、离线批处理与突发流量同池混跑时,请求之间容易互相干扰、抢占容量。调度框架按请求的服务等级与实例的实时状态,把每个请求送到合适的实例、队列和机房,让各类业务在同一套算力上稳定拿到符合自身服务要求的 Token 产出。

规格亮点

部署架构与分层职责

叠加式部署、业务零改动:

客户端 → Proxy / Gateway(Request Controller 解析、优先级、公平队列与准入;Model Scheduler 做 Filter → Score → Pick)→ InferencePool → Model Server(Prefill + Decode)。

客户端Proxy / GatewayRequest Controller解析 / 队列 / 准入Model SchedulerFilter → Score → PickInferencePoolModel ServerPrefill+ Decode

性能数据与改善率口径

首 Token 延迟大幅下降:GLM5.3 TTFT 调优,

P50 3.38 → 0.97 秒(−71.3%),P95 16.78 → 11.34 秒(−32.4%);

口径透明可复算:改善率 =(基线值 − 优化值)÷ 基线值。

P50(秒)−71.3%3.380.97基线优化后P95(秒)−32.4%16.7811.34基线优化后

收益测算示例

同样算力,达标产出 +29.4%:

达标输出 8,500 → 11,000 Token/s,达标比例 67% → 86%;

总输出 12,600 → 12,790 Token/s(+1.5%,基本持平)。

Token/s基线8,50012,600优化后11,00012,790达标输出未达标输出67% → 86%

一起探索,更多合作的可能

专家咨询