
TokenPilot 智能推理路由
实例选点
减少重复计算与端点拥塞,按请求选择更合适的实例。

实例选点
减少重复计算与端点拥塞,按请求选择更合适的实例。

机房选择
利用分散容量承接热点需求,短周期调请求、长周期调副本。

队列与容量
减少负载干扰,提高达标产出;按服务等级分池准入。

业务侧入口保持不变
以叠加方式接入现有 Kubernetes 推理集群;Gateway 暂存请求,通过 ext-proc 咨询决策引擎,选点后转发至模型实例。

适合多模型、多租户、混合负载共用同一套算力的推理集群:在线服务、离线批处理与突发流量同池混跑时,请求之间容易互相干扰、抢占容量。调度框架按请求的服务等级与实例的实时状态,把每个请求送到合适的实例、队列和机房,让各类业务在同一套算力上稳定拿到符合自身服务要求的 Token 产出。
叠加式部署、业务零改动:
客户端 → Proxy / Gateway(Request Controller 解析、优先级、公平队列与准入;Model Scheduler 做 Filter → Score → Pick)→ InferencePool → Model Server(Prefill + Decode)。
首 Token 延迟大幅下降:GLM5.3 TTFT 调优,
P50 3.38 → 0.97 秒(−71.3%),P95 16.78 → 11.34 秒(−32.4%);
口径透明可复算:改善率 =(基线值 − 优化值)÷ 基线值。
同样算力,达标产出 +29.4%:
达标输出 8,500 → 11,000 Token/s,达标比例 67% → 86%;
总输出 12,600 → 12,790 Token/s(+1.5%,基本持平)。