Meta-Infer 高效推理引擎

核心优势

内核补齐

启用原生高性能算子路径

对齐硬件与框架元数据、修正页尺寸配置,启用原生高性能算子路径;替换不适配的旧内核,减少慢速回退。

算子优化与通信重构

缩短单步耗时,减少传输等待

融合注意力、投影等关键算子,缩短单步计算耗时;让计算与集合通信重叠,重构通信逻辑以减少传输等待。

并行与容量调优

适配短请求与超长上下文

按 Prefill、Decode 阶段配置并行策略,调整显存占比与 KV 缓存容量;按负载组合流水线与张量并行。

缓存复用

面向长文本和视频生成

根据实时生成状态评估缓存复用风险,动态决定复用或刷新,减少重复计算与显存读写。

适用场景

不新增硬件

适合已经有 GPU 集群、暂时不打算再添硬件,却希望推理性能再往上走一走的业务:算子回退、通信串行、并行配置粗放、KV 缓存利用率低,这些执行层的低效路径会在不知不觉中吃掉大块算力。引擎在不换卡、不换框架的前提下逐项调优,把这部分性能找回来,让现有硬件的推理能力真正被用起来。

规格亮点

接入与运行方式

接入零负担:基于 SGLang 开源框架,不换卡、不换框架;

优化只作用于推理执行层,输出分布不变——业务侧无感升级,性能自然提升。

SGLang推理执行层GPU 集群

SGLang

推理执行层

输出分布不变

关键数据与测试口径

核心成果吞吐 6.87×:旗舰验证 DeepSeek-V4.1-Flash,吞吐 1,932 → 5,850 → 13,274 tok/s。

结果可复测:8×RTX 6000D(SM120)|16K/512|64 并发|无缓存|同机同协议。

5天→Day0生产级

6.87X吞吐倍率

可复测

场景延展与技术支柱

不止文本:长上下文 1M 上下文可用;

视频生成相对 Dense 端到端无损加速 2.48×;

动态稀疏注意力输入处理加速 2.8×、生成算子加速 2.0×。

1M长上下文2.48×视频生成2.8× / 2.0×动态稀疏注意力

长上下文

视频生成

动态稀疏注意力

一起探索,更多合作的可能

专家咨询