READ WITH
CONTEXT
单用户解码快44%,批量64时只剩15%

FEATURED STORY

从信息变化中
发现新的观察角度

以事实为基础,以清晰表达为目标,为每一次阅读保留足够的背景与思考空间。

Wul_S STORY / 01
RB88体育·(中国)官方网站 新闻中心 单用户解码快44%,批量64时只剩15%
返回资讯列表

单用户解码快44%,批量64时只剩15%

今日体育资讯,由RB88官网整理:

SGLang 0.

5.

23 于 2026 年 11 月 2 日发布,包含来自 257 位贡献者的 1007 个 PR。

这一版最受关注的内容,是一个需要手动开启的「低延迟模式」:NVIDIA megakernel 插件和 AMD monokernel 插件,把解码过程作为融合的持久化内核来运行。

发布说明给出的数字是:在 GB300 上,DeepSeek-V4.

1-Flash 的单用户解码最高快 44% ;

在 MI350X 上最高快 75% 。

这两个数字需要换算一下才好理解——44% 的加速意味着单步时间减少了 30.

6% ,75% 的加速意味着减少了 42.

9% 。

被抹掉的这部分,正是启动间隙和集合通信等待。

它到底替换了什么 两个插件都通过 SGLang 的通用插件入口 sglang.

srt.

plugins 加载,不是对核心代码的重写。

不传 flag 时,SGLang 按原样运行;

0.

5.

23 的 CUDA 镜像里,插件处于「未激活」状态,除非设置 --enable-nvidia-megakernel。

开启后,SGLang 在参数解析阶段、权重加载之前就检查配置。

模型 runner 准备好受支持的模型后,构建 megakernel 并替换该模型实例的 forward。

替换后的路径只接管被覆盖的步骤,其余步骤仍走模型自己的 forward。

对 DeepSeek-V4.

1-Flash 来说,更大的 verify 步骤、prefill 和 extend 都走标准路径。

覆盖面是刻意收窄的。

NVIDIA 的表格列出 DeepSeek-V4.

1-Flash 在 GB300 和 B300 上、张量并行度为 4、投机验证步为 1 到 384 行(每请求 6 行,即 batch 1 到 64)。

B300 上的速度只测了单请求。

表格其他行覆盖 Qwen3.

5、Kimi K3、Kimi K3.

1、GLM-5.

3 和 GLM-5.

2,各有自己的限制。

两个 README 都挂着「实验性」横幅,说明内核、支持的配置和开关本身都可能变化。

为什么一个小批次能快这么多 AMD 的 README 把机制说得很直白:monokernel 是一个持久化内核,把解码层的大部分工作——包括注意力、专家混合块和两次张量并行 all-reduce——放进一到两次启动里完成。

它要消除的,是「主导小批量解码的启动间隙和集合通信延迟」。

batch 1 时,解码一步每层搬运的数据量很小。

GPU 很快算完一个小内核,然后等下一次启动,或者等 all-reduce 完成才能开始下一个算子。

NVIDIA 的 README 从另一侧描述了这个修法:内核之间通过 mailbox 和程序化依赖启动传递输出,不再跨越逐个算子的边界。

张量并行度为 4 时,每一层都要付若干次集合通信的代价。

每一次都是一个同步点,四块 GPU 一起等最慢的那块。

把 all-reduce 融进同一个持久化内核,下一阶段可以在数据到达时立刻开始,而不必等一次独立启动。

44% 在单步时间里是什么概念 加速比很容易读错。

每秒 token 数提升 44%,意味着每个 token 只花原来时间的 1/1.

44。

换算下来,GB300 上约 30.

6% 的单步时间被移除,MI350X 上约 42.

9% 。

也就是说,在最好的单用户场景下,GB300 单步里大约三分之一是间隙与同步开销,MI350X 上大约五分之二。

这本身就是个有用的诊断指标:如果你自己的 batch 1 解码 trace 里,内核之间的空闲时间也占类似比例,那这类优化就有戏;

如果 trace 显示 GPU 从头忙到尾,你拿不到这样的数字。

批量一大,收益为什么缩水 被移除的开销基本是按步计的,不是按请求计的。

而有效工作——专家矩阵乘、对更多 KV 条目的注意力——会随批量增长。

同样一份绝对节省,放在更大的步里,占比就小了。

一个刻意简化的示意模型(不是实测):假设 batch 1 时一步耗时 100 个时间单位,其中 30.

6 是可移除的间隙,与 44% 的说法对应;

假设剩余工作每多一个请求增长 3%。

按这个模型,batch 1 增益约 44.

1%,batch 2 约 42.

8%,batch 4 约 40.

5%,batch 8 约 36.

4%,batch 16 约 30.

4%,batch 32 约 22.

9%,batch 64 约 15.

about image

3%。

3% 这个增长率是为示意而设的。

要点在方向:固定的节省除以增长的分母。

真实曲线取决于专家路由、KV 长度,以及标准路径在大批量下本来就把自己的间隙重叠得有多好。

README 也说明 B300 上只测了单请求,更大批量依赖内核测试——这与收益最强的位置是一致的。

还有一层:开启投机解码后,verify 步里的「行

关注RB88官网,了解更多体育资讯。

上一篇Anthropic上市,一步天堂,一步地狱?美国AI泡沫破裂开始了...
下一篇国家报:南美足联拟推出国家联赛,世界杯预选赛将决出新冠军...

觉得内容有用?

分享给朋友,让更多人看到这篇内容。

正在被关注

查看近期访问较多的资讯内容,快速了解用户正在讨论的方向。

私家车年检彻底取消?公安部明确答复,车主不用再白跑冤枉路

私家车年检彻底取消?公安部明确答复,车主不用再白跑冤枉路

短视频里每隔一段时间就会冒出“私家车年检全面取消”的说法,车友群里一转,不少人信了,等到检验期限过了、在路上被提醒,才发现自己把“优化”读成了“废除”。 年检没有取消,取消的是过去那些不必要的跑腿和冗余环节;留下来的,是安全底线和一条不能跳过的申领程序 。 先看周期。9座及以下非营运小微型客车(面包车除外),注册后前6年免上线,第2年、第4年通过“交管12123”申领电子检验标志即可,不用开车去检

德凯特拉雷:很高兴进球帮助球队,不在意对我进球能力的批评

德凯特拉雷:很高兴进球帮助球队,不在意对我进球能力的批评

北京时间11月13日,欧国联小组赛第5轮,比利时队客场2-1逆转土耳其队,德凯特拉雷打进制胜球。赛后,德凯特拉雷接受了转播商VTM的采访,也在混合采访区谈到了比赛。 谈到球队开局阶段的表现 德凯特拉雷表示:“为什么我们开局踢得不太好?他们换了一位新教练,开场后踢得非常有强度,即使丢掉球权后也是如此。但后来我们找到了解决办法,也找到了自己的节奏。当我们找回节奏时,就很难被击败。最终,我们还是踢出了一

56岁王菲现身西藏,黑袍绿头巾忒高级了,常年拜佛,一脸慈眉善目

56岁王菲现身西藏,黑袍绿头巾忒高级了,常年拜佛,一脸慈眉善目

说来也怪,娱乐圈天天有新人冒头,热搜榜天天换话题,可只要王菲一出现,哪怕就是这么几张糊图,照样能轻易引起一阵讨论声。 这不,就在最近,56岁的王菲现身西藏,穿着一身黑袍,戴着绿头巾, 虽然是素颜朝天的样子,但依旧看着忒高级了! 甚至在某些角度,她看着远方微微一笑的时候, 浑身都透着一股清冷的淡然感 。 难道是常年拜佛,看着就自然而然更加慈眉善目了? 我有个在云南开客栈的朋友,前些年真碰上过王菲。

假如当年蒋介石赢了,中国会咋样?历史早就给出了答案

假如当年蒋介石赢了,中国会咋样?历史早就给出了答案

“要是当年国民党赢了,中国会不会更好?”这个问题隔一阵子就会在网上冒出来。 国外也有人认真讨论过。有一种开场白是这么说的:今天的中国已经实现现代化,成了美国作为世界头号强国的有力挑战者,可如果国民党赢了内战呢? 先把时间拉回去。抗战结束后,国共两党为抗击日本结成的短暂合作走到了尽头。 外国研究者最着迷的,是1946年到1949年这段解放战争。当时蒋介石在东北对共产党发起攻势,国民党老兵部队装备着美

主帅:人们只看到他的身高和笑容,两样东西被忽视了

主帅:人们只看到他的身高和笑容,两样东西被忽视了

雷霆新秀阿代·马拉(Aday Mara)打出了一场赛季代表作,主帅马克·戴格诺特(Mark Daigneault)赛后却把话题引向了人们看不见的部分。 在击败新奥尔良鹈鹕的赛后发布会上,戴格诺特说:“他个子大、性格开朗,能护筐,也有技术,这是大家看得到的。我觉得有点‘看不见’的,第一是他的球商,他对比赛的感觉真的很好,即便在进攻端也是如此;第二是他是个十足的竞争者。” 戴格诺特还专门解释了外界容易