10月15日,阶跃星辰把 Step 5 Preview 的模型权重正式放了出来,BF16 与 FP8 两种精度同时上线 HuggingFace 和 ModelScope。不到一天,这个总参数 600B、激活参数只有 27B 的稀疏 MoE 模型,就在 OpenRouter 的周榜和日榜同时冲到全球第二,近七日累计消耗约 18.8 万亿 Token。一家不太爱发通稿的模型公司,用一次权重开放把开源榜单重新洗了一遍牌。
1. 开源速览:权重上线与榜单表现
2. 核心数据:600B/27B/百万上下文的参数账
3. 技术解读一:92 层窄深架构
4. 技术解读二:Sparse GQA 稀疏注意力
5. 技术解读三:训练稳定性三板斧
6. 基准成绩、成本账本与获取路径
Step 5 Preview 走的是【以激活换参数量】的路子:600B 参数池里每层只点亮 27B,配合 100 万 Token 上下文,在 Artificial Analysis 的 Intelligence Index 上拿到 44 分,全球开源模型前三。深度、稀疏注意力、数值稳定性三条工程路线一次铺开——开源意味着这些做法人人可复现。
一、开源速览:权重上线,榜单冲到第二
2026 年 10 月 15 日,阶跃星辰开放 Step 5 Preview 的模型权重,BF16 和 FP8 两种精度同步上架 HuggingFace 与 ModelScope。同一天,多家媒体报道了它的技术细节与实测成绩。
开源带来的直接效果是流量涌入。Step 5 Preview 在 OpenRouter 的周榜和日榜同时位列全球第二,近七日累计 Token 用量约 18.8 万亿(截至 2026-10-15)——这意味着大量开发者已经在生产环境跑过它,而不只是看了几篇论文。
二、核心数据速览:600B 与 27B 的参数账
参数账往往决定部署门槛。这组【总 600B / 激活 27B】的数字把两头成本都压了下来:推理时真正参与计算的只有 27B,门槛接近中小模型;知识容量上又吃到 600B 参数池的红利。
| 维度 | Step 5 Preview | 说明 |
|---|---|---|
| 总参数量 | 600B | 专家池规模,超大模型量级 |
| 激活参数 | 27B | 单 token 实际参与计算的部分 |
| 上下文窗口 | 100 万 Token | 面向长文档与长程智能体任务 |
| 层数 | 92 个 Transformer 模块 | 窄深堆叠,非宽深并行 |
| 注意力配置 | 3:1 交错 | 3/4 Gated 滑动窗口 + 1/4 稀疏全注意力 |
| Intelligence Index | 44 分 | 全球开源模型前三 |
总参数决定模型能【记住多少】,激活参数决定它【每次动多少脑】。600B 对 27B 接近 22:1,意味着处理单个 token 时绝大多数专家是关着的——这正是它推理成本能压到八分之一量级的原因。
三、技术解读一:92 层窄深架构,为什么往深了堆
Step 5 Preview 最反直觉的设计,是它没走【宽而浅】的常规路线,而是把 92 个 Transformer 模块一路叠深,形成典型的窄深架构。
对标对象与参数效率
这套深度对标 Qwen 3.8 Max、Kimi K3 这一类万亿参数级模型,而 Step 5 Preview 总参数不到它们的四分之一、激活参数不到三分之一——靠加深层数,用更小的体量逼近更大的模型。
设计动机:智能体任务的隐式推理
阶跃星辰的理由很具体:智能体任务里工具调用环节多,每一步都高度依赖前文上下文,形成一种【隐式推理】。这种推理不像数学题一步写完,而是分散在长链条里,需要模型在层与层之间反复传递、打磨。加深,本质是给信息留更长的传递路径。
注意力配置同样服务于这个思路:按 3:1 交错布置,三层 Gated 滑动窗口注意力层结构简单、对投机解码友好,一层稀疏全注意力层保住长程信息。这种深而窄的组合,把有限算力尽量花在【层间整合】上。
四、技术解读二:Sparse GQA,先筛选再计算
在稀疏注意力这条线上,Step 5 Preview 做了两件事:注意力层按 3:1 交错布置,以及把稀疏索引塞进了 GQA。
3:1 的注意力交错
- 四分之三:Gated 滑动窗口注意力层——结构简单,对投机解码友好,推理时更容易配合投机采样加速
- 四分之一:稀疏全注意力层——保留长程信息抓取能力,避免滑动窗口把远处的关键信息切掉
Sparse GQA:块级压缩的筛选机制
Sparse GQA 的思路是【先筛选、再计算】:在分组查询注意力里引入稀疏索引,先从大量历史位置挑出真正相关的,再进入计算环节。
- 相邻历史位置被压缩为一个【块】,块大小设为 8,筛选成本直接下降 8 倍
- 每 8 个 token 为一组,组内筛选出 4096 个 token 参与计算
- 最终信息覆盖率 78.06%,与精细筛选方案的 79.09% 几乎持平
这组数据最有说服力:覆盖率只差 1.03 个百分点,筛选开销却被压掉一个量级——精度上的微小让步,换来长上下文场景下可落地的成本结构。
五、技术解读三:训练稳定性的三板斧
600B 参数、92 层深度,训练天然容易不稳定。Step 5 Preview 把稳定性工程前置到训练环节,用三个针对性措施解决了具体问题。
第一斧:隐藏状态转 FP32
把隐藏状态提升到 FP32 计算,直接效果是训练中的极端值下降近 10 倍,针对的正是深层窄架构最容易出现的数值溢出。
第二斧:归一化层缩放因子转 FP32
归一化层的缩放因子同样提升到 FP32,缓解训练输出震荡。深层模型训练中容易输出忽高忽低,把缩放因子从低精度里摘出来,等于给网络的【音量旋钮】加了一条高精度通道。
第三斧:细粒度梯度钳制
只对 0.00004% 的梯度做限幅。这避开了全局裁剪带来的收敛迟钝,让收敛曲线更平滑——不是把梯度一刀切砍短,而是只对极少数异常值出手。
这三条都属于【不踩一遍就没人知道】的工程经验。权重开源后,训练脚本与配置细节也成为可验证的公共资产。
六、基准成绩:赢过谁,又没赢过谁
在能力评测上,Step 5 Preview 的位置比较清晰:横向对比同量级开源模型占优,在最前沿的闭源旗舰面前仍有差距。
| 评测维度 | 说明 | 表现 |
|---|---|---|
| ALE-CLI | Agents’ Last Exam 的 CLI 子集 | 优于 Kimi K3、GLM-5.3 |
| FrontierFinance | 金融投资研究评测 | 优于 Kimi K3、GLM-5.3 |
| DRACO | 跨领域深度研究评测 | 优于 Kimi K3、GLM-5.3 |
把三个评测串起来看,强项高度一致:CLI 工具调用、金融研究、跨领域深度研究——都是长链条、上下文密集型任务。这和它押注窄深架构的判断吻合,也和 OpenRouter 上的真实流量对得上。
同时要说明白:即便在这些项目上,它也只是【仅次于 GPT-6 Astra 或 Claude Opus 5】这一档。开源阵营里它是第一梯队,但和最顶级闭源模型之间仍有明确差距。
七、成本账本:单任务开销只有八分之一
榜单之外,更能打动开发者的是成本。Step 5 Preview 单任务平均成本 0.71 美元,约合 4.75 元人民币;作为对照,Claude Opus 5 是 5.86 美元,约合 39.22 元。
| 模型 | 单任务平均成本(美元) | 折合人民币 | 相对成本 |
|---|---|---|---|
| Step 5 Preview | 0.71 | 约 4.75 元 | 基准 |
| Claude Opus 5 | 5.86 | 约 39.22 元 | 约 8.3 倍 |
八分之一的差距来源并不神秘:激活参数只有 27B、注意力层里四分之三是廉价且对投机解码友好的滑动窗口层、Sparse GQA 又把长上下文的筛选成本压掉一个量级。三处叠加,正好落在最在意单位成本的智能体高频调用场景上。
八、怎么上手:三条获取路径
路径一:开发者走开源权重
- HuggingFace:https://huggingface.co/stepfun-ai/Step-5-Preview
- ModelScope:https://modelscope.cn/models/stepfun-ai/Step-5-Preview
两个仓库均提供 BF16 与 FP8 权重。国内访问优先 ModelScope,海外部署优先 HuggingFace。600B 总参数意味着完整权重对显存和存储的要求依然不低——稀疏激活压低的是计算量,不是权重体积。
路径二:普通用户走腾讯 WorkBuddy
不想折腾部署的普通用户,可直接接入腾讯 WorkBuddy,官方开放了两周免费试用。对只想判断【自己日常任务用不用得上】的人,两周足够跑完一轮真实测试。
九、结语:开源阵营的一次结构性抬升
它的三条技术路线——92 层窄深堆叠、块级 Sparse GQA、训练稳定性三板斧——都是在【万亿参数级能力】与【中小模型成本】之间找平衡点的具体做法,而且这次连权重带配置一起公开。过去开源社区能抄到的是能力,抄不到的是能力怎么被工程化出来。
对开发者,开源与顶级闭源模型之间的成本鸿沟正在被抹平——单任务八分之一的价差,足以改变很多此前【成本算不过来】的应用形态。对普通用户,WorkBuddy 的两周免费试用是零成本的验证窗口。
开放权重只是起点。真正的问题是,有多少团队愿意把生产任务搬上去——OpenRouter 上那 18.8 万亿 Token 已给出第一份答案。
发表回复