Step 5 Preview开源:600B只激活27B

作者:

在

深度解读 / THE AI EDIT约 9 分钟读完
小扣 · AI工具导航
@xiaokou · 2026-10-16

10月15日,阶跃星辰把 Step 5 Preview 的模型权重正式放了出来,BF16 与 FP8 两种精度同时上线 HuggingFace 和 ModelScope。不到一天,这个总参数 600B、激活参数只有 27B 的稀疏 MoE 模型,就在 OpenRouter 的周榜和日榜同时冲到全球第二,近七日累计消耗约 18.8 万亿 Token。一家不太爱发通稿的模型公司,用一次权重开放把开源榜单重新洗了一遍牌。

📑 本期提要

1. 开源速览:权重上线与榜单表现
2. 核心数据:600B/27B/百万上下文的参数账
3. 技术解读一:92 层窄深架构
4. 技术解读二:Sparse GQA 稀疏注意力
5. 技术解读三:训练稳定性三板斧
6. 基准成绩、成本账本与获取路径

🎯 一句话看懂

Step 5 Preview 走的是【以激活换参数量】的路子:600B 参数池里每层只点亮 27B,配合 100 万 Token 上下文,在 Artificial Analysis 的 Intelligence Index 上拿到 44 分,全球开源模型前三。深度、稀疏注意力、数值稳定性三条工程路线一次铺开——开源意味着这些做法人人可复现。

一、开源速览:权重上线,榜单冲到第二

2026 年 10 月 15 日,阶跃星辰开放 Step 5 Preview 的模型权重,BF16 和 FP8 两种精度同步上架 HuggingFace 与 ModelScope。同一天,多家媒体报道了它的技术细节与实测成绩。

开源带来的直接效果是流量涌入。Step 5 Preview 在 OpenRouter 的周榜和日榜同时位列全球第二,近七日累计 Token 用量约 18.8 万亿(截至 2026-10-15)——这意味着大量开发者已经在生产环境跑过它,而不只是看了几篇论文。


二、核心数据速览:600B 与 27B 的参数账

参数账往往决定部署门槛。这组【总 600B / 激活 27B】的数字把两头成本都压了下来:推理时真正参与计算的只有 27B,门槛接近中小模型;知识容量上又吃到 600B 参数池的红利。

维度 Step 5 Preview 说明
总参数量 600B 专家池规模,超大模型量级
激活参数 27B 单 token 实际参与计算的部分
上下文窗口 100 万 Token 面向长文档与长程智能体任务
层数 92 个 Transformer 模块 窄深堆叠,非宽深并行
注意力配置 3:1 交错 3/4 Gated 滑动窗口 + 1/4 稀疏全注意力
Intelligence Index 44 分 全球开源模型前三
💡 参数账怎么读

总参数决定模型能【记住多少】,激活参数决定它【每次动多少脑】。600B 对 27B 接近 22:1,意味着处理单个 token 时绝大多数专家是关着的——这正是它推理成本能压到八分之一量级的原因。


三、技术解读一:92 层窄深架构,为什么往深了堆

Step 5 Preview 最反直觉的设计,是它没走【宽而浅】的常规路线,而是把 92 个 Transformer 模块一路叠深,形成典型的窄深架构。

对标对象与参数效率

这套深度对标 Qwen 3.8 Max、Kimi K3 这一类万亿参数级模型,而 Step 5 Preview 总参数不到它们的四分之一、激活参数不到三分之一——靠加深层数,用更小的体量逼近更大的模型。

设计动机:智能体任务的隐式推理

阶跃星辰的理由很具体:智能体任务里工具调用环节多,每一步都高度依赖前文上下文,形成一种【隐式推理】。这种推理不像数学题一步写完,而是分散在长链条里,需要模型在层与层之间反复传递、打磨。加深,本质是给信息留更长的传递路径。

智能体任务的推理藏在链条里,不在单步里。加深不是堆算力,是给隐式推理留一条更长的信息通路。

注意力配置同样服务于这个思路:按 3:1 交错布置,三层 Gated 滑动窗口注意力层结构简单、对投机解码友好,一层稀疏全注意力层保住长程信息。这种深而窄的组合,把有限算力尽量花在【层间整合】上。


四、技术解读二:Sparse GQA,先筛选再计算

在稀疏注意力这条线上,Step 5 Preview 做了两件事:注意力层按 3:1 交错布置,以及把稀疏索引塞进了 GQA。

3:1 的注意力交错

  • 四分之三:Gated 滑动窗口注意力层——结构简单,对投机解码友好,推理时更容易配合投机采样加速
  • 四分之一:稀疏全注意力层——保留长程信息抓取能力,避免滑动窗口把远处的关键信息切掉

Sparse GQA:块级压缩的筛选机制

Sparse GQA 的思路是【先筛选、再计算】:在分组查询注意力里引入稀疏索引,先从大量历史位置挑出真正相关的,再进入计算环节。

  • 相邻历史位置被压缩为一个【块】,块大小设为 8,筛选成本直接下降 8 倍
  • 每 8 个 token 为一组,组内筛选出 4096 个 token 参与计算
  • 最终信息覆盖率 78.06%,与精细筛选方案的 79.09% 几乎持平

这组数据最有说服力:覆盖率只差 1.03 个百分点,筛选开销却被压掉一个量级——精度上的微小让步,换来长上下文场景下可落地的成本结构。


五、技术解读三:训练稳定性的三板斧

600B 参数、92 层深度,训练天然容易不稳定。Step 5 Preview 把稳定性工程前置到训练环节,用三个针对性措施解决了具体问题。

第一斧:隐藏状态转 FP32

把隐藏状态提升到 FP32 计算,直接效果是训练中的极端值下降近 10 倍,针对的正是深层窄架构最容易出现的数值溢出。

第二斧:归一化层缩放因子转 FP32

归一化层的缩放因子同样提升到 FP32,缓解训练输出震荡。深层模型训练中容易输出忽高忽低,把缩放因子从低精度里摘出来,等于给网络的【音量旋钮】加了一条高精度通道。

第三斧:细粒度梯度钳制

只对 0.00004% 的梯度做限幅。这避开了全局裁剪带来的收敛迟钝,让收敛曲线更平滑——不是把梯度一刀切砍短,而是只对极少数异常值出手。

⚙️ 开源的价值在这

这三条都属于【不踩一遍就没人知道】的工程经验。权重开源后,训练脚本与配置细节也成为可验证的公共资产。


六、基准成绩:赢过谁,又没赢过谁

在能力评测上,Step 5 Preview 的位置比较清晰:横向对比同量级开源模型占优,在最前沿的闭源旗舰面前仍有差距。

评测维度 说明 表现
ALE-CLI Agents’ Last Exam 的 CLI 子集 优于 Kimi K3、GLM-5.3
FrontierFinance 金融投资研究评测 优于 Kimi K3、GLM-5.3
DRACO 跨领域深度研究评测 优于 Kimi K3、GLM-5.3

把三个评测串起来看,强项高度一致:CLI 工具调用、金融研究、跨领域深度研究——都是长链条、上下文密集型任务。这和它押注窄深架构的判断吻合,也和 OpenRouter 上的真实流量对得上。

同时要说明白:即便在这些项目上,它也只是【仅次于 GPT-6 Astra 或 Claude Opus 5】这一档。开源阵营里它是第一梯队,但和最顶级闭源模型之间仍有明确差距。


七、成本账本:单任务开销只有八分之一

榜单之外,更能打动开发者的是成本。Step 5 Preview 单任务平均成本 0.71 美元,约合 4.75 元人民币;作为对照,Claude Opus 5 是 5.86 美元,约合 39.22 元。

模型 单任务平均成本(美元) 折合人民币 相对成本
Step 5 Preview 0.71 约 4.75 元 基准
Claude Opus 5 5.86 约 39.22 元 约 8.3 倍

八分之一的差距来源并不神秘:激活参数只有 27B、注意力层里四分之三是廉价且对投机解码友好的滑动窗口层、Sparse GQA 又把长上下文的筛选成本压掉一个量级。三处叠加,正好落在最在意单位成本的智能体高频调用场景上。


八、怎么上手:三条获取路径

路径一:开发者走开源权重

  • HuggingFace:https://huggingface.co/stepfun-ai/Step-5-Preview
  • ModelScope:https://modelscope.cn/models/stepfun-ai/Step-5-Preview

两个仓库均提供 BF16 与 FP8 权重。国内访问优先 ModelScope,海外部署优先 HuggingFace。600B 总参数意味着完整权重对显存和存储的要求依然不低——稀疏激活压低的是计算量,不是权重体积。

路径二:普通用户走腾讯 WorkBuddy

不想折腾部署的普通用户,可直接接入腾讯 WorkBuddy,官方开放了两周免费试用。对只想判断【自己日常任务用不用得上】的人,两周足够跑完一轮真实测试。


九、结语:开源阵营的一次结构性抬升

它的三条技术路线——92 层窄深堆叠、块级 Sparse GQA、训练稳定性三板斧——都是在【万亿参数级能力】与【中小模型成本】之间找平衡点的具体做法,而且这次连权重带配置一起公开。过去开源社区能抄到的是能力,抄不到的是能力怎么被工程化出来。

对开发者,开源与顶级闭源模型之间的成本鸿沟正在被抹平——单任务八分之一的价差,足以改变很多此前【成本算不过来】的应用形态。对普通用户,WorkBuddy 的两周免费试用是零成本的验证窗口。

开放权重只是起点。真正的问题是,有多少团队愿意把生产任务搬上去——OpenRouter 上那 18.8 万亿 Token 已给出第一份答案。


📅 发布于 2026-10-16
✍️ 编辑于 小扣AI工具导航
🏷️ 开源大模型 · 阶跃星辰 · MoE · 长上下文

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注