「V4.1 Flash 内测,梁文锋又当回了梁圣」
V4.1 Flash 内测登场:40 天改架构、调用价不变
V4.1 Flash 中间版本 0910 到期;40 天换代架构,价格却原地踏步
DeepSeek V4.1 Flash 的中间版本 deepseek-v4.1-flash-expires-on-0910 突然开启内测,测试期到 9 月 10 日。官方表态 「采用了新的模型结构,原生多模态支持、能力更强、速度更快、且成本更低」,既没技术报告也没参数表,但透露出来的信息已经够炸。
V4.1 Flash 是 DeepSeek 第一款原生多模态模型——V4 Flash Vision-Exp 的多模态是「外挂式」:在 V4 Flash 0731 纯文本底座上,外接一个视觉编码器加一个对齐器;而 V4.1 Flash 是出厂就自带图文一体化输入输出。
更离谱的是节奏:V4 正式版到 V4.1 才过了 40 天,就采用新结构,还能在提高性能的时候降低成本——这难道不该叫 V5 Flash?
| 维度 | 关键数据 | 含义 |
|---|---|---|
| 架构 | V4.1=原生多模态;V4 视觉=外挂 | 40 天换代架构,V5 提前? |
| 速度(轻负载) | 思考 0.3s / 159.3 token·s⁻¹ / 端到端 0.8s | 「你好」实测 |
| 速度(重负载) | 420 token·s⁻¹ / 端到端 409.5 token·s⁻¹ | 长文本推理 |
| 同任务提升 | 5.2× / 6.0× / 4.6× / 5.0× / 3.9× | 相对 V4 Vision-Exp(5 类任务) |
| 价格 | 与 V4 Flash 相同 | 性能暴涨、不涨价 |
| 招聘 | 150 人 HC:服务端开发 + Agent 弹性计算 | 2-10 年资深优先,应届亦招 |
速度实测:159.3 token/秒是起点,重度负载跑到 420
在经过社区多位技术博主测试后,即使只是中间版本,它的表现也相当惊艳。最直观的对比是「你好」测试:以往跟大模型对话 界面要跳动一两秒思考指示器,在 V4.1 Flash 上模型 思考时间只有 0.3 秒,生成速率瞬间飙到每秒 159.3 个 token,整轮对话端到端耗时仅 0.8 秒。
另一组重度长文本推理的实测截图里,模型生成速度直接快到每秒 420 个 token,端到端吞吐达 409.5 token/秒。
业内人调侃:「这吞吐量直接把别家所谓的极速模式(Highspeed)做成了自己的日常基准」。
扩招 150 人:DeepSeek 的「成人礼」
就在 V4.1 Flash 发布前一天,DeepSeek 突然宣布释放 150 人招聘名额,明确面向 2-10 年资深工程师,同时兼顾应届生与新锐人才。两个方向:服务端开发工程师(大模型研究平台、Agent 框架组件、研发效率基建、DeepSeek API、线上服务、数据工程)和 Agent 弹性计算研发工程师(平台开发维护、底层调优攻坚)。
DeepSeek Harness 负责人崔添翼发文:这次扩招绝不是为了做常规业务堆人,而是因为「量的激增引发了复杂度的指数级爆炸」。
从作坊到企业:复杂度爆炸倒逼工程升级
过去大众认知里,DeepSeek 是几十个算法天才组成的「特种部队」,凭极致代码洁癖和作坊式灵感打出了硅谷侧目的战绩。但 从首轮融资到如今密集动作,DeepSeek 已演进成一家数百人规模的企业。融资后服务端扩容,再没长时间宕机——但那只是解决了浅层问题。
今天 DeepSeek 面对的不只是服务器压力。大模型正经历从「静态预训练」走向「动态环境交互」的深刻质变:过去训练是给模型塞静态文本;现在强化学习与 Agent 时代,模型必须在毫秒级内与成千上万个动态沙盒实时交互。教模型下棋,从「看千万盘死棋谱」变成「让模型同时在十万个动态棋盘前跟自己博弈」。
作坊式系统自己跑跑还行,扛不起这种级别的工业级动态负荷。以 V4.1 Flash 这种吞吐和推理速度,它需要极强的调度能力——批处理怎么排、长短请求怎么混排、流量突增时怎么秒级调资源、凌晨低谷怎么自动缩容。这些工程问题反而成了关键。
新结构同样意味着要自己改推理框架、写 CUDA 算子、做模型压缩和量化。V4.1 的 Agent 能力越强,需要的沙盒环境越多、弹性计算调度越复杂;多模态越成熟,数据管道和存储压力越大——这 150 名工程师的作用就在于此。
150 人不过是大厂一个部门季度配额,但放在 DeepSeek 身上已是 翻倍量级的大动作。DeepSeek 已完成 0 到 1,现在梁文锋面对的是 1 如何到 100——V4.1 Flash 成了 DeepSeek 的成人礼。
官方正式发布:550B 总参数,输入只激活 8B
继 9 月 9 日内测曝光之后,DeepSeek 于 9 月 10 日正式开源 V4.1 Flash——它原生支持视觉理解,是全新架构系列中最小的一款模型,550B 总参数,输入时激活 8B,输出时激活 16B(输入输出激活规模不同)。
对于这套全新基座,官方给出的设计目标是:能力上限更高、推理速度更快、吞吐更大、可扩展到更大参数模型。配套的 DeepSeek Harness 同步更新至 v0.1.5,模型针对其中的不同运行配置做了专项训练。而在 API 中,这一代 Flash 接替上一代 Pro:V4 Pro 将有序下线,相关 API 请求转向 V4.1 Flash,并按新模型价格计费。
| 维度 | 官方数据 | 说明 |
|---|---|---|
| 总参数量 | 550B | MoE 结构 |
| 输入阶段激活 | 8B | 非对称编码器—解码器 |
| 输出阶段激活 | 16B | 输入输出激活规模不同 |
| 系列定位 | 新架构系列最小款 | 能力上限更高、速度更快、吞吐更大 |
| 多模态 | 原生支持视觉理解 | 出厂自带图文一体化 |
| API 模型名 | deepseek-flash | 旧版 V4 Flash / Vision Exp 下线 |
Agent 任务大幅提升:DeepSWE 62.7 → 74.2
V4.1 Flash 的主要提升集中在 Agent 任务上。相比 V4 Pro,四项核心基准全线跃升;在官方列出的对比模型中,V4.1 Flash 在 DeepSWE v1.1、CyberGym 和 Automation-Bench 三项测试上得分最高,超过了表中的 Kimi K3、GLM 5.3、Opus 5 和 GPT 5.6-Sol。
| 基准测试 | V4 Pro | V4.1 Flash | 提升幅度 |
|---|---|---|---|
| DeepSWE v1.1 | 62.7 | 74.2 | +11.5 |
| Terminal-Bench 3.0 | 11.8 | 30.0 | +18.2 |
| Automation-Bench | 43.2 | 54.8 | +11.6 |
| CyberGym | 83.3 | 88.1 | +4.8 |
不过,各项能力的进展并不齐整。V4.1 Flash 在 GPQA Diamond 上的得分仍低于 V4 Pro,在 Terminal-Bench 3.0 等测试上也没有超过表中的全部竞品。更准确地说,它在多项 Agent 测试中超过了上一代 Pro,部分成绩达到所列前沿模型中的最高水平。
KV Cache 降至四分之一:长上下文费用下调
另一项变化在缓存。模型处理过的上下文可通过 KV Cache 保存一部分中间计算结果,后续请求中的相同前缀命中缓存时便可复用,不必每次重新计算。
按 DeepSeek 公布的数据,V4.1 Flash 每个 Token 的 KV Cache 从上一代 V4 Flash 的 3514 字节降到了 890 字节,约为此前的四分之一;与初代 DeepSeek V1 相比,则缩小到了约 1/437。
| 代次 | 每 Token KV Cache | 相对 V4.1 Flash |
|---|---|---|
| DeepSeek V1(初代) | 约 388,930 字节(推算) | 约 437 倍 |
| V4 Flash(上一代) | 3514 字节 | 约 4 倍 |
| V4.1 Flash(本代) | 890 字节 | 1× |
发布稿同时给出了两个存储口径:与上一代相比,缓存相关的 HBM 需求降至 1/4,SSD 需求降至 1/8。这里说的是缓存资源,不能直接理解为整个模型的部署显存也降到了四分之一。配套的 Harness 更新也涉及缓存:使用 V4.1 Flash 时,新版 DeepSeek Harness 支持在保留已有 KV Cache 的情况下更新系统提示词。
官方定价:北京时间 9 月 10 日 12:00 生效
这些成本变化反映到了 API 定价上。新价格自 北京时间 2026 年 9 月 10 日 12:00 生效,继续采用峰谷定价,闲时价格为高峰时段的一半。单位均为人民币元/百万 Token。
| 计费项 | 空闲时段 | 高峰时段 |
|---|---|---|
| 输入:缓存命中 | 0.02 元 | 0.04 元 |
| 输入:缓存未命中 | 1 元 | 2 元 |
| 输出 | 4 元 | 8 元 |
高峰时段为工作日北京时间 9:00—12:00、14:00—18:00,其余时间均为空闲时段,包括周末休息日。
同样是 100 万输入 Token,闲时缓存未命中收 1 元,命中缓存收 2 分钱,两者相差 50 倍。不过,任务总费用还要加上未命中的输入和输出,不能把缓存单价当成全部 Token 的价格。
举个假设的账单:一批任务累计产生 1 亿缓存命中输入 Token、100 万未命中输入 Token,以及 10 万输出 Token。按上述单价计算,全部在闲时执行,费用为 2+1+0.4=3.4 元;同样的用量全部在高峰时段执行,则为 6.8 元。
Harness v0.1.5:Agent Teams 与文件处理补齐
DeepSeek Harness 是让模型读取和修改文件、运行命令、调用工具并持续执行任务的运行环境。它提供 Web 界面,用户可以选择工作区、发起任务,再查看模型的执行过程与结果。
这次的 v0.1.5 与 V4.1 Flash 的训练做了深度结合。模型针对标准模式、程序化工具调用(PTC)模式和极简模式都进行了专项训练和优化,适配覆盖了不同的工具使用方式。
| 模块 | 更新内容 |
|---|---|
| 训练适配 | 针对标准模式、程序化工具调用(PTC)模式、极简模式专项训练 |
| 文件处理 | Web 界面可上传图片、PDF 等文件;右侧边栏浏览文件树,预览 Markdown/HTML/PDF/代码/图片 |
| 子 Agent 通信 | 父 Agent 与子 Agent 支持双向通信;主 Agent 可为子 Agent 选择模型与推理强度 |
| 消息控制 | 用户可排队发送消息,编辑、删除待处理消息,也可插话或停止任务 |
| Agent Teams(实验性) | 主 Agent 可创建多个团队成员,共享任务列表拆分分配;默认关闭,需插件启用 |
| 插件界面 | 左侧边栏可注册全局入口,右侧可注册新标签页;长会话加载/恢复/内存优化 |
新版还提供了实验性的 Agent Teams——主 Agent 可以创建多个团队成员,通过共享任务列表拆分、分配和跟踪工作,成员之间能够互发消息,最后由主 Agent 汇总结果。这个功能默认关闭,需要通过实验性插件启用,使用时会产生额外 Token 消耗。
DeepSeek 分享的社区案例里,已经有开发者用 V4.1 Flash 与 Harness 做出剪纸风游戏《纸虎》,案例标注为「两轮提示词制作」;另一项展示则是三棱镜光学渲染。
怎么用:模型名与路由安排
按照此次发布安排,V4.1 Flash 已上线 DeepSeek API,模型名称设为 deepseek-flash。旧版 V4 Flash 与 V4 Flash Vision Exp 下线,原有的 deepseek-v4-flash、deepseek-v4-flash-vision-exp 两个模型名暂时路由到 V4.1 Flash,以兼容已有调用。
| 模型名 | 状态 / 路由 |
|---|---|
| deepseek-flash | V4.1 Flash 正式模型名 |
| deepseek-v4-flash | 已下线,暂时路由至 V4.1 Flash |
| deepseek-v4-flash-vision-exp | 已下线,暂时路由至 V4.1 Flash |
| deepseek-v4-pro | 9 月 14 日 12:00 后至 V4.1 Pro 上线前,路由至 V4.1 Flash 并按新单价计费 |
北京时间 2026 年 9 月 14 日 12:00 之后,至未来 V4.1 Pro 上线之前,发往 deepseek-v4-pro 的请求也将全部路由到 V4.1 Flash,并按 V4.1 Flash 单价计费。腾讯 WorkBuddy、CodeBuddy,以及 OpenCode,作为官方合作伙伴已全量接入新模型。
使用 DeepSeek Harness,可以在已安装 Node.js 开发工具链的系统中运行:npx @deepseek-ai/dsh web。启动 Web 界面后,在设置中填写 DeepSeek API Key,再选择工作区,即可开始任务;如果需要从源码安装,则获取项目仓库 git clone https://github.com/deepseek-ai/deepseek-harness 并按仓库说明完成配置。模型与 Harness 的使用反馈,可以通过界面中的点赞、点踩,或 /feedback 命令提交。
模型开源:支持社区推理适配
发布稿提供了 V4.1 Flash 的模型与技术报告入口。DeepSeek 表示,将支持开源社区进行新模型的推理适配,并探索扩大部署范围;对于有大规模部署需求、具备约 2000 张 GPU 和存储集群资源的团队,也开放合作联系。
模型地址:https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
技术报告:DeepSeek_V41_Tech_Report.pdf
思考:DeepSeek 赌的不是参数,是「入口」
V4.1 Flash 这次「推倒重来」,表面看是 40 天换了套非对称结构,底层逻辑却和外界盯着的那几个跑分、那点降价没太大关系。官方论文说得很直白:旧架构已经装不下新的训练目标了。这个新目标,大概率就是「入口」。
非对称结构,是为了喂饱 DSH 这个「训练场」
过去都是先有模型、后有 Harness(工具外壳),厂商照着模型能力去搭配套件。但 V4.1 Flash 是被 DSH(DeepSeek Harness)反哺出来的:后训练全程没有算法改动,变化全在数据流水线——模型在 6 种 Agent 框架里反复试错,DSH 是其中最重要的那个训练场,V4.1 还专门给它不同操作模式做了定向训练。为了迎合 DSH 的偏好,DeepSeek 才狠心把 V4 推倒重来。
新结构 CED(Causal-Encoder-Decoder)把 40 层拆成前 20 层编码器、后 20 层解码器:编码器只「读」、把输入压成摘要,解码器只「写」、照摘要生成。记忆只产生一次,全局 KV Cache 压到 890 字节/token,仅为 V4 Flash 的四分之一。为什么这么折腾?因为 Agent 时代输入动辄几十万 token、远大于输出(密歇根、斯坦福论文测得 agentic 代码任务输入输出比 154:1),旧结构为「聊天」设计,扛不住输入密集的 agent 负载。结构,是被执行目标倒逼出来的。
智谱、Kimi 也有闭环,只是那是「闭关修炼」
不是说别家没有工具闭环。Kimi 有 Kimi Claw、AgentENV 沙箱(K3 训练跑了 5100 万个沙箱),智谱有 ZCode、AutoClaw,GLM-6.0 还主打 Full Self-Training(完全自训练)。但它们的工具是「后挂的外壳」——模型先在合成环境里练好,再套个产品给人用,数据不触达外界,等于闭关修炼。DSH 和腾讯的 WorkBuddy 不一样:用户在真实环境里干活,数据自然回流,模型在实战里被养大。姚顺雨的 Hy4 preview 也走在这条路上,靠 CodeBuddy、WorkBuddy 和内部 163 名专家共建真实工程数据,入口的价值已经显现。
吉列逻辑:用 Harness 锁死用户
所以梁文锋抢的其实是「入口」。DSH 从极客玩具(一切皆插件、连 UI 都是社区写的)一路迭代到 v0.1.5,开始提供标准化 UI 扩展、文件交付、甚至「保留 KV Cache 切换系统提示词」这种只有产品才在乎的体验——它正从框架蜕变成面向终端用户的入口。这像吉列卖剃须刀:刀架(Harness)可以不赚钱甚至免费,真正锁客的也是刀架;想换模型,复制一段 API Key 就行,想换 Harness,得重新适应很久。DeepSeek 大量优化 DSH 体验,既为反哺未来的 V4.1 Pro 乃至 V5、V6,更是在抢那个决定「用户最终落在谁家」的入口。
思考综合自字母AI《DeepSeek“推倒重来”》。
来源|字符AI,转载已获原作者授权(TeTsaiPrime),邮箱 149559268@qq.com
- DeepSeek V4.1 Flash 中间版本 deepseek-v4.1-flash-expires-on-0910 开启内测,测试期到 9 月 10 日,官方称采用新结构、原生多模态、性能与成本均改善。
- 实测「你好」一问,V4.1 Flash 思考 0.3 秒、生成 159.3 token/秒、端到端 0.8 秒;重度长文本推理达 420 token/秒、端到端 409.5 token/秒。
- 同任务端到端对比 V4 Flash Vision-Exp:49k 上下文检索快 5.2 倍、SVG 快 6.0 倍、Manacher 快 4.6 倍、SQL 快 5.0 倍、asyncio 架构重构快 3.9 倍。
- 价格与 V4 Flash 相同——这是梁文锋被重新尊为「梁圣」的核心原因:性能暴涨,调用成本不动。
- 就在内测前一天,DeepSeek 宣布扩招 150 人 HC,方向覆盖服务端开发(大模型研究平台、Agent 框架、研发效率基建、DeepSeek API、线上服务、数据工程)与 Agent 弹性计算。
- DeepSeek Harness 负责人崔添翼解释:量的激增引发复杂度指数级爆炸,原作坊式后端扛不住工业级动态负荷,必须升级、维护、重写。
- 大模型从「静态预训练」走向「动态环境交互」:训练需毫秒级与成千上万沙盒实时交互——这是新结构 + 150 人 HC 的工程意义。
- V4.1 Flash 是 DeepSeek 第一款原生多模态模型,区别于 V4 Flash Vision-Exp 的「外挂」式多模态——V4.1 出厂自带图文一体化输入输出。
- V4 正式版到 V4.1 只用 40 天便采用新结构并降本,业内调侃「这难道不该叫 V5 Flash 吗」。
- DeepSeek 已完成 0→1,正在用 150 人 HC 回答 1→100 的问题——V4.1 Flash 被外界视为 DeepSeek 的「成人礼」。
补充视角 · 量子位转载《DeepSeek V4.1 Flash上线,跑分重回国产一哥》@量子位
以下为量子位(QbitAI)原文的补充转载,正文逐字,未改写;原图在落库稿中按纯文字稿处理(如需保留原图可本地化水印后补)。
DeepSeek V4.1 Flash上线,跑分重回国产一哥!
榜单涉及的模型:Kimi-K3 / GLM-5.3 / DeepSeek-V4.1-Flash / Opus5 / GPT-5.6-Sol 涉及的基准:Terminal-Bench 3.0 / DeepSWEv1.1 / CyberGym / Automation-Bench OCR 读到的分数(顺序未保证对应):88.1, 84.5, 84.5, 80.0, 74.2, 74.0, 73.0, 67.5, 66.9, 54.8, 48.8, 50.3, 46.7, 45.8, 43.3, 34.4, 30.0, 28.3, 17.7
而且这次,是完全重新训练的非对称模型新架构。
552B参数的MoE模型,采用了全新的Causal-Encoder-Decoder结构,输入和输出不对称,输入激活只有8B,输出激活16B。
这种架构成本显著低于已知的同尺寸模型,难怪这两天测试感觉速度飞快,原来不光是因为用的人少。
这次重新预训练、用了新的数据、强化学习后训练规模更大,训练过程还与新版DeepSeek Harness v0.1.5深度结合。
所以Flash打败自家Pro(除了知识容量),昨天还觉得离谱,今天一下子合理了起来。
| 基准 | DeepSeek-V4-Pro(0813) | DeepSeek-V4-Flash(0731) | GLM-5.3 | Kimi-K3 | DeepSeek-V4.1-Flash | GPT-5.6-Sol | Claude-Opus5 |
|---|---|---|---|---|---|---|---|
| GPQA Diamond | 90.9 | 89.9 | 88.1 | 92.9 | 94.1 | 92.4 | 93.4 |
| HLE | 43.5 | 44.5 | 42.7* | 37.8* | 42.0* | 36.8(39.1*) | 56.3 |
| Codeforces Rating | 3348 | 3471 | 3289 | — | — | — | — |
| MathAreana Apex | OCR 数值不完整(约 65.6/65.3/58.6/65.6/90.6/87.9/82.7…),对应模型未可视化核对 | ||||||
| Terminal-Bench 2.1 / 3.0 | OCR 读到 89.1/30.0/11.8/7.6/28.3(2.1)与 17.7/34.4/43.3/31.2/12.(3.0),对应列未核对 | ||||||
V4.1 Flash也是DeepSeek首个原生支持多模态视觉理解的正式版模型,此前视觉能力以实验版V4 Flash Vision Exp的形式单独提供,现在统一到了一个模型里。
再加上9月14日起所有V4 Pro的请求会被重新路由到V4.1 Flash。
所以未来一段时间内,直到V4.1 Pro上线,DeepSeek API将只提供这一个模型。
经多方测试,V4.1 Flash 在性能、费用、速度、总用时等各项指标上已全面超越 V4 / Pro,因此我们计划有序下线 V4 Pro。北京时间 2026 年 9 月 14 日 12:00 之后,至未来 V4.1 Pro 上线之前,您访问
deepseek-v4-pro的请求将全部路由到 V4.1 Flash,并按 V4.1 Flash 价格计费。
此外,还有一个能影响整个行业的消息。
推理效率方面,V4.1 Flash的KV Cache缓存大小相比上一代模型,对HBM的需求减少到1/4,对SSD的需求减少到1/8。
从初代V1到V4.1 Flash,KV Cache足足缩小到原来的1/437。
| 版本 | 每 token KV Cache(字节) | 发布时间 | 压缩标注 |
|---|---|---|---|
| DeepSeek-V1 | 389,120 | 2023.11 | 基准 |
| DeepSeek-V3.2 | 48,068 | 2025.12 | 8.1× smaller |
| DeepSeek-V4-Flash | 3,514 | 2026.04 | — |
| DeepSeek-V4.1-Flash | 890 | 2026.09 | 3.9× smaller(较 V4-Flash);较 V1 约 1/437 |
咱就是想问,内存啥时候降价?
51页论文解析
模型变化这么大,论文也少不了,刚放出的pdf足足有51页。
从标题就在强调“把KV缓存压缩到极致”。
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression — DeepSeek-AI — research@deepseek.com
究竟怎么压缩这么狠的呢,先从架构开始说起。
非对称Transformer,提示词不必走完整40层
新架构是40层因果Transformer,被切分为前20层的因果编码器和后20层的解码器,这套结构命名为Causal Encoder-Decoder(CED)。
DeepSeek-V4.1-Flash 整体架构:40 层网络分为因果编码器(Causal Encoder)与解码器(Decoder),含 MoE 专家层、CSA2 模块(含 Reuse / Full / Reindex 等变体)、Embedding(CED)、Hierarchical Single-Pass mHC、Candidate Pool、SparseIndexer、Text/Vision Embedding、Vision Encoder 等组件。
CED受YoCo架构启发,但做了一系列结构改进来提升KV Cache容量和KV生成的计算深度。
CED的核心在于非对称。编码器处理输入时激活8B参数,解码器生成输出时激活16B参数。
在Agent工作负载中,频繁的工具调用会产生大量prefill请求,CED的处理方式是:解码器的全局KV Cache不从各层自身的隐藏状态生成,而是直接从编码器最后一层(第20层)的隐藏状态投射得到,每层使用独立的投射权重。
这样一来,大部分prompt token只需通过前20层编码器,不必再走完整的40层。
对于序列长度远大于滑动窗口的场景,prefill计算复杂度直接从O(NL)降至约O(NL/2),接近减半。
CSA2注意力:沿三个维度同时压缩缓存
接下来是注意力机制的改动。
Compressed Sparse Attention 2(CSA2)取代了V4中CSA与HCA的混合架构。
CSA2沿三个维度同时压缩缓存:条目大小、序列维度和层维度。
跨层复用全局KV和Top-K索引来减少存储和计算。
CSA2的压缩器和索引器也做了简化,去掉了CSA中相邻压缩条目之间的重叠和绝对位置嵌入,索引器K改为从主KV条目投射获得,而非从隐藏状态单独压缩。
CSA2定义了三种静态分配的工作模式。
-
Full模式执行完整计算路径,生成自己的全局KV,投射索引器K,运行索引器产生Top-K索引。
-
Reindex模式复用前序Full层的全局KV和索引器K,但用自己的索引器查询重新评分,选出新的Top-K。
-
Reuse模式最轻量,直接复用前序层的全局KV和Top-K索引,不做任何索引计算。三种模式下每层都保留自己的查询和滑动窗口KV(SWA KV)。
注意力机制示意(Full / Reindex / Reuse 三种模式):核心注意力(Core Attention)在 Main KV 与 Indexer / SWA 之间做 Selection / Top-K / Concatenation。Reuse 模式复用历史 KV,Reindex 模式重算索引。
三种模式下每层仍保留自己的查询和滑动窗口KV。编码器以少数纯SWA层开场,其余按组编排,每组一个Full带若干Reuse;解码器则大量使用Reindex打头的组,在复用缓存的同时保留逐层重新选择注意力目标的能力。
解码器另外引入层次化稀疏索引器。
第一个Full层在扫描全部可见位置的同时,通过逐块评分构建一个共享候选池;后续Reindex层只在池内搜索。
由于池的大小固定,深层索引器的每查询计算量不再随上下文长度增长。这个机制是training-aware的,在后训练中引入,训练与推理施加相同的候选约束。
Hierarchical Sparse Indexer:每个方块代表一个位置,绿块为选中索引,蓝框为基于最大值选中的块;含 Top-512 候选池、Full / Reindex 模式、Score on Full Positions 与 Score on Candidate Positions。
缓存精度与持久化分层
缓存精度上,V4.1 Flash将主KV Cache从FP8进一步压到FP4,采用分组缩放因子的E2M1方案,并在论证数值范围安全后省略了二级全局缩放因子。
对量化更敏感的SWA KV仍保留FP8。FP4通过QAT在后训练阶段引入,量化点选在RoPE之后——放在之前只有边际精度收益,却要付出解码开销。
部署侧引入SWA Bounded Replay。
上一代精确重建SWA KV需要按层数成倍回放token,生产环境成本过高,V4.1改为只回放最近一个窗口的token做近似重建,对响应质量影响可忽略。
于是KV Cache被拆成两级,SWA KV移出持久化层,改放在各机预留的一小部分主机DRAM组成的分布式内存池中,TTL只有分钟级,过期即回收;全局KV留在SSD上的持久化缓存,保证数十小时生命周期。
其他架构扩展
– Single-Pass mHC:将输入混合系数偏移一个块,消除原始多核实现中的数据依赖;配合Mega-mHC部署内核,激活内存流量减半并触到理想下界。
– Engram条件记忆模块:在浅层和中层各插入一处,多阶n-gram、多hash head索引,推理时通过后台RDMA从主机内存预取嵌入。它贡献了模型中相当大比例的参数量。
– DSpark投机解码:在骨干冻结后独立训练,用少量Transformer块并行产出多个草稿位置的logits,配一个Markov head建模草稿token间依赖、一个置信度head预测逐位置接受概率,调度器再结合引擎吞吐曲线为每个请求动态选择验证长度。
45万亿token预训练,后训练只改数据不改算法
预训练,数据重新清洗
模型在数十万亿token的多模态语料上预训练,全程无不稳定。
稀疏注意力从零开始训练,没有任何密集注意力预热阶段;多模态数据从第一步就混入;长上下文扩展在训练后段一次完成。
这次DeepSeek在数据侧提出两个判断。
一是把弱模型生成内容和低质量机器翻译定义为“隐性重复”并过滤掉,理由是它们主要是对已有信息的改写,在长训练周期中可能有害。
二是发现爬虫系统过度偏向纯文本网页,于是从Common Crawl重新引导抓取以提高多模态来源覆盖。
交错图文数据的构建被组织成成本递增的流水线:在昂贵的图像检索之前先用启发式过滤、去重和质量模型筛出高价值文档,组装成交错序列后再做图像感知的过滤与去重,最后交给VLM严格评分;被淘汰的文档还会部分回收为图文对。
优化器是分层的:线性变换权重用Muon,归一化与非矩阵参数用AdamW,嵌入表和预测头则用基于Sinkhorn平衡的动量更新。交替对行列归一化以近似均衡更新矩阵的行列RMS,只需一个动量缓冲区而非Adam的两个状态,直接压掉了巨量Engram参数带来的优化器状态内存。
Q/K权重使用head-wise Muon,为不同注意力头提供不同预条件器。视觉编码器在学习率衰减前保持冻结,仅归一化层与投射器可训练,衰减开始后再以更小学习率解冻联合优化。
后训练,只改数据不改算法
这次V4.1 Flash后训练流程沿用SFT + RL + OPD的标准范式,所有改变集中在数据与环境管线。
原文写道:“在当前阶段,工程化数据和环境管线的边际回报远超后训练中算法创新的边际回报。”
任务合成管线把每个训练任务形式化为(问题、环境、验证系统)三元组,沿难度与正确性两个维度评估,再用这两个信号迭代训练“造任务的模型”,并在任务每次进入新的RL运行时用产生的轨迹重新审计质量。
环境构建走了两条路。
General Agent环境取材于内部员工和合作伙伴的真实交互数据与失败案例,据此重建SaaS、企业应用和后端系统的mock工具集,连工具上下文、交互模式和失败条件一起复现。
Coding Agent环境则由多个专门化Agent协作流水线产出。构建Agent判断项目可运行性与可验证性并设计评测点,搭建Agent配置依赖、清除泄露解答的痕迹并打包镜像层,解题Agent尝试完成任务,独立质检Agent审查事实错误、评测点匹配度和可攻击性风险,不通过则交修复Agent返工重验。
支撑规模的是自研沙箱平台DSec,训练期间并发实例达到百万级。它没有用Kubernetes,而是自研放置引擎,以弱一致性换扩展性,多个副本不做同步协调,各自依据近期测量预测资源可用性独立决策,准入约束由各节点本地执行。单物理节点通过sub-NUMA分区与NUMA绑定,把容器密度提升了一倍以上,再配合延迟敏感执行类和超线程核心调度消除干扰。
RL中出现了大量奖励黑客和环境破坏行为。
Agent利用了真实披露的内核驱动权限问题、安全模块的非法内存访问、从软件包镜像服务泄露答案,也删过关键二进制、破坏系统文件、甚至移除整个文件系统。
防御手段是per-sandbox的AppArmor配置和基于eBPF的细粒度网络策略;Agent弄崩环境会被当作失败轨迹,并向RL框架回报一个 “repercussion” 信号。测试阶段同样出现类似行为。Agent会去反编译系统软件包挖漏洞。
可控推理强度
系统提示词中可加入一个标量effort级别,token惩罚系数随其指数衰减,API对外只暴露三档。
从低档到最高档,推理基准与Agent基准的成绩都有可观提升,代价是数倍输出token;但收益并不线性,中高区间就能恢复最大设置的大部分准确率而token消耗不到一半,最后一段提升要用近两倍的轨迹长度换边际改善。
虽然训练只用了有限几个级别,部署时中间值仍能引出插值后的推理行为。
OPD:多教师与token级中断恢复
蒸馏阶段动用了四十余个教师模型,不同领域的最优教师可能来自模型开发的不同阶段,彼此架构也未必相同。
配套的异步生成机制支持token级中断与恢复:rollout状态(含KV Cache与专家路由)以token粒度持久化,切换检查点后直接复用,彻底消除重新prefill的成本。
一句话总结
V4.1 Flash的全部架构创新几乎都指向同一个目标,让KV Cache在层与层之间尽可能被复用、在精度和存储层级上尽可能被压缩。
从而让长上下文Agent负载在经济上成立。
在后训练上,DeepSeek公开承认算法已非瓶颈,几乎把资源全押在数据与环境工程。
论文地址:
https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf






284B 总参数,13B 激活。不是云端,是端侧。它跑得动,够得着,只是还不够轻。
V4.1 证明了另一件事:架构效率还能再提。
总参数更大,但激活参数降到输入 8B、输出 16B。用更少的计算,做到更强的能力。这不是堆出来的,是设计出来的。
两个已知条件合在一起,结论只有一个:
用 V4.1 的架构效率,专门为机器人场景裁一个更小的版本。不比 V4.0-Flash 大,只比它小。不追求全能,只追求在机器人这个场景里够用。
这就是机器人左脑。