「内存还会跌吗？KV Cache砍掉99%，单卡吞吐飙6倍，港科大、CMU联手岩山科技开源新模型」
吐槽解读：推理时代最贵的不是算力，是被越积越长的上下文撑爆的显存。谷歌上半年一篇论文把 KV Cache 压掉 6 倍就震得存储芯片股跳水，而这回 EdgeRock-4B 直接把 KV 缓存砍掉 99.1%、单卡吞吐翻 6 倍，等于把”长推理=高显存”这条铁律撕开一道口子。
它的巧思不在”更狠地压缩单 token”，而是换个思路——用固定容量的”记忆岩锚（RMA）”只钉住远处真正有价值的细节，循环层管大意、局部窗口管眼前。结果很硬：512 路并发一张 80GB 卡装得下，长上下文问答准确率 94.1%，关掉锚点就跌到 0.4%，说明远处信息确实靠锚点读回。对 Agent、端侧机器人这类”一跑几小时”的场景，固定内存意味着容量可提前规划、不会无限膨胀，这笔账比单纯追 benchmark 更值钱。当然它是 4B 小模型、能力仍略低于源模型 Qwen3.5-4B，价值主要在成本与确定性，而非天花板。
允中 发自 凹非寺量子位 | 公众号 QbitAI谷歌今年的一篇论文，愣是把存储芯片巨头的股价都给整出动静了。论文里提到，KV Cache至少能压缩6倍。要知道，大模型推理越来越吃内存，KV Cache又是其中一笔不小的开销。
现在谷歌突然把它压下去这么多，美光等存储芯片巨头的股价随之下跌。结果才过去几个月，又有人对KV Cache下了更狠的一刀。这次连压缩都不满足了。上下文从4K一路涨到256K，KV Cache占用愣是没变。在256K上下文下，始终固定在72MiB。相比源模型，KV Cache直接减少
99.1%。更夸张的是，一张80GB显卡同时跑512路长推理，输出吞吐达到12124 tokens/s，是源模型的6.42倍。而且推理能力也基本保住了，AIME 2024—2026平均一次通过率达到82.9%，而参评的有界状态模型即便做到14B，最好也只有18.8%。
这就是
图示数据（封面总览）：EdgeRock-4B 关键指标——KV缓存减少 99.1%、256K 上下文固定 72 MiB、512 路并发单卡输出 12124 tokens/s（源模型 Qwen3.5-4B 的 6.42 倍）、AIME 2024–2026 平均一次通过率 82.9%。
岩山科技旗下岩芯矩阵联合港科大、CMU等高校刚刚发布并开源的EdgeRock-4B。它给长推理带来的一个变化是：推理再长，内存不涨。模型权重和推理代码目前均已开源，还支持文本和图像推理。
推理越长，KV缓存为何越贵
推理越长，为什么越贵？
全文要点速览
| 2026年·背景 | 谷歌论文将 KV Cache 压缩 6 倍，美光等存储芯片股价应声下跌 |
| 2026年·发布 | 岩山科技岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B，KV 缓存减少 99.1%、固定 72 MiB |
| 2026年·吞吐 | 单卡 512 路并发输出 12124 tokens/s，为源模型 Qwen3.5-4B 的 6.42 倍 |
| 2026年·能力 | AIME 2024–2026 一次通过率 82.9%，远超有界状态模型最强 18.8% |
| 机制·RMA | 记忆岩锚固定容量锚点库，关掉后长上下文准确率从 94.1% 跌至 0.4% |
图示数据（KV缓存随上下文增长）：Qwen3.5-4B 每 token 新增 32 KiB KV Cache，64K 上下文≈2 GiB、256K≈8 GiB，随长度线性增长；EdgeRock-4B 在 4K–256K 任意上下文下固定 72 MiB（约 99.1% 降幅）。
现在的模型，动不动就要思考几万token；Agent更是能连续工作几十轮，搜索结果、代码、工具调用记录不断往上下文里塞。模型越干越起劲，显存却先扛不住了。问题就出在KV Cache上。如今大多数模型，都把推理历史存在KV Cache里，每生成一个token，就多存一些。
以Qwen3.5-4B为例，每个token要新增32 KiB的KV Cache。推理到64K，一条序列就是2 GiB；推理到256K，就是8 GiB。这在推理模型时代尤其要命。模型越来越爱“深度思考”，动辄输出几万token；Agent一跑就是几十轮工具调用，上下文越滚越长。
推理越长，占的显存越多，一张卡能同时服务的请求就越少。到了端侧，KV Cache还得跟感知、控制模块争抢本就有限的内存。业界的办法大致有两类。一类是给每个token“瘦身”：多头潜在注意力（MLA）压缩KV，KIVI这类量化方法降低精度，谷歌的TurboQuant也属于这一路。
但它们只降低了单个token的成本，缓存照样随推理增长。另一类是有界状态模型：循环模型、状态空间模型、滑动窗口模型，内存天生固定。问题是，它们往往留不住后续推理要用的远处细节，推理能力随之大打折扣。所以真正的难题就变成了：能不能在固定内存里，留住推理要用的关键细节？
EdgeRock给出的答案是：能。
一张卡512路长推理，吞吐翻6倍
一张卡，512路长推理同时跑
图示数据（单卡输出吞吐）：32K 输入+32K 输出，单张 80GB GPU：EdgeRock-4B 12124 tokens/s，Gemma 4 E4B 2196，MiniCPM5-2B 2117，Qwen3.5-4B 1889，LFM2.5-2.6B 1727。
图示数据（512路显存占用）：每路 32K 输入+32K 输出，EdgeRock-4B 峰值 61.26 GiB（含模型权重）一张卡装得下；Qwen3.5-4B 仅生成结束时的 KV Cache 就需 1 TiB，约 13 张 80GB 显卡。
先看最直观的吞吐。测试设定是32K输入、32K输出，所有模型都在单张Hopper 80GB GPU上跑，各自取实测最快的批大小。结果，EdgeRock-4B一口气开到512路并发，输出吞吐12124 tokens/s。源模型Qwen3.5-4B最快的配置是批大小64，只有1889 tokens/s；Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B也都在1700到2200 tokens/s之间。
差距为什么这么大？账其实很好算。32K输入加32K输出跑完，Qwen3.5-4B每条序列的KV Cache是2 GiB。单张80GB显卡并发几十条就会被占满，更多请求只能排队。而EdgeRock-4B批量运行时，每条序列需要保存的全部历史状态固定为97.76 MiB，不随长度变化。
打个比方：如果让Qwen3.5-4B也同时跑完这512条序列，光是生成结束时的KV Cache就要1 TiB，约等于13张80GB显卡的显存。EdgeRock一张卡就装下了，峰值61.26 GiB，还含着模型权重。
再看扩展性。
图示数据（扩展性·批大小加到512）：4K–32K 输入/输出 16 种负载，加权解码吞吐从 4128 涨到 12497 tokens/s，显存峰值始终未触单卡上限（79.2 GiB）。
在4K到32K输入、输出两两组合的16种负载上，批大小从32一路加到512，加权解码吞吐从4128涨到12497 tokens/s，显存峰值始终没碰到单卡上限。
单条请求也不慢。
图示数据（单条请求匀速）：128K 输入再生成 128K token，EdgeRock-4B 稳定 233.7 tokens/s（1.54×）；Qwen3.5-4B 从约 169 降到 151.3。
KV Cache随推理增长的模型有个通病：越写越慢。因为每生成一个新token，都要回头看一遍越积越多的KV Cache。EdgeRock每个token的计算量不随上下文增长。128K输入后再生成128K token，它的速度从头到尾稳在233.7 tokens/s；
Qwen3.5-4B则从169左右一路降到151.3。
上下文越长，越省钱也越确定
上下文越长，越省钱
图示数据（上下文越长越省）：同卡同负载生成同样多 token，4K 输入时 EdgeRock 仅需 Qwen3.5-4B 的 24.9% GPU 时间；32K 输入时仅需 15.6%。平均吞吐是 Qwen3.5-4B 的 4.94 倍、LFM2.5-2.6B 的 7.18 倍。
吞吐翻几倍，换个角度看，就是成本降几倍。同一张卡、同样的负载，生成同样多的token：4K输入时，EdgeRock只需要Qwen3.5-4B 24.9%的GPU时间；32K输入时，只需要15.6%。按GPU时长计费的话，每个token的算力成本也按这个比例下降。
四种输入长度平均下来，EdgeRock的吞吐是Qwen3.5-4B的4.94倍，是LFM2.5-2.6B的7.18倍。更关键的是趋势：上下文越长，差距越大。Qwen3.5-4B的KV Cache随长度越涨越多，EdgeRock的不涨。除了“省”，固定内存还带来一个容易被忽视的好处：确定。
每条请求要多少内存，推理开始前就能算清楚。推理服务可以按请求数规划容量，不必猜每条请求最终会跑多久；端侧设备一次分配到位，推理再长也不会把内存耗尽；智能体的历史内存不再随工具调用次数增长；专用芯片甚至可以把全部历史状态放进片上存储。在内存越来越金贵的当下，这笔账只会越算越值。
省了内存，推理能力没打折
省下内存，智商没打折
图示数据（推理能力对比·AIME 2024–2026）：EdgeRock-4B 平均一次通过率 82.9%；对照组最强 RWKV-7 G1j 13.3B 仅 18.8%，AHN-GDN Qwen2.5 14B 11.4%；源模型 Qwen3.5-4B 为 86.1%。
看到这儿，懂行的朋友可能要问了：恒定内存，RNN、Mamba早就做到了，有什么稀奇？稀奇就稀奇在，省了内存，推理能力还在。团队拿EdgeRock-4B和16个有界状态模型做了对比，涵盖GDN、RWKV、Mamba等路线，其中三个是14B级别。AIME 2024–2026上，EdgeRock-4B平均一次通过率82.9%；对照组里最强的RWKV-7 G1j 13.3B只有18.8%，AHN-GDN Qwen2.5 14B是11.4%。
在29项文本基准中，EdgeRock-4B在其中24项排名有界状态模型第一；29项等权均值比该指标上最强的基线AHN-GDN Qwen2.5 14B高出23.8个百分点。和源模型比，能力也基本保住了：AIME平均一次通过率保持在Qwen3.5-4B的96.3%，MATH-500达到97.5%；
29项文本基准中，有8项反超Qwen3.5-4B，包括MMLU-Pro、SuperGPQA、HumanEval和MBPP；六项视觉基准上，平均得分84.9%，保留了Qwen3.5-4B的95.3%。这一成绩，已经和内存随推理增长的领先小尺寸模型处于同一水平。
秘诀：记忆岩锚（RMA）怎么钉住关键细节
秘诀：给记忆打上“岩锚”那么，EdgeRock是怎么做到的？核心是一种新的记忆机制，记忆岩锚（Rock Memory Anchors，RMA）。它的设计取意于岩锚：将推理所需的关键信息固定下来。就像攀岩者把岩锚钉进岩壁，后面的每一步都有可靠的支点，RMA把推理途中真正重要的细节“钉”在一个固定容量的锚点库里，需要时直接读取。
具体来说，EdgeRock把每条序列的历史分成三部分保存，三部分各司其职：
图示数据（RMA 记忆岩锚架构）：每条序列历史分三部分固定容量保存——局部窗口（覆盖最近 1024 个 token）、循环状态（概括上下文）、锚点库 RMA（每 KV 组 1024 条锚点，每累积 256 条新候选取舍一次、留得分最高 1024 条）。
循环状态概括不断演变的上下文，抓大意；局部窗口覆盖最近1024个token，管眼前；锚点库从更早的历史中留住最有价值的细节，记关键。锚点的取舍过程是这样的：写入器为每个token生成一条候选记录，评分网络给它打分；每累积256条候选，就和锚点库里已有的记录放在一起比较，只留下得分最高的1024条，其余淘汰。
四个KV组各自独立进行。留下的锚点彼此独立、内容不变。所以哪怕它的来源早已滑出局部窗口，后面的推理仍然可以直接读到。说白了，模型学会的不是“记住一切”，而是“只记值得记住的”。局部窗口加锚点库，把每条序列的注意力KV固定在72 MiB。这就是内存不涨的来源。架构上，EdgeRock-4B基于Qwen3.5-4B改造：保留24个Gated DeltaNet层，把8个全注意力层换成1024窗口的滑动窗口注意力，外加独立的RMA模块。
整个模型由Qwen3.5-4B分阶段转换而来，无需从头预训练。
那锚点到底有没有起作用？
图示数据（关掉 RMA 消融实验）：16K–130K token 长上下文问答（每段 4 题），开启 RMA 准确率 94.1%（1024 题答对 964）；关闭 RMA 仅 0.4%（答对 4 题），远距离回忆几乎归零。
团队做了个实验：推理时把8个RMA模块全部关掉，循环层和局部注意力照常工作。在256段16K至130K token的长上下文上，每段问4个问题，涵盖检索、状态更新、跨文档信息组合和变量绑定：开着RMA，1024个问题答对964个，准确率94.1%；关掉RMA，只答对4个，准确率0.4%。
远距离回忆几乎归零。这说明，EdgeRock确实是靠锚点在读取远处的信息作答。而且每个锚点都记录了来源位置，可以直接查看模型选择记住了什么。内存还会跌吗？EdgeRock由岩山科技旗下岩芯矩阵，联合港科大、CMU等高校共同完成。目前模型已开源，可商用。团队透露，更多参数规模的EdgeRock正在路上。
对于需要长时间运行的机器人来说，这套机制也挺有想象空间。毕竟机器人一边感知环境、一边规划动作，任务跑上几个小时甚至更久，总不能让历史缓存跟着无限膨胀。如果推理过程中的内存占用能提前算清楚，端侧部署也能省不少事。至于内存还会不会跌，交给市场去回答。但至少有一件事已经变了：模型想得再久，记忆也不会再膨胀。
资源地址：
论文地址：https://rockmatrix.ai/documents/edgerock-report-zh.pdf
GitHub：https://github.com/rockmatrix-ai/EdgeRock
Hugging Face：https://huggingface.co/rockmatrix-ai/EdgeRock
- EdgeRock-4B由岩山科技岩芯矩阵联合港科大、CMU开源，KV缓存减少99.1%、256K上下文固定72MiB，单卡512路并发吞吐12124 tokens/s，为源模型6.42倍。
- 本文拆解EdgeRock-4B的核心机制记忆岩锚RMA：循环状态管大意、局部窗口管眼前、锚点库钉住远处关键细节，固定容量不随推理增长。
- 对比Qwen3.5-4B、Gemma、MiniCPM等，EdgeRock-4B在32K负载下吞吐达12124 tokens/s，显存峰值61.26 GiB一张80GB卡装得下。
- 在AIME 2024–2026上EdgeRock-4B一次通过率82.9%，远超RWKV-7、AHN-GDN等16个有界状态模型最强18.8%，能力基本保住。
- RMA消融实验显示：关掉锚点库后16K–130K长上下文问答准确率从94.1%跌至0.4%，证实远处信息靠锚点读回。
- 谷歌论文将KV Cache压缩6倍已撼动存储芯片股价，EdgeRock更进一步砍掉99.1%，推理时代显存瓶颈出现新解法。
- 相同负载下EdgeRock生成同样多token仅需源模型15.6% GPU时间，上下文越长差距越大，按GPU时长计费成本同比例下降。
- 固定内存让推理服务按请求数规划容量、端侧一次分配到位、Agent历史不随调用膨胀，对长时间运行场景意义重大。
- EdgeRock基于Qwen3.5-4B改造：保留24个Gated DeltaNet层，8个全注意力层换1024窗口滑动窗口，外加独立RMA模块，无需从头预训练。
- 模型权重与推理代码均已开源可商用，支持文本与图像推理，更多参数规模EdgeRock已在路上，机器人长任务部署值得期待。
文｜允中（发自 凹非寺）
文章来源：公众号「量子位」 @量子位。原文链接：https://mp.weixin.qq.com/s/XlGTNPhtP88uAL5srNtoxQ
