DeepSeek又上新模型了？ 是的，前两天服务器崩溃刚刚送完钱，转手就掏出了V4.1 FLash的1017新版本。 这下实锤了，什么崩溃，明明是上新前想给大伙儿送点福利罢了（bushi。。。 不过话说回来，这次的Flash我们还在测，今天世超想聊聊的，是 为什么更新的又是Flash模型，V4Pro又到哪里去了。 毕竟那可是差点把梁圣干成牢梁，还下架又上架，秽土转生了一波的神奇模型啊。 就没人解释解释，V4 Pro到底哪儿出毛病了？ 诶，有的兄弟有的，这不，隔壁字节的 Seed 团队就挖出来了一些线索，说是模型的上下文压缩出问题了。。。 扒拉完这篇 Seed 的论文，世超觉得，这车翻得不冤，但大蓝鲸它也真没毛病嗷。 具体来说，V4 Pro 这回不是单纯的记性变差了，而是患上了某种有规律的选择性失忆。 论文里，研究人员拿 DeepSeek 自己的推理代码做了个实验，让 V4 Flash 补全一段代码。 结果发现，只要往前面的注释里加几个无关紧要的等号，上下文变长点，模型就会在正确和错误答案中间反复横跳。 而且这玩意儿还不是随机的，每隔 4 个 Token，就会重复一轮。 按论文里的专业说法，这叫 相位敏感性 。 翻译成大白话就是 V4 Pro 这条大鲸鱼非常挑食，你给它的上下文，它会挑着吃。 如果大伙儿经常用 AI，应该能感受到，模型的注意力一般集中在头和尾，中间信息经常丢失。 这回的发现则更加细致，不只是提示词整体，每个小部分里面，同样的信息，你给它调调位置，人模型可能就不乐意看了。 好家伙，谁给我小鲸鱼整这么矫情了？ 研究者们继续挖，发现原来跟 V4 Pro 的压缩策略有莫大关系。 为了维持量大管饱的超高性价比，DeepSeek 给 V4 系列模型上了一套 CSA+HCA 的组合压缩方案。 问题大概率就出在这儿，因为这俩是分块压缩的，逻辑相当简单粗暴。 比如 CSA，就是每 8 个 Token 压成一个块儿，每隔 4 个 Token 压一次，块与块之间有重合部分。 你看，这不就对上了，上面的实验里，规律也正好是 4 个 Token 一轮次。 出于严谨性，Seed 的老哥又搞了个加强版的插针实验做补充，把 16000 对数据塞进 128K 的上下文，让模型从中找出指定答案。 这回测了 4 个 V4 模型，分别是 V4 Pro 没有后训练的 Base 版和 0813 的正式版，以及 V4 FLash 的 Base 版和正式版。 成绩跟大伙儿预想的基本没差，尤其是 Base 基础版模型，Pro 的准确率波动范围有足足 34.7%，Flash 更是直接干到了 40.23%， 酣畅淋漓的大起大落 。 更难崩的是经过后训练的正式版里，Flash 的稳定性反而要压 Pro 一头，怪不得差评如潮呢。。。 而且即使正式版修补了一些不稳定的毛病，但还是存在规律的波动，没法根除。 到这儿，其实已经能看出，只要用上 CSA+HCA 的组合技的，或多或少都有点问题。 但找到了病灶，还是不知道病因呐，而且影响模型性能的因素太多，架构、训练的特殊性等等都会干扰最后的表现。 所以研究员们选择控制变量，剔除干扰因素，继续做实验。 他们拿隔壁千问 Qwen3-0.6B 的小模型当新底座，用不同的压缩策略，从头训练了一批模型。 这回算是真相大白了。 不用这种分块策略的，基本稳成了一条线，但只要加入分块算法，周期性就会凸显出来。 而且这周期还会随着压缩步长同步变化，步长几个 Token，周期也是几个 Token，一眼鉴定为亲生的。 那到底为啥分个块儿就能导致间歇性失忆呢？ 从这些训出来的小模型中，研究者们也找到了一些解释。 比如按咱正常人的理解，几个 Token 压成块儿，那自然应该平分权重，但模型却不是这么想的。 他们练着练着，就会找着一个固定口味儿，而且还是萝卜青菜，各有所爱。 比如其中的一个模型，它内部的第 14 层喜欢前面，第 10 层偏爱中间，第 9 层则中意后面。 这么压缩下来，甭管你这上下文有用还是没用，只要不在它乐意的地段儿上，那人家是瞅都不瞅一眼的。 到这儿，就跟当初折腾 DeepSeek Harness 的记忆有点对上号了。 因为 DeepSeek V4 Pro 时神时鬼，社区开发者整出了不少神奇的路子，让它发挥正常实力。 当时流行的操作是开极简模式，或者开头只给它开放俩工具，等它渐入佳境，再把完整工具放出来。 现在看，跟它的记忆缺陷可能就有很大关系，叠加上过拟合之类的潜在因素，那可不就越用越抽象了。。。 那问题来了，DeepSeek 为啥非得走这条风险奇高的路子呢？ 答案倒也直白得很，因为眼下大伙儿都在搞组合压缩，而 DeepSeek 好像一直是其中最激进的那批。 前段时间风头正盛的 Kimi-K3，用的是 KDA + Gated MLA；G