DeepSeek V4 Pro出现问题，字节团队揭示真相
  • 679

最近，DeepSeek推出了新型号，尽管前几天服务器刚刚崩溃且有用户反馈，但他们立即推出了V4.1 FLash的1017版本。很多人认为此次崩溃可能是为了给用户送福利，但实际上，最新的Flash版本仍在测试中，大家对V4 Pro的去向充满疑问。V4 Pro曾因性能问题被下架，又重新上架，这引发了更多讨论。

有些研究人员，尤其是字节公司的Seed团队，找到了V4 Pro问题的线索，指出它可能在上下文压缩方面出现了问题。他们通过DeepSeek自身的推理代码进行实验，发现只需在注释中添加一些无关的等号，模型在正确和错误答案之间就会表现出明显的不稳定性。这种现象被称为“相位敏感性”，意味着V4 Pro对输入的上下文十分挑剔，容易忽视重要信息。

研究发现，V4 Pro使用的CSA+HCA组合压缩策略可能导致了这些问题。CSA将每8个Token压缩为一区块，每隔4个Token重复压缩，而实验结果表明这种策略的确会导致模型在判断过程中产生规律性的波动。此外，通过对不同版本的V4模型进行测试，发现经过后训练的正式版相较于Base版的准确性波动更大，尤其是Flash模型表现更为不稳定。 谈球吧官网首页

进一步的实验显示，使用不同的压缩策略时，分块算法显著影响模型的表现。研究人员发现，模型倾向于对特定位置的信息表现出偏好，导致不在其关注范围内的数据会被忽略。这样一来，V4 Pro模型在实际使用中遇到的困难与其记忆缺陷有关。

总的来说，DeepSeek采取的激进压缩策略尽管在成本上具备一定优势，却带来了不小的风险，影响了模型的整体性能。随着市场上许多模型的牢固表现，DeepSeek需要重新审视其压缩技术的可行性及稳定性。