注意力分布的几何学：从 Opus 4.5 的“多问一答”看编程 SOTA 模型的底层逻辑

刚刚发现问claude opus 4.5一系列问题的时候，它会在解决新问题的同时，还连着把之前的一系列已经解决的问题也再次回答一遍，这完全证实了我之前的一些想法：像opus 4.5这样编程领域的sota模型，在长上下文的情况下，注意力依然能够平均分配到各个地方，这种注意力的分布也解释了为什么opus 4.5编程能力这么强，因为编程就是一件需要注意力分布很均匀的事情。之前也画过小模型在不同领域下注意力分布权重的不同，可以看到在编程领域注意力分布明显更平均而在开放型领域注意力分布明显更关注比较近的上下文。开放型领域模型第2个cot step对自己第一个cot step的某种相对注意力指标差不多是0.55，而leetcode这种编程数据集上是不到0.4，对于编程问题而言模型的注意力还是要放在上下文的各处比较多，对之前自己生成的COT step的注意力就没有开放型问题多。opus 4.5在编程领域的SOTA是有原因的，以至于我刚问他正常的问题，他不仅回答新问题，竟然还重新一口气回答我之前的一些问题。