线性注意力的乘法重排：少存一张大矩阵，分母和因果前缀仍要对齐 长序列注意力会涉及大量查询与键的配对计算。线性注意力的一条思路，是先把键和值汇总成较小状态，再让查询读取状态。阅读或实现这类模块时，应先固定相似度函数，核对两种计算顺序是否等价，再检查因果范围和归一化。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
yunqueblog