最新Nesterov先到哪里看梯度：前瞻点用旧速度，不能多走一次 “Nesterov会提前看一眼”是一种方便的记忆法，却很容易让实现多加一次动量，或者在错误的位置求梯度。它没有预知下一步的真实结果，而是在一个由旧速度确定的前瞻点上重新评估当前损失。把参数、速度和求梯度的位置逐项记录... yunqueblog/ AI分享/ 2026-10-04/ 3 阅读
SAM 的临时扰动该不该留下：用一个二次损失检查两次梯度 把SAM接进训练代码时，一个容易藏住的错误是：先把权重移到扰动位置，再直接在那里执行优化器更新。两次反向传播都成功，损失也可能下降，结果却偏离算法。拿一个能手算的目标检查“在哪里求梯度、从哪里出发”，比只看训练曲线更... yunqueblog/ AI分享/ 2026-10-03/ 2 阅读
yunqueblog