云鹊BLOG云鹊BLOG云鹊BLOG
  • 首页

云鹊BLOG云鹊BLOG云鹊BLOG

当前位置:首页关于 优化器 的文章
用 AI 记两步 Adam:这一步梯度为零,参数为何还在移动

用 AI 记两步 Adam:这一步梯度为零,参数为何还在移动

如果让AI直接解释优化器,答案很容易停在“结合动量和自适应学习率”。可以给它一个只有一个参数的账本,要求把每次更新前后的状态列全。第二步故意提供零梯度,马上就能看出它是否保留了历史。

yunqueblogyunqueblog/ AI分享/ 2026-10-02/ 3 阅读
  • 1
  • 共 1 页
Copyright2020后台修改文字. 基于Z-BlogPHP搭建