云鹊BLOG云鹊BLOG云鹊BLOG
  • 首页

云鹊BLOG云鹊BLOG云鹊BLOG

当前位置:首页关于 稀疏注意力 的文章
让 AI 算 sparsemax:没有手动删候选,概率为什么也会精确变成零

让 AI 算 sparsemax:没有手动删候选,概率为什么也会精确变成零

分析注意力权重时,常会看到很多极小却非零的数。若希望模型直接给出稀疏权重,可以研究sparsemax:它把分数投影到概率单纯形,使部分位置恰好为零。这里的零来自一个明确的优化问题,不能只靠打印时保留几位小数判断。

yunqueblogyunqueblog/ AI分享/ 2026-10-03/ 3 阅读
  • 1
  • 共 1 页
Copyright2020后台修改文字. 基于Z-BlogPHP搭建