用 AI 核对 Gumbel-max：给每项加噪声，为什么能按指定概率选出赢家 实现离散策略或随机候选选择时，Gumbel-max可以把分类抽样写成“各项得分加独立噪声，再取最大”。噪声不是任意一种，放温度的位置也会影响含义。用三个候选和一组固定随机数，可以把这条技巧拆成可查的数值过程。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
让 AI 算 Plackett–Luce 排序：第一名选完以后，第二名为何必须换分母 检索结果或候选回答的偏好数据有时给出完整名次。为这条排序计算似然，不能把每个位置都当成从原集合重新抽一次。Plackett–Luce把排序看成连续选择：第一项离开候选池，下一步只在剩余项里归一。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
用 AI 推一遍 CUSUM：每次都没超线，连续小偏移为何仍会报警 模型服务的批次误差、延迟或特征统计量可能每天只变一点，单点阈值始终没有触发，连续趋势却已经值得检查。单侧CUSUM用一个会归零的累计量收集向上偏移。先把七个教学读数完整推一遍，就能看清它何时积累、何时忘记。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
让 AI 算马氏距离：离中心同样远，为什么一个组合更反常 模型输入中的两个特征常常一起升高。例如两种传感器读数平时同涨同落，同时偏高可能很普通，一高一低却值得检查。只看离中心的欧氏距离，会把这两种组合当成一样远。马氏距离把协方差带进了距离定义。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
用 AI 走一轮 PCGrad：两个任务相互牵制，投影后为何不再直接抵消 共享骨干同时服务分类与回归时，一个任务希望参数向某方向移动，另一个可能希望它反向移动。PCGrad检查任务梯度的点积，在发生冲突时去掉冲突分量。理解它要同时记住：梯度指向上升，真正的梯度下降更新用的是相反方向。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
让 AI 算 RANSAC 重试次数：六成点可靠，为何两点全可靠的机会不是三成六 在图像匹配或带离群点的回归中，RANSAC反复抽小子集拟合候选，再统计支持该候选的点。设置重试上限前，必须先写清一次怎样抽。小数据中，“内点比例的平方”可能高估两点都可靠的机会。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
用 AI 比较线性 CKA：两层坐标都换了，表征相似度为何仍然是一 比较两个网络层时，直接逐坐标相减可能把“坐标系变了”误认为“样本关系变了”。线性CKA比较的是成组表征的相似结构。先用同一批样本做一个四行矩阵练习，就能知道分数为1究竟保留了什么，又没有承诺什么。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
让 AI 算 sparsemax：没有手动删候选，概率为什么也会精确变成零 分析注意力权重时，常会看到很多极小却非零的数。若希望模型直接给出稀疏权重，可以研究sparsemax：它把分数投影到概率单纯形，使部分位置恰好为零。这里的零来自一个明确的优化问题，不能只靠打印时保留几位小数判断。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
用 AI 算 EWC 弹性约束：旧任务梯度平均为零，重要参数为何仍然不该随便改 模型继续学习新任务时，旧任务能力可能下降。弹性权重巩固EWC用围绕旧参数的二次惩罚，让对旧任务较重要的方向更难移动。这里的“重要”不能直接从一批梯度的平均值读出：正负变化相互抵消后，敏感性仍可能很大。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
让 AI 检查蓄水池抽样：只留两条记录，先到的数据为何仍有公平机会 持续到来的模型评测记录或训练回放候选，可能多到无法全部留存。如果希望保留全历史的均匀小样本，只保存最近几条会偏向后来的数据，最先装满后不再更新又会偏向早期数据。蓄水池抽样用固定容量，在尚不知道最终长度时维持明确的抽样... yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
yunqueblog
