MinHash为什么要共用随机顺序：两个集合各自洗牌，碰撞率就变了 给两份文档建立短指纹时，一个常见直觉是“各随机抽一个词，相同就算一次匹配”。MinHash确实会留下一个代表元素，但它依靠的是所有集合共用同一份随机全序，而不是各自独立抽样。少了这个共享条件，得到的碰撞概率就不再是原... yunqueblog/ AI分享/ 2026-10-03/ 4 阅读
随机超平面LSH：六成多的同位率，为什么不等于余弦相似度 两条向量经过同一组随机平面，只保存每个平面两侧的符号，便得到紧凑的二进制指纹。随后比较多少位相同，看起来像在计算余弦相似度。这里恰好有一个重要细节：同位率对应的是角度的线性函数，而余弦是角度的非线性函数。把两者混用，... yunqueblog/ AI分享/ 2026-10-03/ 4 阅读
随机投影保住的是哪种距离：平均正确，单次仍可能把两点压成同一点 把向量从几千维压到几百维时，人们常用“随机投影大致保距离”解释其作用。但这句话漏掉了三个问题：保的是距离还是平方距离，是固定两点还是整份数据，以及保证来自平均还是高概率。一个二维到一维的小例，足以让这三个层次分开。 yunqueblog/ AI分享/ 2026-10-03/ 4 阅读
Hutchinson迹估计：两次探针读数都不准，平均为何仍有明确目标 大型模型的曲率分析经常遇到这样的接口：可以计算矩阵乘上一条向量，却无法把整张矩阵存下来。此时想知道对角线之和，逐列查询虽然可行，成本却可能很高。Hutchinson估计把问题换成若干随机探针的二次型平均。理解它的关键... yunqueblog/ AI分享/ 2026-10-03/ 4 阅读
缺失像素不是黑色像素：部分卷积怎样重新计数并更新掩码 图像修复中，把缺口统一填成零很方便，但真实黑色像素也可能是零。如果模型只看到数值，就无法区分“已观察到黑色”和“根本没有观察”。部分卷积同时接收特征与有效掩码，并按窗口里实际可用的位置重新缩放。用三个格子就能检查这套... yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
Grad-CAM 热区为何不等于逐像素贡献：先算通道权重再看图 看到一张红色热图，人很容易把亮区读成“每个像素给预测贡献了多少”。Grad-CAM的计算实际先把目标梯度压成每个通道一个权重，再对特征图加权。用两张小图走完这一过程，可以检查AI是否把粗粒度定位、逐位置敏感性和精确贡... yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
Deep Sets 求和以后还剩什么：用两组反例检查集合表征 把一组无序观测交给模型时，打乱输入行序不应改变整组结论。Deep Sets常用“逐项变换、求和、再变换”的结构满足这个要求。不过，求和不看顺序，并不保证保留了所有信息。检查模型结构前，先用几组小输入问清楚：读者需要不... yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
一段声音切得更细，置信度就该更高吗：检查 noisy-OR 汇聚 声音识别模型可能先给每个短片段打分，再判断整段录音中有没有某种事件。若把录音切得更密，片段级分数几乎没变，整段分数却大幅上升，应该先检查汇聚规则。noisy-OR给出了一个容易复算的例子：样本条数与独立信息量不能直接... yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
线性注意力的乘法重排：少存一张大矩阵，分母和因果前缀仍要对齐 长序列注意力会涉及大量查询与键的配对计算。线性注意力的一条思路，是先把键和值汇总成较小状态，再让查询读取状态。阅读或实现这类模块时，应先固定相似度函数，核对两种计算顺序是否等价，再检查因果范围和归一化。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
有符号特征哈希：同样发生碰撞，为什么加上负号能让内积无偏 文本分类或在线学习中，特征名可能不断增加。特征哈希把名称直接映射到固定数量的桶，避免维护不断扩大的词典，但不同特征会碰撞。有符号版本额外给每个特征一个固定的正负号。检查这种压缩方法时，最容易混淆的是“平均误差为零”和... yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
yunqueblog
