Metropolis–Hastings为何要看回程概率：更常被提议，不该更常留下

21分钟前 3阅读

贝叶斯推断和概率模型里，常能算出某个状态相对多合理，却不能直接从目标分布抽样。Metropolis–Hastings用“先提议，再接受或停留”构造一条马尔可夫链。若提议机制偏向某个方向，接受率必须考虑反向提议有多容易；只比较两个状态的目标概率，会把提议偏好混入最终样本。

AI生成的概念示意图，以不等宽往返通道和等待珠子表达提议与拒绝；不是实际产品、实验流量或精确状态图。

两个状态，足够算出完整平稳分布

希望抽到甲的比例为1/3，乙为2/3，记目标π=(1/3,2/3)。提议规则是：从甲必定提议乙；从乙只有1/4概率提议甲，其余3/4提议继续处于乙。于是q(乙|甲)=1，q(甲|乙)=1/4，提议明显不对称。

Metropolis–Hastings接受率为α(x,y)=min(1,π(y)q(x|y)/(π(x)q(y|x)))。分子中的q是从候选状态回到当前状态的提议概率，不是再抄一遍正向概率。这个反向项正是修正提议不对称的地方。

从甲提议乙时，比例为((2/3)×(1/4))/((1/3)×1)=1/2，所以只接受一半。从乙提议甲时，比例为2，接受率取1。乙虽然目标概率更高，从甲去乙却不必总被接受，因为提议器已经过于容易往乙走。

甲到乙的实际转移率为1×1/2=1/2，剩余1/2留在甲；乙到甲为1/4×1=1/4，剩余3/4留在乙。因此按甲乙排序的转移矩阵两行为(1/2,1/2)、(1/4,3/4)。

核对目标分布左乘转移矩阵：新甲概率为(1/3)×(1/2)+(2/3)×(1/4)=1/3；新乙自然为2/3。也可核对详细平衡流量，甲到乙为1/6，乙到甲也是1/6。这两个独立计算都不需要运行随机链。

详细平衡并不是“两个方向转移率必须一样”。本例1/2与1/4并不相同；相等的是目标权重乘转移概率后的平衡流量。忽略前面的目标权重，会把正确的不对称链误判成错误。

错误实现若只使用min(1,π(y)/π(x))，甲到乙总被接受，乙到甲只接受1/2。乘上提议概率后，实际转移矩阵变为(0,1)、(1/8,7/8)。

设平稳时甲概率为a，那么流量平衡要求a×1=(1−a)×1/8，解得a=1/9，乙为8/9。目标本来是一比二，错误链却是一比八。运行时间更长只会让错误比例更清楚，不会替遗漏的Hastings修正补课。

若提议确实对称，q(x|y)=q(y|x)，回程项才可以约掉。是否对称需要检查实际实现，尤其在有边界的区间上，简单截断或重新采样可能改变提议密度。不能仅凭代码里用了一个“对称随机数”就假设最后的提议分布仍对称。

正确链从甲出发，如果提议乙被拒绝，新状态仍为甲。记录里应再写一次甲，因为链确实在这个时间步停留于甲。这种停留时间正是保持目标占用比例的一部分。

若只保留位置真正发生变化的记录，本例只有两个状态，序列只能甲乙甲乙交替，长期各占一半。它已经不再具有目标的1/3与2/3占用比例。去重、跳过拒绝步或“重新抽到接受为止”，都会改变记录代表的过程，除非另行设计并使用正确的停留权重。

注意提议乙到乙可能被接受但位置仍不变，所以“接受次数”与“真正移动次数”也不是同一个统计量。日志应分别记录提议、接受标记和当前状态，避免只靠变化次数估算接受率。

如果只知道两个状态的未归一化权重为1和2，也足够计算上述接受率，因为共同归一化常数在比值中消掉。连续模型使用的是相应密度比，并非要求每个点都有非零点概率；数据类型与参考测度应保持一致。

实现通常在对数域比较log U与min(0,log w(y)−log w(x)+log q(x|y)−log q(y|x))，避免很小的密度直接相除造成下溢。零目标权重、单向提议或不可达区域则需明确处理，不能依靠取对数后出现无穷值让程序自行决定语义。

让AI先枚举转移矩阵并验证行和、非负性及πP=π，再写随机模拟，能把公式错误与采样波动分开。本例链连通且存在自环，适合观察长期占用；一般大模型还要检查混合速度、相关性与初始状态影响。接受率看起来正常，不等于样本已经充分覆盖目标分布。

资料核对日期：2026年10月3日。数值均为原创教学设定，使用本地独立程序复算；未进行真实模型训练或生产性能测试。