让 AI 算高斯过程更新:两次读数都是零,为什么不确定性仍然下降

前天 4阅读

给设备响应建回归模型时,重复测量可能得到相同读数。预测均值没动,是否说明第二次观测毫无价值?在固定核参数的高斯过程回归中,观测还会改变对潜在函数的后验方差。把输入压缩到同一个位置,就能不用大矩阵看清这件事。

让 AI 算高斯过程更新:两次读数都是零,为什么不确定性仍然下降

AI模型生成的概念插图:同样的中心位置可伴随不同宽度的不确定性;不是实测置信区间、精确比例图或软件截图。

把真实响应与每次测量噪声分开

在固定输入x₀处,潜在函数值记作f。设其先验为均值0、方差1的高斯分布;每次读数y=f+ε,噪声ε也为均值0、方差1的高斯分布,而且各次噪声相互独立。核、先验均值和噪声方差均已固定,不在这两条数据上重新估计。

先验均值0表达模型目前的中心判断,不代表f已知为0。第一次读数恰好是y₁=0。将先验密度与观测似然相乘,关于f的指数部分是-f²/2-(0-f)²/2=-f²,因此后验仍以0为中心,方差却降为1/2。

第二次独立读数又是y₂=0,再乘一个观测似然,指数变成-3f²/2。新的后验均值仍为0,方差变为1/3。两次相同读数把较远的f值排得更不可信,即使中心没有移动,分布也确实收窄了。

同一点重复测量,对应相关的信号与独立的噪声

用高斯过程的矩阵公式复核:两次观测的潜在信号协方差矩阵全是1,因为它们共享同一个f;加入噪声后,矩阵为[[2,1],[1,2]],其逆是[[2,-1],[-1,2]]/3。测试点仍取x₀,与两次信号的协方差向量为[1,1]。

潜在后验方差等于1减去[1,1]乘上述逆矩阵再乘[1,1]的列向量,结果为1-2/3=1/3。程序同时以密度系数与矩阵两条路线计算,得到相同结果。不能把两个重复位置当成两个互不相关的潜在函数值。

下一次读数,还会叠加新噪声

若要预测的是干净函数f,一次观测后方差为1/2,两次后为1/3;若要预测下一次含噪读数y新,还需加上独立噪声方差1,所以分别为3/2与4/3。把后验函数区间直接当测量读数区间,会低估本例的预测不确定性。

一般重复n次,在这里的单位方差设定下,潜在方差为1/(n+1),后验均值为所有读数之和除以n+1。若第二次读数改为3,则两次更新后的均值变成1,潜在方差仍为1/3。这说明固定高斯模型中,方差由观测位置及噪声设定决定,不取决于这两个读数具体是多少。

可让AI先列清f、ε和y各指什么,再分别报告潜在函数与新读数的均值、方差。重复记录若只是把同一条测量复制两遍,就没有第二份独立噪声证据,不能按本例再缩一次方差。若传感器噪声强相关,也要在协方差里表达相关性。

这里是高斯过程在单个位置的简化更新,并未展示如何选核、拟合超参数或评估真实设备。它适合检查不确定性说明是否把“均值不变”误写成“没有学到信息”,以及程序究竟输出函数方差还是含噪预测方差。

资料核对日期:2026年10月2日。算例为原创教学设定,已用独立程序复核,未进行真实模型训练或效果测试。

参考资料

Rasmussen与Williams:Gaussian Processes for Machine Learning,第2章

文章版权声明:除非注明,否则均为云鹊BLOG原创文章,转载或复制请以超链接形式并注明出处。