Brier分数相同也要拆开看：校准、分辨率和事件本身各占哪一份

30分钟前 2阅读

分类模型输出0.8时，含义应当比“最后判成正类”更丰富。Brier分数用概率与实际0/1结果之间的平方误差衡量这种预测，数值越低越好。一个总分却混合了概率是否可信、模型有没有区分不同风险，以及这批事件本来有多难猜。先用八条记录拆开这些因素，才能判断下一步该改哪里。

AI生成的概念示意图，以三只托盘表示分数的不同组成；不是实际评测界面，也不是正文各项的比例图。

直接从每条平方误差算起

第一组四条记录都预测p=0.25，真实结果为0、0、0、1；第二组四条都预测p=0.75，结果为0、1、1、1。第一组平方误差之和为3×0.25²+0.75²=0.75，第二组相同，总和1.5。除以八条，Brier分数BS=0.1875。

本文采用二分类单事件定义BS=平均(p−y)²，范围是0到1。有些多类别写法把所有类别的平方误差相加，在二分类时得到两倍数值。比较实现前要先锁定定义，不能看两个数相差两倍就判断模型表现变了。

整批正例比例为4/8=0.5。第一组的实际正例率为0.25，第二组为0.75，恰好与各组预测一致。但这只是当前有限样本中的一致性，不能据此保证未来每批同样校准。

按每个不同的预测概率分组，记组权重wk、共同预测pk、组内正例率ok，以及总体正例率o。可靠性项REL=Σwk(pk−ok)²；分辨率项RES=Σwk(ok−o)²；不确定性项UNC=o(1−o)。在这样的精确分组下，BS=REL−RES+UNC。

本例两组各占一半，REL=0；RES=0.5×(0.25−0.5)²+0.5×(0.75−0.5)²=0.0625；UNC=0.5×0.5=0.25。相减得到0−0.0625+0.25=0.1875，与逐条计算一致。

REL越小越好，因为它度量组内预测与发生率的偏差；RES在这个恒等式中被减去，反映各组实际发生率偏离总体率的程度。名称叫“分辨率”，不是图像清晰度，也不能直接替代AUC或分类准确率。它依赖如何形成预测分组及当前标签分布。

如果所有八条都报0.5，就只有一个组，预测恰好等于总体发生率，所以REL仍为0。但RES也变为0，BS=0.25。模型没有把低发生率组和高发生率组区分开，虽然在这批数据上满足了一个粗粒度的校准条件，总分仍比前面差。

再保留原来的两组划分，只把低组预测改成0.1、高组改成0.9。组内实际发生率仍为0.25和0.75，因此RES与UNC不变；REL变为0.5×0.15²+0.5×0.15²=0.0225，最终BS=0.21。

逐条也能验证：低组误差为0.01、0.01、0.01、0.81，总和0.84；高组同样0.84，平均1.68/8=0.21。模型把两组拉得更开，却把概率推得过头了。只看预测概率的跨度，不能判定概率质量提高。

考虑只有两条记录：p为0.1和0.9，标签为0和1。原始BS=(0.01+0.01)/2=0.01。若把它们硬合成一个箱，用平均预测0.5、平均标签0.5代入上述三项，就会得到REL=0、RES=0、UNC=0.25，与真实0.01不符。

差异不是浮点误差，而是同一箱内的预测值不再相同。把每条预测替换成箱均值，改变了待评分的数据；原分数的精确分解需要额外保留箱内变化信息。画可靠性图时使用区间箱很常见，但不能无条件把图上的箱均值当成原始Brier分数的完整分解。

另一个边界是全负例数据，此时UNC=0。如果进一步定义技能分数1−BS/UNC，就遇到除零。必须明确如何报告这种批次，不能靠加一个很小的常数制造看似稳定但没有原定义含义的分数。

可以让AI生成逐条平方误差、精确概率分组、三项复合三条独立计算路线。先用八条例子检验，再用两条合箱反例确认程序能够区分“原始分数”与“分箱后分数”。组权重应是样本数占比，不能把大小不同的组简单等权平均。

真实连续概率常常几乎每条都不同。精确分组虽然保持代数恒等式，却会让组内发生率极不稳定；这时更需要独立测试数据、置信区间或明确的估计方法，而不是把有限样本分解直接解释成模型的长期性质。用同一批标签选择校准方法再打分，也会让结果过于乐观。

最终报告同时留下BS定义、样本量、正例率、分组规则和评测集来源。Brier分解适合定位概率预测的问题，不会替你决定误报与漏报的业务代价；阈值如何选，还需要另行说明。

资料核对日期：2026年10月3日。数值均为原创教学设定，使用本地独立程序复算；未进行真实模型训练或生产性能测试。