让 AI 拆开温度与核采样:概率变尖以后,候选还要重新归一
调低temperature以后,模型是否就更准确?这个问题不能只看参数名字。温度会改变下一步的概率分布,核采样会缩小候选集合;它们都没有替候选内容补充事实证据。可以让AI交一张逐步计算卡,把两个动作拆开。
AI模型生成的概念插图:概率柱与候选范围;不是产品截图、实测分布或按正文比例绘制的图表。
三张候选卡足够演示
设某一步仅有A、B、C三个候选,在温度T=1时概率分别为0.6、0.3、0.1。这里是假定的完整分布,不是从某个聊天模型提取的记录。对正温度T,可把各概率取1/T次幂,再除以总和;它等价于先把对应logit除以T,再做softmax。
当T=0.5时,先得到0.36、0.09、0.01,总和0.46。归一后分别为36/46、9/46、1/46,约0.782609、0.195652、0.021739。第一名占比上升,另外两项仍有非零机会;不能把它描述成“每次必选A”。
截断以后,再做一次归一
Hugging Face文档把top_p描述为保留累计概率达到阈值的最小高概率候选集合。本文固定top_p=0.75,按概率从大到小累加,包含使总和首次达到或超过阈值的那一项。
若T=1,A只有0.6,不够0.75;加入B后到0.9,因此保留A、B,丢弃C。最终抽样概率不是0.6、0.3、0,而是0.6/0.9、0.3/0.9、0,即2/3、1/3、0。截断后不重新归一,概率总和就只有0.9。
若先用T=0.5变换,再应用同一阈值,A单项约0.782609,已经够了,集合只剩A。重新归一后A为1。这一确定结果来自该样例的温度与截断组合,不是“0.5温度总会确定输出”的普遍规律。
让结果能被手动抽出来
可把[0,1)分成区间:T=1加核采样后,[0,2/3)选A,[2/3,1)选B。给定演示抽数0.7会选B;温度变换后的单项集合则选A。固定这个数用于核对映射,不把一次抽样说成频率实验。
本文已用分数运算核验两套分布、候选集和总和。把top_p改成0.8还能再问一题:低温时A单独不够,需要加B;最后A、B变成0.8、0.2。可见阈值的含义是累计质量,不是留下固定数量的词。
复制这份提示词再调参数
“给定T=1分布A=0.6、B=0.3、C=0.1,分别计算T=1与0.5。流程固定为温度变换、归一、top_p=0.75截断、再次归一。列中间值、入选集合和最终分布,用0.7核对抽样区间。再试阈值0.8;不要把概率、真实性、创造力打分混在一起。”
接入实际工具时,还要核对是否启用随机采样、参数是否被该模型支持,以及其它过滤规则的执行顺序。这里演示的是明确约定的单步采样器;真实文本生成会连续执行许多步,不能从这三张卡推断整篇文章质量。
资料核对日期:2026年10月2日。文中为原创教学设定,计算核验不代表真实模型测试。


