同一个模型,怎样选择会改变得到什么
同一个模型、同一个提示“桌上放着……”,可以给杯、书、梨、台灯等候选分配不同可能性。每次总取当前最偏爱的候选,输出容易集中;允许按概率抽取其他候选,四次结果可能更丰富。模型参数并没有因此重新训练,改变的是如何使用它给出的可能性。
温度等设置影响候选的相对集中程度,但不是“创造力旋钮”的保证。更有变化可能带来有用新方案,也可能增加离题结果;总取最可能候选能减少某些随机变化,也不能把错误知识变成事实。本页0.50/0.25/0.15/0.10是构造概率,T=0.35/1/2用于理解选择方式,不是对真实模型多样性或可靠性的统计测量。
而且,一次选择还会改变下一步条件。决定写“杯子”之后,后续描述应接住这个对象;不能在整段生成中反复使用最初那一张候选表。逐步选择最可能的词,也未必找到整段概率最高的句子:一个眼前稍少见的开头,可能通向更集中的后续。完整的小型反例可以在自回归实验里精确枚举。
“多生成几个答案再选,是否自然就更可靠?” 只增加了候选,还要看选择凭什么成立。例如在儿童使用场景中,杯身裂纹是已给出的具体证据;“可以端热水”必须接受这条证据检查。换采样设置没有修好裂纹,也没有使这项建议获得新的支持。
因此,要区分三个可改位置:模型学到了什么,提示与观测提供了什么,以及采样怎样选择。多样性适合探索备选方案;提取编号等任务更需要一致和可核对;涉及当前事实时,补充相关观察往往比继续改种子更直接。
后面比较生成系统时,要把采样设置和评价标准一起说清。下一页继续沿接龙思路,却把要接的对象从词换成图像中的位置与表示。
三态分别展示同一构造概率表在温度0.35、1、2时的概率,并使用同一组2000个均匀随机数进行逆CDF抽样(NumPy PCG64,种子20260929)。金色计数是实际程序抽样所得,有限次数会偏离理论比例;它们不是LLM运行结果。一次选出的词再接入前文,下一位置须重新计算条件分布。可复现计算见源码 authoring/n12_temperature_experiment.py。
画面怎样推进
第1步
同一构造概率表在T=0.35下更集中;模型与提示没有改变。
打开这一停点第2步
T=1保留原概率。一次结果不能代表分布,LAB01用重复采样观察。
打开这一停点第3步
T=2使概率更平坦。抽中结果会进入前文,再预测下一位置。
打开这一停点学习材料
与当前画面直接相关
改温度改变了概率,还是重新学了知识?
用本页构造表 0.50、0.25、0.15、0.10 算一次升温:T=2 时,各项先开平方再归一化,第一候选的概率由 0.50 变为约 0.370,小候选获得更多机会。网络权重未变;本页固定 2,000 个均匀随机数,只让抽样规则改变,所以三态可作可复现对照。这不是 LLM 可靠性实测。
采到一个词以后,下一位置要用新的前缀重新算分布,不能重复抽最初那张表。自检:较高温度使建议更丰富,是否增加了“杯柄没有裂纹”的证据?没有。调温改变已有候选的倾向;增加观察改变任务证据,训练才会更新共享参数。
连续阅读
CLS 02 · 自回归:学习条件与产生序列
按连续正文理解这条方法的训练信号、使用过程与算例;数学与实践在相关问题旁展开。
先看:第2章,从对象和问题开始
阅读与实践
LAB 01 · 自回归:联合概率、贪心与温度
先读本册保存结果,再按实现顺序核对一个算例;最后只改一个变量。
先看:先看保存结果与读图解释
在 Deepnote 阅读与运行相关材料
LAB 01 · 自回归:联合概率、贪心与温度
先预测贪心会选哪条,再比较完整序列的精确概率。局部温度改变每步条件分布,不应未经核对就当成对整段概率统一做幂变换。
先看:固定对象:两个位置、四条序列;随后比较贪心、温度与采样
