
<a id="n12-title"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-title)


# 同一个模型，怎样选择会改变得到什么

王德泉 · Coding with AI · Lecture 04


<a id="n12-19965d7a317b"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-19965d7a317b)

同一个模型、同一个提示“桌上放着……”，可以给杯、书、梨、台灯等候选分配不同可能性。每次总取当前最偏爱的候选，输出容易集中；允许按概率抽取其他候选，四次结果可能更丰富。模型参数并没有因此重新训练，改变的是如何使用它给出的可能性。


[课程图解] 模型与提示不变，选择规则就能改变这几次候选的集中程度。；图中标签与关系：同一提示：“桌上放着……” · 参数保持不变 构造概率表：0.50 / 0.25 / 0.15 / 0.10 T = 1 杯 50.0% 书 25.0% 梨 15.0% 台灯 10.0% 固定随机数重复抽样 · 抽中后接入前文，再预测下一词 1060 / 2000次 489 / 2000次 279 / 2000次 172 / 2000次
模型与提示不变，选择规则就能改变这几次候选的集中程度。


<a id="n12-8d714538be58"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-8d714538be58)

温度等设置影响候选的相对集中程度，但不是“创造力旋钮”的保证。更有变化可能带来有用新方案，也可能增加离题结果；总取最可能候选能减少某些随机变化，也不能把错误知识变成事实。本页0.50/0.25/0.15/0.10是构造概率，T=0.35/1/2用于理解选择方式，不是对真实模型多样性或可靠性的统计测量。


<a id="n12-1007f42473c6"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-1007f42473c6)

而且，一次选择还会改变下一步条件。决定写“杯子”之后，后续描述应接住这个对象；不能在整段生成中反复使用最初那一张候选表。逐步选择最可能的词，也未必找到整段概率最高的句子：一个眼前稍少见的开头，可能通向更集中的后续。完整的小型反例可以在自回归实验里精确枚举。


<a id="n12-1d9c3cc853d3"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-1d9c3cc853d3)

**“多生成几个答案再选，是否自然就更可靠？”** 只增加了候选，还要看选择凭什么成立。例如在儿童使用场景中，杯身裂纹是已给出的具体证据；“可以端热水”必须接受这条证据检查。换采样设置没有修好裂纹，也没有使这项建议获得新的支持。


[课程图解] 裂纹是检查热水建议的任务证据，增加候选或换种子没有消除它。；图中标签与关系：同一提示：“桌上放着……” · 参数保持不变 构造概率表：0.50 / 0.25 / 0.15 / 0.10 T = 2 杯 37.0% 书 26.2% 梨 20.3% 台灯 16.6% 固定随机数重复抽样 · 抽中后接入前文，再预测下一词 777 / 2000次 516 / 2000次 408 / 2000次 299 / 2000次
裂纹是检查热水建议的任务证据，增加候选或换种子没有消除它。


<a id="n12-42fa964cd66f"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-42fa964cd66f)

因此，要区分三个可改位置：模型学到了什么，提示与观测提供了什么，以及采样怎样选择。多样性适合探索备选方案；提取编号等任务更需要一致和可核对；涉及当前事实时，补充相关观察往往比继续改种子更直接。


<a id="n12-5d325bf070c7"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-5d325bf070c7)

后面比较生成系统时，要把采样设置和评价标准一起说清。下一页继续沿接龙思路，却把要接的对象从词换成图像中的位置与表示。


<a id="n12-sampling-observations"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-sampling-observations)

三态分别展示同一构造概率表在温度0.35、1、2时的概率，并使用同一组2000个均匀随机数进行逆CDF抽样（NumPy PCG64，种子20260929）。金色计数是实际程序抽样所得，有限次数会偏离理论比例；它们不是LLM运行结果。一次选出的词再接入前文，下一位置须重新计算条件分布。可复现计算见源码 `authoring/n12_temperature_experiment.py`。


<a id="n12-states"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-states)


## 画面怎样推进


<a id="n12-b0"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-b0)

同一构造概率表在T=0.35下更集中；模型与提示没有改变。

[返回这一课堂停点](https://codingai-lec04.pages.dev/classroom/N12.html?step=b0)


<a id="n12-b1"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-b1)

T=1保留原概率。一次结果不能代表分布，LAB01用重复采样观察。

[返回这一课堂停点](https://codingai-lec04.pages.dev/classroom/N12.html?step=b1)


<a id="n12-b2"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-b2)

T=2使概率更平坦。抽中结果会进入前文，再预测下一位置。

[返回这一课堂停点](https://codingai-lec04.pages.dev/classroom/N12.html?step=b2)


<a id="n12-materials"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-materials)


## 继续阅读与实验


<a id="n12-learning-unit-001"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-learning-unit-001)


### 改温度改变了概率，还是重新学了知识？


<a id="n12-learning-unit-002"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-learning-unit-002)

用本页构造表 0.50、0.25、0.15、0.10 算一次升温：T=2 时，各项先开平方再归一化，第一候选的概率由 0.50 变为约 0.370，小候选获得更多机会。网络权重未变；本页固定 2,000 个均匀随机数，只让抽样规则改变，所以三态可作可复现对照。这不是 LLM 可靠性实测。


<a id="n12-learning-unit-003"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-learning-unit-003)

采到一个词以后，下一位置要用新的前缀重新算分布，不能重复抽最初那张表。自检：较高温度使建议更丰富，是否增加了“杯柄没有裂纹”的证据？没有。调温改变已有候选的倾向；增加观察改变任务证据，训练才会更新共享参数。


<a id="n12-learning-unit-004"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-learning-unit-004)

[继续读：温度作用于当前条件分布](https://codingai-lec04.pages.dev/lecture.html#ch02-temperature-definition)


<a id="n12-chapter-reading"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-chapter-reading)


### [CLS 02 · 自回归：学习条件与产生序列](https://codingai-lec04.pages.dev/lecture.html#ch02)

按连续正文理解这条方法的训练信号、使用过程与算例；数学与实践在相关问题旁展开。

先看：第2章，从对象和问题开始


<a id="n12-lab01-practice"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-lab01-practice)


### [LAB 01 · 自回归：联合概率、贪心与温度](https://codingai-lec04.pages.dev/course/notebooks/39071d41f84d4621ad69c6140a6dccc9.html)

先读本册保存结果，再按实现顺序核对一个算例；最后只改一个变量。

先看：先看保存结果与读图解释


<a id="n12-material-1"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N12.html#n12-material-1)


### [LAB 01 · 自回归：联合概率、贪心与温度](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/6f83a923-d155-47be-be58-680db701ff7f/notebook/39071d41f84d4621ad69c6140a6dccc9?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=39071d41f84d4621ad69c6140a6dccc9&utm_term=get_notebook)

先预测贪心会选哪条，再比较完整序列的精确概率。局部温度改变每步条件分布，不应未经核对就当成对整段概率统一做幂变换。

先看：固定对象：两个位置、四条序列；随后比较贪心、温度与采样