LAB 05 · 扩散的条件均值与流积分

先阅读保存结果和解释，再按本册步骤选择是否运行。在 Deepnote 阅读与运行 · 下载 Notebook

LAB 05 · 扩散的条件均值、噪声预测与流积分

三个可计算问题：一对多为什么仍可使用噪声 MSE；噪声水平怎样改变后验；生成为什么要不断重新计算速度。这里使用已知玩具分布的解析最优预测器，不训练神经网络，也不把实验结果当作真实图像或 LLM 能力证据。

本轮入口：先看下面的保存图，再只改一个参数。 原有可手算代码与推导完整保留在后面。

先看问题与保存结果

本册先用可精确核对的解析条件均值和方向场，隔离数值更新产生的误差。LAB09 真正学习时间条件网络；两者噪声约定不同，不能直接把图的差异归为模型优劣。

连续概念解释。读完后留下一个结果：固定量、改变项、实际观察，以及它支持的机制。

先看保存结果：从带噪观察到条件预测，再沿同批起点积分

从带噪观察到条件预测，再沿同批起点积分：图1

从带噪观察到条件预测，再沿同批起点积分：图2

从带噪观察到条件预测，再沿同批起点积分：图3

前两图把两类似然、±1后验和条件均值分开：均值是当前观测下的预测，未必等于一个合法最终样本。噪声预测图用数值积分核对最优条件均值与偏置风险；加0.5偏置使期望MSE增加0.25。Flow图的蓝实线是Euler数值路径，金色点线是同起点的解析路径。Flow图使用另一明确高斯模型：时间1是噪声，0是数据；每一步重算场，再用负步长更新。所有步数共用同批起点，右图比较数值终点与同起点解析终点2+0.5z的误差，不将有限样本均值偏差混作积分误差。

结果身份： 2026-09-28由下方同源Python代码在本地CPU实际生成并核对。解析Bayes预测器与手写高斯流，未训练扩散网络，也没有图像生成。图不是模型训练输出。

无需GPU的即时探索

保存数据、图片与代码随下载材料提供；静态图无需GPU。学生重算需要Python、NumPy、matplotlib，不发起网络请求、不打印密钥，只在当前目录写入本册输出文件夹。

只改一个变量：FLOW_STEPS

主对照只改变 FLOW_STEPS（1/4/16/64），固定保存的1600个高斯起点。另一个独立对照可只改 NOISE_A（0.1/0.4/0.64/0.9），保持带噪观测x_t=0.5；不要同时改两个参数后归因。

在下面参数区改值后运行本格；重算图会显示在输出中，并保存在 lab05-visual-output。接着用图中的具体变化解释，不从一次样本判断整个分布。

查看可执行代码

import math, json, platform
from pathlib import Path
import numpy as np
import matplotlib.pyplot as plt

# Primary intervention: FLOW_STEPS. Keep the exact same stored starting particles.
FLOW_STEPS=16
# A separate intervention: change NOISE_A while holding observed x_t=0.5 fixed.
NOISE_A=.64
FLOW_SEED=20260928
FLOW_N=1600
OUT=Path('lab05-visual-output');OUT.mkdir(exist_ok=True)
assert FLOW_STEPS>=1 and 0<NOISE_A<1

def vis_normal(x,mean,var):return np.exp(-(x-mean)**2/(2*var))/np.sqrt(2*np.pi*var)
def vis_post(xt,a):return np.tanh(np.sqrt(a)*np.asarray(xt)/(1-a))
def vis_eps(xt,a):return (np.asarray(xt)-np.sqrt(a)*vis_post(xt,a))/np.sqrt(1-a)
def vis_velocity(x,t):
    mean=2*(1-t);var=.25*(1-t)**2+t*t;cov=t-.25*(1-t)
    return -2+cov/var*(np.asarray(x)-mean)
def vis_starts(seed=FLOW_SEED,n=FLOW_N):
    # Same integer stream and Box-Muller transform in the browser.
    state=int(seed)&0xffffffff;out=[]
    for _ in range((n+1)//2):
        state=(1664525*state+1013904223)&0xffffffff;u1=(state+.5)/4294967296
        state=(1664525*state+1013904223)&0xffffffff;u2=(state+.5)/4294967296
        radius=math.sqrt(-2*math.log(u1));angle=2*math.pi*u2
        out.extend([radius*math.cos(angle),radius*math.sin(angle)])
    return np.asarray(out[:n])
def vis_flow(z,steps):
    x=np.asarray(z).copy();history=[x.copy()]
    for k in range(steps):
        t=1-k/steps;x=x-vis_velocity(x,t)/steps;history.append(x.copy())
    return np.stack(history)

grid=np.linspace(-2.8,2.8,500);a=NOISE_A
fig,axes=plt.subplots(1,3,figsize=(13,3.8))
axes[0].plot(grid,vis_normal(grid,-math.sqrt(a),1-a),label='p(x_t | X0=-1)',color='#b88526')
axes[0].plot(grid,vis_normal(grid,math.sqrt(a),1-a),label='p(x_t | X0=+1)',color='#003262')
axes[0].axvline(.5,color='#455b6d',ls='--');axes[0].set(xlabel='observed noisy x_t',ylabel='Density',title=f'Noise level: a={a:g}');axes[0].legend(fontsize=8)
prob=float((vis_post(.5,a)+1)/2);axes[1].bar(['-1','+1'],[1-prob,prob],color=['#b88526','#003262']);axes[1].set(ylim=(0,1),title='Posterior for the SAME x_t=0.5',ylabel='P(X0 | x_t)')
for aa in [.1,.4,.64,.9]:axes[2].plot(grid,vis_post(grid,aa),label=f'a={aa:g}')
axes[2].set(xlabel='x_t',ylabel='E[X0 | x_t]',title='Mean is a prediction, not a final sample');axes[2].legend(fontsize=8)
fig.tight_layout();fig.savefig(OUT/'lab05-posterior.png',dpi=160);plt.show();plt.close(fig)

fig,axes=plt.subplots(1,2,figsize=(11,3.7));axes[0].plot(grid,vis_eps(grid,a),color='#003262',label='Bayes noise predictor');axes[0].plot(grid,vis_eps(grid,a)+.5,color='#b88526',label='same predictor + 0.5');axes[0].set(xlabel='x_t',ylabel='Predicted epsilon');axes[0].legend(fontsize=9)
# Integrate the true joint density over x_t rather than simulate an unpaired noise sample.
integration=np.linspace(-8,8,12001);wminus=.5*vis_normal(integration,-np.sqrt(a),1-a);wplus=.5*vis_normal(integration,np.sqrt(a),1-a)
eminus=(integration+np.sqrt(a))/np.sqrt(1-a);eplus=(integration-np.sqrt(a))/np.sqrt(1-a)
losses=[]
for name,pred in [('zero',np.zeros_like(integration)),('Bayes',vis_eps(integration,a)),('Bayes + 0.5',vis_eps(integration,a)+.5)]:
    integrand=wminus*(eminus-pred)**2+wplus*(eplus-pred)**2; mse=float(np.sum((integrand[1:]+integrand[:-1])*.5*np.diff(integration)));losses.append({'predictor':name,'MSE':mse})
axes[1].bar([r['predictor'] for r in losses],[r['MSE'] for r in losses],color=['#9aabb8','#003262','#c29324']);axes[1].set(ylabel='Expected noise MSE',title='A +0.5 bias adds exactly 0.25 risk')
assert abs(losses[2]['MSE']-losses[1]['MSE']-.25)<1e-8
fig.tight_layout();fig.savefig(OUT/'lab05-noise-prediction.png',dpi=160);plt.show();plt.close(fig)

starts=vis_starts();np.save(OUT/'lab05-starts.npy',starts);exact=2+.5*starts;history=vis_flow(starts,FLOW_STEPS)
records=[]
for steps in [1,4,16,64]:
    end=vis_flow(starts,steps)[-1];records.append({'steps':steps,'mean':float(end.mean()),'variance':float(end.var()),'coupling_MSE':float(np.mean((end-exact)**2))})
fig,axes=plt.subplots(1,3,figsize=(13,4))
times=np.linspace(1,0,FLOW_STEPS+1);selected=np.argsort(starts)[np.linspace(0,FLOW_N-1,13,dtype=int)]
for index in selected:
    axes[0].plot(times,history[:,index],lw=1,color='#376782',alpha=.65)
    exact_path=2*(1-times)+np.sqrt(.25*(1-times)**2+times**2)*starts[index]
    axes[0].plot(times,exact_path,color='#b18421',ls=':',lw=.9,alpha=.5)
axes[0].set(xlabel='t: noise 1 -> data 0',ylabel='Same particle position',title=f'Recompute velocity after each step ({FLOW_STEPS})',xlim=(1,0))
bins=np.linspace(-1,5,40);axes[1].hist(history[-1],bins=bins,density=True,alpha=.6,color='#5d87a0',label=f'Euler {FLOW_STEPS}')
density_grid=np.linspace(-1,5,500);axes[1].plot(density_grid,vis_normal(density_grid,2,.25),color='#c18c0e',label='target N(2, 0.25)');axes[1].set(xlabel='Final sample',ylabel='Density');axes[1].legend(fontsize=8)
axes[2].loglog([r['steps'] for r in records],[r['coupling_MSE'] for r in records],'o-',color='#003262');axes[2].set(xlabel='Euler steps / field evaluations',ylabel='MSE vs exact same-start endpoint',title='Numerical error, not learned-model error')
fig.tight_layout();fig.savefig(OUT/'lab05-flow.png',dpi=160);plt.show();plt.close(fig)
payload={'kind':'analytic Bayes predictor and hand-specified Gaussian flow; no learned diffusion network','a':NOISE_A,'observation':.5,'posterior_plus':prob,'noise_MSE':losses,'seed':FLOW_SEED,'n':FLOW_N,'flow_steps':FLOW_STEPS,'comparisons':records,'changed':{'mean':float(history[-1].mean()),'variance':float(history[-1].var()),'coupling_MSE':float(np.mean((history[-1]-exact)**2))},'first_12_starts':starts[:12].tolist(),'python':platform.python_version()}
(OUT/'lab05-results.json').write_text(json.dumps(payload,indent=2));print(json.dumps(payload['changed'],indent=2))

LAB 05 · 扩散的条件均值与流积分的保存输出 — 已保存输出；运行地点及条件见本册说明。

查看保存的计算输出

{
  "mean": 2.0054384912218075,
  "variance": 0.21030638288437056,
  "coupling_MSE": 0.0019894204282116645
}

本轮运行与后续阅读

本地执行与云端复核均已完成。 2026-09-28，本册全部代码在本地CPU从空命名空间顺序执行；另通过Deepnote全本运行，状态为success，运行ID为 911df979-ad74-493b-88c0-949bfe261a15，完成时间 2026-09-28T15:31:30.280Z（UTC）。运行快照检查到本册图形输出且无失败代码块。后验、噪声预测与同批Flow轨迹图已输出；16步数值终点相对同起点解析终点MSE=0.0019894204，64步误差进一步降低。

云端运行使用Python 3.13数据科学环境。平台总用时包含启动、Notebook执行与输出保存，不作为算法速度基准；五本均为小规模CPU计算，不调用外部模型或付费API。上方静态图仍明确保留其本地生成来源，云端输出是另一次实际复核。学生修改参数后得到的是自己的新结果。

下面保留此前逐步计算与推导。历史本地数字保留原身份，可把图中一个关系追到对应公式。

1 · 先预测：观察带噪样本后，原值还是各占一半吗？

令 X₀ 等概率取 −1、+1，Xₜ=√a X₀+√(1−a)ε，ε∼N(0,1)。给定 a=0.64、xₜ=0.5，猜 P(X₀=+1|xₜ) 是否大于 0.5。注意条件从“什么也没看见”变成“看见当前带噪值”。

查看可执行代码

import math, random, statistics

def posterior_mean(xt, a):
    assert 0 < a < 1
    return math.tanh(math.sqrt(a)*xt/(1-a))

def epsilon_star(xt, a):
    return (xt-math.sqrt(a)*posterior_mean(xt,a))/math.sqrt(1-a)

for xt in [-1., -.5, 0., .5, 1.]:
    ex=posterior_mean(xt,.64)
    print('xt=',xt,'P(+1|xt)=',round((ex+1)/2,5),'E[X0|xt]=',round(ex,5),'E[eps|xt]=',round(epsilon_star(xt,.64),5))
assert abs(posterior_mean(0,.64))<1e-12
assert abs(posterior_mean(.5,.64)-math.tanh(10/9))<1e-12

查看保存的计算输出

xt= -1.0 P(+1|xt)= 0.01161 E[X0|xt]= -0.97679 E[eps|xt]= -0.36429
xt= -0.5 P(+1|xt)= 0.09777 E[X0|xt]= -0.80445 E[eps|xt]= 0.23927
xt= 0.0 P(+1|xt)= 0.5 E[X0|xt]= 0.0 E[eps|xt]= 0.0
xt= 0.5 P(+1|xt)= 0.90223 E[X0|xt]= 0.80445 E[eps|xt]= -0.23927
xt= 1.0 P(+1|xt)= 0.98839 E[X0|xt]= 0.97679 E[eps|xt]= 0.36429

从似然比得到公式

两个高斯条件似然的 log 比值为 2√a·xₜ/(1−a)。因此 E[X₀|xₜ]=tanh(√a·xₜ/(1−a))。再由加噪恒等式得到 E[ε|xₜ]=(xₜ−√a E[X₀|xₜ])/√(1−a)。这里的后验均值通常不是 ±1，但它是采样器中使用的局部预测量，并不被直接当作最终生成样本。

2 · 先预测：降低噪声时，相同 xₜ 会提供更多还是更少信息？

保持 xₜ=0.5，只改变 a。随后比较零预测、解析最优预测和加偏置后的噪声 MSE。样本、噪声、随机种子保持相同。

查看可执行代码

for a in [.1,.4,.64,.9]:
    print('a=',a,'P(+1|xt=.5)=',round((posterior_mean(.5,a)+1)/2,5))
rng=random.Random(20260926)
a=.64; cases=[]
for _ in range(50000):
    x0=rng.choice([-1.,1.]); eps=rng.gauss(0,1)
    xt=math.sqrt(a)*x0+math.sqrt(1-a)*eps
    cases.append((xt,eps))
loss0=statistics.mean(eps**2 for _,eps in cases)
loss_star=statistics.mean((eps-epsilon_star(xt,a))**2 for xt,eps in cases)
loss_bias=statistics.mean((eps-epsilon_star(xt,a)-.5)**2 for xt,eps in cases)
print('zero / Bayes / Bayes+0.5:',loss0,loss_star,loss_bias)
print('biased excess:',loss_bias-loss_star,'theory:',.25)
assert loss_star<loss0
assert abs((loss_bias-loss_star)-.25)<.02

查看保存的计算输出

a= 0.1 P(+1|xt=.5)= 0.58695
a= 0.4 P(+1|xt=.5)= 0.74156
a= 0.64 P(+1|xt=.5)= 0.90223
a= 0.9 P(+1|xt=.5)= 0.99992
zero / Bayes / Bayes+0.5: 1.0077005062969948 0.4827691823522884 0.7268944450964093
biased excess: 0.24412526274412094 theory: 0.25

解释

给定当前状态的条件期望最小化平方误差，加常数偏置 b 的期望超额风险为 b²。经验值有蒙特卡洛误差。不可由此推出“直接预测最终图像均值也等价于采样”：扩散把局部预测放进多步生成过程。我们的解析预测器与网络回归具有同一种统计目标，但不是训练得到的网络。

3 · Flow：回归的目标与采样的方向

数据 X∼N(2,0.25)，独立噪声 Z∼N(0,1)，Xₜ=(1−t)X+tZ，时间 t=0 为数据、t=1 为噪声。条件配对速度是 Z−X；真正采样用 v*(x,t)=E[Z−X|Xₜ=x]。先猜：生成积分应加还是减 Δt·v？

查看可执行代码

def velocity(x,t):
    mean=2*(1-t)
    var=.25*(1-t)**2+t*t
    covariance=t-.25*(1-t)
    return -2+covariance/var*(x-mean)

def sample_flow(z,steps):
    x=z; dt=1/steps
    for k in range(steps):
        t=1-k*dt
        x-=dt*velocity(x,t)
    return x

rng=random.Random(20261004)
z=[rng.gauss(0,1) for _ in range(5000)]
for steps in [1,4,16,64]:
    xs=[sample_flow(v,steps) for v in z]
    print('steps',steps,'mean',round(statistics.mean(xs),4),'variance',round(statistics.pvariance(xs),4))
exact=[2+.5*v for v in z]
for steps in [4,16,64]:
    error=statistics.mean((sample_flow(v,steps)-target)**2 for v,target in zip(z,exact))
    print('steps',steps,'numerical MSE against exact coupling',error)
assert statistics.mean((sample_flow(v,64)-target)**2 for v,target in zip(z,exact))<.001

查看保存的计算输出

steps 1 mean 2.0 variance 0.0
steps 4 mean 2.0046 variance 0.1153
steps 16 mean 2.0061 variance 0.2064
steps 64 mean 2.0065 variance 0.2373
steps 4 numerical MSE against exact coupling 0.025281674584902998
steps 16 numerical MSE against exact coupling 0.0019527387230765408
steps 64 numerical MSE against exact coupling 0.00013023103467744635

为什么不直接用一对样本的 Z−X？

采样时只有当前 x 和 t，没有对应的训练配对 X、Z。高斯联合分布让我们能够解析计算条件平均速度；一般数据中它由网络学习。生成从 1 到 0，dt 的符号因此是负方向。这个特定仿射场具有可计算解，更多步降低了本实验的离散误差；不能推出任何神经网络采样器增加步数都改善感知质量。

只改一个变量

将 ±1 的先验概率改为 0.8/0.2，先推导新的后验 logit，再改代码。
将最优噪声预测加 b=−0.5、0.2、1，检验超额风险 b²。
把 Euler 的减号改为加号，解释为什么走向错误的时间方向，再改回来。
将数据方差改为 1，重新推导 velocity；哪些时刻条件平均速度发生变化？
让 AI 检查你的推导和随机误差解释，不让它用“模型理解了图像”代替计算证据。

历史本地保存输出（2026-09-26；本轮执行记录见开篇）

xt= -1.0 P(+1|xt)= 0.01161 E[X0|xt]= -0.97679 E[eps|xt]= -0.36429
xt= -0.5 P(+1|xt)= 0.09777 E[X0|xt]= -0.80445 E[eps|xt]= 0.23927
xt= 0.0 P(+1|xt)= 0.5 E[X0|xt]= 0.0 E[eps|xt]= 0.0
xt= 0.5 P(+1|xt)= 0.90223 E[X0|xt]= 0.80445 E[eps|xt]= -0.23927
xt= 1.0 P(+1|xt)= 0.98839 E[X0|xt]= 0.97679 E[eps|xt]= 0.36429
a= 0.1 P(+1|xt=.5)= 0.58695
a= 0.4 P(+1|xt=.5)= 0.74156
a= 0.64 P(+1|xt=.5)= 0.90223
a= 0.9 P(+1|xt=.5)= 0.99992
zero / Bayes / Bayes+0.5: 1.0077005062969948 0.4827691823522884 0.7268944450964093
biased excess: 0.24412526274412094 theory: 0.25
steps 1 mean 2.0 variance 0.0
steps 4 mean 2.0046 variance 0.1153
steps 16 mean 2.0061 variance 0.2064
steps 64 mean 2.0065 variance 0.2373
steps 4 numerical MSE against exact coupling 0.025281674584902998
steps 16 numerical MSE against exact coupling 0.0019527387230765408
steps 64 numerical MSE against exact coupling 0.00013023103467744635

来源与返回课堂

MIT 6.S978 Lecture 5 物理页 16–23（前向）、25–57（目标）、59–65（训练与采样）；MIT 6.S058 Diffusion Models 物理页 69–90（flow）。参数与解析双点/高斯算例由本课程构造。

https://mit-6s978.github.io/assets/pdfs/lec5_diffusion.pdf
https://introtocv.github.io/schedule.html
Lecture 04 课程导读

从课堂展开：推导、反例与变量实验

先完成上面的有限例子，再按自己尚未弄清的问题选择推导。已有代码只覆盖本册明确列出的计算；后面的研究练习是可继续提出的实验，不是已经运行的结果。

原有解释按连续主题拆到下方；本入口继续保留。

训练造题与采样更新：别把答案放进输入

按本课连续扩散记号 x_t=√a·x_0+√(1-a)·ε，a 是累计信号系数；越接近1通常保留越多信号。训练者知道 x_0、ε、a，预测器只能读取 x_t 与相应难度。给 x_0 多抽几组 ε/a 增加了题型，没有增加原始对象覆盖。不同时间各自独立抽噪得到正确边际快照，也不等于模拟了一条联合随机路径。

在 x_0 等概率取±1的实验中，条件均值 tanh(√a·x_t/(1-a)) 随状态与噪声等级变化。局部 MSE 的平均预测并不是最终样本；生成还要用匹配的采样规则更新状态，再重新查询预测器。模型输出、数值更新、可选的额外随机项承担不同角色，关闭随机项不能让任意更新式都自动等价。

Flow 实验采用 data 位于 t=0、noise 位于 t=1 的约定。配对路径 x_t=(1-t)x+tz 的监督速度 z−x，采样从1走到0，Δt为负。代码积分的是已知高斯族的解析场，步数改变可检验数值误差；它未训练图像扩散网络，也未实测 DDIM 或低步数研究模型的图像质量。少步求解器与改变训练目标是两个选择。

高斯噪声是随机变量，不是白色遮罩

为什么加噪图像看起来相似，却不能把噪声当成固定纹理？

写 ε∼N(0,I) 表示各维标准高斯随机变量，而不是每个像素都加同一个数。某一次抽样得到的 ε 是一张具体张量；重复抽样会得到另一张张量。高斯噪声可以为负，也可以超过常见图像显示范围，因此用于展示的裁剪与归一化不能偷偷成为训练分布的一部分。各向同性描述噪声协方差，并不声称真实图像各像素独立。给相关的图像加入独立噪声，得到的中间状态仍可能保留跨像素结构。课堂只需一维或二维例子就能先把分布、随机样本、显示三层拆开。

追问：噪声独立，为什么加完噪声的图像还看得出轮廓？

独立的是新增噪声各维之间的关系，原图的结构仍通过信号系数留在状态里。只要信号尚未被压得很小，邻近像素的相关性仍可从原图传递过来。看得见轮廓说明当前信噪比还有信息，不表示噪声抽样一定相关，也不表示模型已经参与了这个前向步骤。

LAB 05 · 扩散的条件均值与流积分

LAB 05 · 扩散的条件均值、噪声预测与流积分

先看问题与保存结果

先看保存结果：从带噪观察到条件预测，再沿同批起点积分

只改一个变量：FLOW_STEPS

本轮运行与后续阅读

1 · 先预测：观察带噪样本后，原值还是各占一半吗？

从似然比得到公式

2 · 先预测：降低噪声时，相同 xₜ 会提供更多还是更少信息？

解释

3 · Flow：回归的目标与采样的方向

为什么不直接用一对样本的 Z−X？

只改一个变量

历史本地保存输出（2026-09-26；本轮执行记录见开篇）

来源与返回课堂

从课堂展开：推导、反例与变量实验

训练造题与采样更新：别把答案放进输入

高斯噪声是随机变量，不是白色遮罩

一次可以手算的加噪

边缘分布相同，不等于同一段随机轨迹

把一个后验算到小数点后

噪声损失的小误差怎样传到重建？

把训练与生成写成两份可执行说明

一维逆采样也可以核对到数值

固定种子固定了哪些随机性？

高斯score可以精确手算

确定性DDIM的一步如何计算？

用二维向量看懂条件外推

压缩瓶颈：生成网络不能随意补回丢失的信息

Latent 尺度会改变有效信噪比

一条线性路径：位置是 1.25，速度是 −3

反向 Euler：负步长乘负速度，位置向正方向走

非均匀时间采样：把训练预算放到哪里

质量—成本前沿：NFE、耗时与 FID 各回答什么