在一段杯子移动的视频里，杯子每帧都很清楚，画面也顺畅，却可能连桌边都逐渐漂移。对于欣赏一小段画面，这种变化未必第一眼就显眼；对于要规划位置与动作的人，桌边却是判断安全范围的参照。参照无故变化，后面的距离与通行判断就失去共同基础。

先稳定环境，再增加动作条件。把初始状态固定为同一只杯子、同一张桌子、同一处挡板：若选择向左或向右，未来应随着动作发生相应变化。能操作意味着参与者的选择进入了后续生成条件，而不是在两次点击后播放一段与选择无关的录像。不同动作是否应产生不同结果也取决于场景；本例选择的两种移动正是应当有所区别的条件。

“只要两个按钮播出不同视频，就能拿来替机器人试动作吗？”仍不够。两段视频可能响应了按钮，却不符合该环境真实的动态。要作为行动预测，需要将这些差异与独立环境结果核对；要作为一个自洽的生成环境，也需要更长时间检查对象持续存在、回到旧地点是否一致，以及动作响应是否及时。

交互生成把观众变成参与者，因此增加了几项普通短片没有承担的要求。用户可以等待、转身、返回，也可以连续做出新的选择；系统需要接住这些分支，并让刚才的经历继续影响后面。延迟太长会打断交互，延迟很低也不能补偿世界状态漂移，两者应分开评价。

方向键、图像或语言描述的控制条件、从视频学到的潜在动作，以及机器人执行器的控制量，不是同一种接口。一个接口能影响生成结果，不能直接推出它可接到另一种设备上执行。要接入具体系统，还应说明动作由谁执行、单位和范围是什么、作用多长时间。

Genie 一类工作把可交互环境作为研究对象，为这条路线提供了具体实例。本页的左右动作与杯子示意只解释检验思路，不复现其模型，也不把交互画面直接等同于通用物理模拟器。

即使把所有当前可见物体都画稳了，行动仍可能需要知道画面外的信息。杯子里是否有水，遮挡后停在什么位置，单凭眼前一帧都未必能看出来。下一页看历史怎样进入状态估计，又怎样被新观察修正。