记录中的句子是“桌上放着一只红色的杯子”。训练一个位置时，模型可读“桌上放着一只”，要预测的是后面的颜色；“红色”留在评分区，等预测给出后再比较。这道题不能把目标词提前放进当前输入，否则就改变了模型需要完成的工作。

再看预测“杯子”的后续位置，输入是“桌上放着一只红色的”；其中连接词“的”也已经属于真实记录前缀。刚才还在评分区的真实词，如今已经是这个新位置之前的记录。因此，“训练用真实前缀”没有违反信息边界：要问的是哪一个预测位置，不能把上一题的答案与这一题的答案混为一谈。

完整语料已经存在，所以在计算图支持的架构中，许多位置的训练可以一起计算；递推结构可能仍带有自己的顺序依赖。但同时计算不等于每个位置都能看见整句答案。因果遮罩限定每个预测使用哪些先前信息；若未来目标通过其他位置绕回来，训练可能得到很好分数，却借用了真正生成时不存在的信息。

“训练既然可以并行，为什么生成还常常一个词一个词地来？” 因为训练的真实前缀已经给定；生成的后续还没出现。模型本次若选了“蓝色”，下一步读到的就是自己写出的蓝色前缀，而不是记录中的红色。常规自回归生成必须先完成这项选择，才能在它的条件下继续。

这也解释一种常见失败：模型先写错一个颜色、姓名或假设，后面却把它当成已经成立的前提，继续写出很顺的话。顺畅延续说明它响应了当前前缀，不说明它纠正了早期错误。需要更可靠的长任务时，检索、阶段检查、执行测试或草稿修订可以补上不同类型的反馈，但应针对实际错误来源选择。

训练并行、一次网络计算内部的并行与输出位置之间的生成并行，是不同问题。接下来先不改训练或网络，只改变怎样从当前候选里作选择，看看最终结果会怎样变化。