自回归生成
教材《人工智能导论》5.2.4 · 已审核
通俗解释
自回归模型把序列联合概率按顺序分解，基于已有上下文逐个预测后续单位。它适合文本等序列生成，但逐步输出会形成推理时延。
例子
模型逐词生成句子，每一步只看到已有上下文。
容易混淆
预测下一个词元的训练目标与最终应用能力不应混为一谈。
检查理解
为什么文本生成常需要考虑上下文窗口？
查看参考答案
后续预测依赖可用上下文；窗口过短会丢失关键早期信息，窗口过长则增加计算与显存成本。
教材《人工智能导论》5.2.4 · 已审核
自回归模型把序列联合概率按顺序分解，基于已有上下文逐个预测后续单位。它适合文本等序列生成，但逐步输出会形成推理时延。
模型逐词生成句子，每一步只看到已有上下文。
预测下一个词元的训练目标与最终应用能力不应混为一谈。
为什么文本生成常需要考虑上下文窗口？
后续预测依赖可用上下文；窗口过短会丢失关键早期信息，窗口过长则增加计算与显存成本。