计算复杂度与推理成本
教材《人工智能导论》4.4.3 · 已审核
通俗解释
FLOPs、参数量、显存、延迟与能耗衡量不同资源维度。比较模型时必须同时说明硬件、批量、精度与任务条件。
例子
两款模型 FLOPs 相近，但一款需要频繁访问显存，另一款算子更适合硬件。
容易混淆
参数更少的模型不一定推理更快。
检查理解
两款模型 FLOPs 相同，为什么实际延迟仍可能不同？
查看参考答案
FLOPs 只计部分计算量；实际延迟还受访存、并行度、算子实现、批量与硬件影响。
教材《人工智能导论》4.4.3 · 已审核
FLOPs、参数量、显存、延迟与能耗衡量不同资源维度。比较模型时必须同时说明硬件、批量、精度与任务条件。
两款模型 FLOPs 相近，但一款需要频繁访问显存，另一款算子更适合硬件。
参数更少的模型不一定推理更快。
两款模型 FLOPs 相同，为什么实际延迟仍可能不同？
FLOPs 只计部分计算量；实际延迟还受访存、并行度、算子实现、批量与硬件影响。