知识卡片:面向自动驾驶全天气自监督深度估计的鲁棒性提升
英文标题:Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving
英文关键词:Self-supervised depth estimation; All-weather robustness; Multi-teacher distillation; Radar fusion; POV-BEV; Uncertainty modeling; Autonomous driving
一句话结论
本文提出一种基于多教师蒸馏和雷达POV-BEV融合的自训练流水线,在雨、雾、雪等全天气条件下实现了最先进的自监督深度估计性能,代码已开源。
事件概述或研究问题
自监督深度估计在自动驾驶中至关重要,但在恶劣天气(雨、雾、雪等)下,传感器感知退化会带来两大挑战:一是天气导致的像素对应关系失真,违背自监督损失函数中的假设,产生错误深度预测;二是雷达虽在恶劣天气中被广泛采用,但其点云在相机视角(POV)中分布稀疏,给自监督融合带来困难。现有方法多针对单一天气或使用配对的合成数据,难以泛化到真实全天气场景。
方法/产品要点
- 总体框架:一个使用未配对的真实全天气数据的自训练流水线,核心包括不确定性感知多教师蒸馏(Uncertainty-Aware Multi-Teacher Distillation)和POV-BEV雷达融合(POV-BEV Radar Fusion)。
- 不确定性感知多教师蒸馏:训练多个教师模型,每个教师在不同恶劣条件输入(如雨、雾、雪)下学习;然后通过不确定性建模对知识蒸馏损失进行加权,使学生模型从多样化的教师中自适应地学习鲁棒深度表示。
- POV-BEV雷达融合:利用相机像素射线约束建立相机视角(POV)和雷达鸟瞰视角(BEV)之间的关联,从而利用更密集的雷达点,融合两种视角的互补信息。
- 代码与模型:已开源在 GitHub(
https://github.com/MICLAB-BUPT/RobustDepth)。
主要结果或产业意义
- 在全天气数据集上的定量和定性实验表明,该方法在多种恶劣天气下均达到最先进(state-of-the-art)性能,显著提升了自监督深度估计的鲁棒性。
- 产业意义:为自动驾驶系统在雨、雾、雪等实际常见恶劣天气下提供更可靠的距离感知能力,降低因深度预测错误引发的安全风险。
为什么重要
当前自监督深度估计研究多假设理想天气条件,实际部署时鲁棒性不足。本文首次通过多教师蒸馏结合POV-BEV雷达融合来系统解决全天气条件下的自监督深度估计问题,且使用未配对的真实数据(无需额外标注),增强了方法的实用性。相比于既有单天气或合成数据方案,本工作提供了更通用的全天气解决方案。
局限与不确定性
- 未提及在极端天气(如暴雪、浓雾)或传感器完全失效条件下的表现,需待核实。
- 论文未报告在无雷达的车辆平台上的适配性,目前假设车辆配备雷达。
- 实验数据集的具体构成和规模文中未详细列出,仅提到“全天气数据集”,具体性能指标(如绝对相对误差、均方根误差等)待核实。
可用于图书/PPT/简报的角度
- 自动驾驶深度感知挑战:从天气影响出发,引出传感器融合对策。
- 知识蒸馏的工程实践:多教师蒸馏结合不确定性加权减轻模型偏见。
- 雷达与相机融合新思路:POV与BEV坐标系统一实现点云密度提升。
原始材料
- 论文标题:Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving
- arXiv ID:2607.21526v1
- 作者:Mengshi Qi, Xiaoyang Bi, Xianlin Zhang, Huadong Ma
- 发布日期:2026-07-23
- 论文链接:https://arxiv.org/abs/2607.21526v1
- 代码仓库:https://github.com/MICLAB-BUPT/RobustDepth