ReMiX-MAE 提出一种自监督多模态掩码预训练框架,在训练时使用同步的 RGB、热成像和深度面部视频,并显式训练对模态缺失的鲁棒性,从而在推理阶段仅用 RGB 视频也能取得比单纯 RGB 掩码自编码器更稳定的疼痛评估表现;它还配套收集了一个带视频级自报标签和纵向治疗轨迹的“交感介导疼痛”(SMP)数据集。
值得关注:不同于一般多模态融合方法,ReMiX-MAE 专门强调训练期多模态、推理期单模态(RGB)的“缺失通道”跨模态表征学习,缓解临床部署中热成像/深度设备不普及的瓶颈。 与已有相关卡片相比,它属于多模态表示学习的新应用场景…