知识卡片：XRFormer：面向XRF光谱表征学习的多尺度分词器

英文标题：XRFormer: Multiscale Tokenization for XRF Representation Learning
英文关键词：XRF spectroscopy; transformer; multiscale tokenization; self-supervised learning; cultural heritage
原始来源：https://arxiv.org/abs/2607.06424v1

一句话结论

XRFormer 通过多尺度卷积分词器为 X 射线荧光（XRF）光谱定制了 Transformer 架构，在颜料识别和混合分解任务上显著优于 ViT、SpectralFormer 和 1D-CNN 基线，同时参数效率更高。

事件概述或研究问题

XRF 光谱是文化遗产材料分析的关键模态，但其自动学习面临挑战：XRF 光谱是复杂的一维信号，包含尖锐的元素峰、较宽的结构和背景变化，现有基于学习的模型并未充分考虑这些特征。本文提出 XRFormer，专门针对 XRF 光谱设计。

方法/产品要点

• 多尺度卷积分词器：在全局自注意力之前注入局部性和多分辨率归纳偏置。分词器逐步降低光谱分辨率同时增加嵌入维度，生成的 token 序列由标准 Transformer 编码器处理。
• 自监督预训练：采用掩码光谱建模（Masked Spectral Modeling, MSM）和物理信息驱动的峰值存在预测（Peak Presence Prediction, PPP）目标。
• GitHub 仓库：https://github.com/sofiane1010/XRFormer

主要结果或产业意义

• 在 Pigments Checker STANDARD v.5 数据集上，XRFormer 在颜料识别任务中持续优于 ViT、SpectralFormer（带/不带 CAF）和 1D-CNN 基线。
• 在颜料混合分解（unmixing）中，XRFormer 实现了稳健的丰度估计，同时参数效率显著高于 SpectralFormer：使用更少的 token 数（128 vs. 512）和不到一半的参数（1.5M vs. 3.37M）。
• MSM 在两个任务上均带来一致提升；PPP 在适当峰值显著性调优下进一步增强了识别和分解性能。

为什么重要

该工作表明，多尺度、模态感知的分词器是 Transformer 在数据有限条件下进行 XRF 建模的有效且参数高效的基础，为文化遗产等领域的 XRF 光谱分析提供了新方法。

局限与不确定性

待核实（原文未明确讨论局限性）。

可用于图书/PPT/简报的角度

• 文化遗产中 XRF 光谱分析的 AI 方法进展
• 专为科学信号设计的 Transformer 分词器设计思路
• 自监督学习在光谱数据分析中的应用案例

原始材料

• arXiv 页面：https://arxiv.org/abs/2607.06424v1
• PDF：https://arxiv.org/pdf/2607.06424v1
• GitHub：https://github.com/sofiane1010/XRFormer