知识卡片：将 TS2Vec 改造为时间序列分类基础模型

一句话结论

TS2Vec-FM 通过三项改动把原本需逐数据集重训的 TS2Vec 变为“一次预训练、跨数据集复用”的冻结编码器，仅 160 万参数即在 UCR-128 与 UEA-27 线性探测下接近当前最优（差 0.3 个百分点），且无需注意力、patch tokenizer 或中间层特征提取。

事件概述或研究问题

TS2Vec 是 2022 年提出的强自监督时间序列分类方法，但设计上针对每个数据集单独进行自监督预训练加线性探测。随着领域转向跨数据集复用同一编码器的基础模型，作者提出：TS2Vec 紧凑的卷积架构、直接作用于时间采样、支持变长输入且无需重采样等特性，能否在“只预训练一次”的前提下保留？论文给出的答案是肯定的，并据此构建 TS2Vec-FM。

方法/产品要点

论文称仅需三项改动即可把 TS2Vec 转为基础模型：

1. 在合成语料上预训练；
2. 通过两个小型 stem 分别向编码器输入原始幅度视图与实例归一化后的形状视图；
3. 将每个视图对应的专家编码器蒸馏进单一编码器。

最终模型 TS2Vec-FM 是一个 1.6M 参数的膨胀卷积网络，使用“老派”卷积编码器与两层 MLP stem。

主要结果或产业意义

• 冻结编码器 + 线性探测下，UCR-128 达 83.3%，UEA-27 达 75.3%。
• 与当前最优 MantisV2 相差 0.3 个百分点以内，且优于在每个目标数据集上单独训练的 TS2Vec。
• 设计上与其他基础模型差异明显：无注意力、无 patch tokenizer、无中间层提取。

为什么重要

该工作说明时间序列分类基础模型不必依赖 Transformer 式组件即可接近最优性能，为轻量、低参数量的跨数据集复用编码器提供了实证支持；同时它延续了“合成语料预训练”的路线（可与 RMISC 卡片中关于合成/真实语料对比的讨论相互参照），但本条增量在于验证了将既有卷积自监督方法“冻结化、基础模型化”的可行性。

局限与不确定性

• 论文仅报告线性探测结果，其他探测协议（如微调、少样本）表现待核实。
• 合成预训练语料的规模、构成与生成方式在摘要中未展开，待核实。
• 与 MantisV2 的对比细节（如参数量、预训练数据、评测协议是否完全对齐）待核实。
• 蒸馏过程的具体损失设计与两个 stem 的结构细节待核实。
• 结果是否可推广到 UCR/UEA 之外的领域（如多变量高频、不规则采样数据）待核实。

可用于图书/PPT/简报的角度

• “老派卷积也能做基础模型”：反衬当前基础模型对注意力和 patch 化的默认假设。
• 方法演化叙事：从 TS2Vec（逐数据集训练）到 TS2Vec-FM（一次预训练、冻结复用）的三步改造路径。
• 参数效率对比：1.6M 参数接近 SOTA，适合讨论“小模型 + 好预训练”的性价比。
• 双视图设计（幅度 vs 形状）作为时间序列表征的通用技巧示例。

原始材料

• 标题：Turning TS2Vec into a Foundation Model for Time Series Classification
• 作者：Vasilii Feofanov, Zhenghan Tai, Andrei Ermakov, Irina Rish
• arXiv ID：2610.28602v1（cs.LG；交叉 cs.AI）
• 发布/更新：2026-10-20
• 摘要页：https://arxiv.org/abs/2610.28602v1
• PDF：https://arxiv.org/pdf/2610.28602v1
• 关键词：TS2Vec；foundation model；time series classification；self-supervised learning；linear probing；dilated convolution；knowledge distillation