知识卡片:SCORE:无标签跨被试EEG到图像检索的被试坐标恢复
英文标题:SCORE: Subject Coordinate Recovery for Label-Free Cross-Subject EEG-to-Image Retrieval
英文关键词:EEG-to-image retrieval; cross-subject; label-free; subject coordinate recovery; visual decoding
中文关键词:脑电解码;图像检索;跨被试;无标签;被试坐标恢复
信息来源:arXiv:2608.19134v1(依据摘要整理;未说明处标“待核实”)
一句话结论
SCORE 提出一种无目标标签的跨被试 EEG-to-Image 检索框架:通过“恢复”不同被试在共享图像空间中的坐标方向,在 200 路检索基准上显著改善无标签新用户的检索准确率,且部署时无需目标标签或更新编码器。
事件概述/研究问题
视觉解码可从 EEG 等神经信号中恢复被试感知的图像内容,有潜力用于神经通信。但现有 EEG-to-Image 检索方法面对没有标注校准数据的新用户时,性能远低于被试内(within-subject)方法,限制了实际部署。作者分析跨被试 EEG 特征后发现:不同被试对概念间关系的保持是相似的,但这些关系所在的坐标方向不同;由此提出 SCORE。
方法/产品要点
- 训练阶段:使用“恢复感知的源端训练”(recovery-aware source training),将源被试 EEG 对齐到公共图像空间,并通过仅源数据的回合(source-only episodes)模拟未见被试的恢复。
- 部署阶段:两个编码器保持冻结;通过“hubness 校正匹配”(hubness-corrected matching)选择可靠的 EEG-图像地标,再估计一个正交变换,以恢复目标被试的 EEG 坐标。
- 不依赖源数据、不依赖目标标签,也不需要更新编码器。
主要结果或产业意义
- 在 200 路检索的 THINGS-EEG2 上,Top-1/Top-5 达到 53.23%/83.55%,超过最强基线 17.45/15.70 个百分点。
- 在 Alljoined-1.6M 上,Top-1/Top-5 达到 12.01%/32.16%,超过最强基线 3.08/4.62 个百分点。
- SCORE 对每个目标被试均优于未适应(unadapted)基线。
- 研究意义:无需目标标签和编码器更新即可跨被试应用,使基于脑电的视觉解码朝稳健、实用、低延迟的方向推进。
为什么重要
该工作直接面向跨被试泛化难题:新用户无需标注校准即可获得较好的 EEG-to-Image 检索性能。这种“训练时模拟恢复、部署时坐标对齐”的思路,为脑电视觉解码的实际部署提供了低门槛方案,也为理解不同被试的脑电表征差异提供了“坐标方向不同、语义关系相似”的视角。
与既有脉络的关系
本条与“DiCE-CIR”等已有图像检索卡片同属检索主题,但侧重不同:DiCE-CIR 是零样本组合图像检索,本条是 EEG 到图像的跨被试检索。增量信息在于:该工作将跨被试性能差距归因于“坐标方向”不同,并提出无需目标标签的坐标恢复方法;这与既有卡片不重复。
局限与不确定性
- 本文为 arXiv 预印本,同行评审状态待核实。
- 摘要未给出 EEG 预处理、图像编码器结构、训练数据规模等实现细节,待核实。
- 实验仅在 THINGS-EEG2 与 Alljoined-1.6M 两个基准上报告,未说明在其他数据集或真实神经通信场景中的表现,待核实。
- “正交变换”的实际约束、失效条件以及“hubness 校正匹配”的具体实现,需以全文为准,待核实。
可用于图书/PPT/简报的角度
- 脑电视觉解码的“检索式”评估:从脑电信号中找回被试正在看的图片。
- 跨被试为何难:不是概念表征完全无关,而是坐标方向不同。
- 无需标定的跨用户适配:SCORE 在部署时冻结编码器,并通过地标匹配与正交变换完成坐标恢复。
- 量化结果对比:两个公开基准上的 Top-1/Top-5 增益可作为生动例子。
原始材料
- 英文标题:SCORE: Subject Coordinate Recovery for Label-Free Cross-Subject EEG-to-Image Retrieval
- arXiv ID:2608.19134v1
- 作者:Zhenyao Cui, Siyuan Kan, Siyang Li, Ziwei Wang, Dongrui Wu
- 提交/更新时间:2026-08-19T17:27:29Z
- 分类:cs.LG
- URL:https://arxiv.org/abs/2608.19134v1
- PDF:https://arxiv.org/pdf/2608.19134v1