近日,实验室的研究论文“Seeing what students learn: assessing cognitive representations and academic outcomes via EEG image reconstruction”在教育技术领域顶级期刊《International Journal of Educational Technology in Higher Education》(IJETHE,影响因子 38.7)上在线发表。实验室粟柱副教授为第一作者,实验室主任刘三女牙为通讯作者,实验室为第一完成单位。
随着在线教育、慕课和翻转课堂的普及,视频学习已成为高校教学的常见形式。然而,学生观看教学视频时“是否真正看进去”,一直是一个难以打开的“黑箱”。现有方法大多依赖考试成绩、问卷自评、后台操作记录和眼动追踪等间接手段,难以刻画学习过程中认知表征的动态变化。
针对上述问题,研究团队将脑电信号与生成式人工智能相结合,提出基于脑电的图像重构方法:让 22 名大学生佩戴 64 导联脑电设备观看 TED-Ed 科普视频并同步采集脑电信号,再利用基于 Stable Diffusion 与 CLIP 的扩散生成模型,把脑电信号“翻译”成对应的视觉画面,并通过语义一致性评估与“打乱配对”对照实验验证了重建结果的可靠性。

图1:基于脑电信号的图像重构与质量评估总体框架
研究得到三个层层递进的发现。其一,学业成绩越好的学生,其脑中所重建的画面越清晰、越稳定,二者呈显著正相关(R² = 0.79)。下图对比了高成绩学生与低成绩学生脑电重构画面的差异:最左列为视频原画面,右侧五列为 AI 依据脑电“画”出的图。

图2:答对(蓝色)和答错(橙色)题目对应的语义相似度分布。(a)分布直方图;(b)云雨图,每个点是一个数据。蓝色整体明显偏右,说明答对的题重建得更像
其二,答错题目所对应的视频片段,其脑中画面明显更模糊:答对题目的平均语义一致性分数为 71.43,答错题目仅为 62.30,差异显著(p < .001)。
其三,研究首次发现“时间错位”现象——部分学生的脑表征仍停留在之前醒目的关键画面(如大脑、爱因斯坦),视频却已向后推进。研究团队据此提出“散度”指标,对这一注意力漂移现象进行了量化刻画。
该研究将脑电图像重构从受控的静态图片刺激拓展到真实连续的教学视频场景,为揭示视频学习过程中的认知机制、发展基于神经信号的智能学习分析与个性化学习支持提供了新的技术路径,也为智能教育、学习科学等领域的研究提供了方法参考。
该成果得到国家自然科学基金重大项目“人工智能赋能教与学的理论与关键技术研究”资助;该研究是与中国电子科技集团公司第十四研究所围绕视觉重构技术应用深入合作取得的成果。
论文为开放获取,可免费下载:https://doi.org/10.1186/s41239-026-00626-5