新闻动态

实验室孙建文教授团队研究成果被人工智能国际学术会议NeurIPS录用

作者: 发布时间:2026-10-23 点击数:

近日,由实验室副主任孙建文教授团队完成的学术论文“SDAE: Semantic-Diversity-Aware Exploration for Efficient Reinforcement Learning in Large Language Models”被第40届神经信息处理系统大会(The 40th Annual Conference on Neural Information Processing Systems, NeurIPS 2026)接收。NeurIPS是人工智能与机器学习领域最具影响力的国际学术会议之一,与ICML、ICLR并称机器学习三大国际会议,也是CCF-A类国际学术会议。孙建文教授为第一作者、万仟博士为通讯作者,实验室为第一完成单位。

基于可验证奖励的强化学习(RLVR)是提升大语言模型推理能力的重要方法。此类方法通常依据答案正误给予奖励或惩罚,但难以区分正确答案背后的常规与新颖思路,也难以辨别错误答案是接近正确的“局部失误”还是偏离较远的“根本性错误”。同时,模型训练中还可能逐渐收敛到少数解题路径,出现探索能力下降的现象。已有方法主要关注词元层面的熵,或对所有错误回答采取相近处理,难以充分利用回答在语义层面的差异特征。

针对这一问题,团队提出语义多样性感知探索方法SDAE,利用模型自身的隐状态形成回答的语义表示,聚合正确回答的语义中心作为锚点,量化每个回答与该中心的距离,并据此调整强化学习中的优势值。具体而言,方法鼓励语义上新颖的正确解法,减轻对接近正确思路的错误回答的惩罚,同时加强对偏离较远的错误路径的抑制程度。SDAE促使模型能够在巩固有效解法的同时,保留探索其他推理路径的决策空间。

对比实验基于三类主干大模型验证了SDAE的有效性,在多个竞赛级推理基准中优于强基线方法,在AIME25上Pass@256指标的绝对性能提升达13.3%,展示出较强的模型推理强化能力。该研究从语义空间几何结构出发,为理解和缓解大语言模型强化学习时熵坍塌过程导致的多样性下降问题提供了新的研究视角,也为提升复杂推理任务中的探索效率提供了方法参考。

近年来,团队依托人工智能与教育新形态实验室,围绕教育大模型的理论、技术与应用开展系统化创新,提出教育大模型塔式构建法、基于数据合成与动态回放的连续学习、多智能体协同的课堂模拟器等方法,相关成果发表在中国科学:信息科学、自动化学报、Information Fusion、AAAI、EMNLP等高水平期刊与会议,助力团队先后获批国家自然科学基金重点项目、国家社会科学基金教育学重大项目等;支撑团队自主研发“师说”大模型,入选教育部应用场景典型案例;促进高质量人才培养,助推学生获全国教育科学规划博士生项目、中国科协青年科技人才培育工程博士生专项计划项目、全国“挑战杯”竞赛“揭榜挂帅”擂台赛特等奖等。