2023年7月10日上午,加拿大蒙特利尔大学计算机科学与运筹学系助理教授刘邦博士应邀在东五楼210学术报告厅作了题为“Natural Language Processing for Materials Science”的学术报告。
刘邦博士介绍了其所在团队最近在NLP for Materials Science领域的两项工作。首先,他们发布了一个自然语言基准数据集 (MatSci-NLP),用于评估自然语言处理模型在材料科学文本上的性能。然后,他们基于MatSci-NLP,以BERT(Bidirectional Encoder Representation from Transformers)系列的语言模型为例,研究了预训练策略对模型理解材料科学文本的影响。在最近的工作中,他们提出了一个新的框架 (HoneyBee)。在这项工作中,他们针对材料科学引入了一种基于指令的可信数据管理流程 (MatSci-Instruct),并将其用于微调基于LLaMa(Large Language Model Meta AI)的语言模型。MatSci-Instruct有助于缓解开放文献中高质量的材料科学文本数据不足的问题。HoneyBee则是第一个专门针对材料科学文本的十亿参数级别的语言模型。
报告结束后,与会师生就自然语言处理和材料科学的相关问题与刘邦博士展开了热烈的交流和讨论。刘邦博士耐心解答了大家的疑惑,并与同学们分享了他在自然语言处理、材料科学等领域的研究经验与心得。现场气氛十分活跃,在场的老师和同学们都收获颇丰,本次报告受到了与会师生的高度评价。
刘邦博士本科毕业于中国科学技术大学,硕士和博士毕业于加拿大阿尔伯塔大学。现为蒙特利尔大学计算机科学与运筹学系 (DIRO) 助理教授、计算机语言学应用研究实验室 (RALI) 核心成员、魁北克人工智能研究所(Mila)会员、加拿大高等研究院(CIFAR)人工智能讲席教授。主要研究方向包括自然语言处理、多模态学习、通用人工智能技术,以及AI for Science等。
(通讯员:朱华)