近日,中国计算机学会(CCF)推荐的A类会议、人工智能顶会ACL 2025放榜,计算机学院彭俊杰教授课题组2022级计算机科学与技术专业本科生金义杰撰写的题为《Multimodal Transformers are Hierarchical Modal-wise Heterogeneous Graphs》的学术论文被ACL主会议录用。金义杰为该论文第一作者,彭俊杰教授为通讯作者。上海大学为唯一作者单位。
多模态情感分析是人工智能领域的一个热点研究方向。目前,多模态Transformers (MulTs)是该方向应用最广泛的一种模型范式之一,然而,多模态的融合方法严重影响模型效率。研究团队发现并证明MulTs是层次化模态级异构图,给出了MulTs的图结构表达模式,提出了采用交错掩码机制设计的图结构化交错掩码多模态Transformer (GsiT),通过权重共享机制,实现了无信息混乱的全模态一体融合,大幅降低了模型参数、显著提升了模型性能,在多模态情感分析领域具有广泛应用前景。

ACL(Annual Meeting of the Association for Computational Linguistics),是自然语言处理(NLP)领域的顶级学术会议之一,ACL论文通常代表了该领域的前沿研究成果。