近日，上海电影学院影视工程系谢志峰、李梦甜教师团队的研究工作《FilmComposer: LLM-Driven Music Production for Silent Film Clips》成功被计算机视觉国际顶级学术会议 The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2025（CVPR）录用，这是继去年AI音效生成创新成果SonicVisionLM（CVPR 2024）后，团队在大模型赋能影视创制研究中取得的又一个突破，也是上海大学上海电影学院技术与艺术深度融合的最新成果。
CVPR作为中国计算机学会推荐的A类国际顶级会议，在计算机视觉领域具有高度国际影响力，其所收录论文不仅代表该领域最前沿的技术突破，更持续引领学科发展方向。根据权威的Google Scholar Citation最新统计，CVPR的H5-index为440，位列全球出版物第二名，仅次于《Nature》，工程与计算机类出版物第一，泛人工智能领域第一。
本研究首次引入AIGC技术实现电影配乐自动生成，可以显著优化电影配乐制作流程，降本增效，同时激发创作潜能。具体来说，论文通过大模型驱动与智能体协同，提出了可控的配乐生成框架FilmComposer，模拟了音乐家真实的配乐过程，可以有效嵌入实际音乐制作管线，具备强交互性和高创作自由度。在技术上针对配乐与影片同步发展的难题，以及配乐的影视级品质、强音乐性要求，最终实现了配乐与影片在语义、节奏、进展等方面的有效对齐，以及对配乐音质和专业性的大幅增强。论文方法在生成音乐的质量、音画一致性、丰富度和音乐性方面都达到了领先水平。同时，论文为学术社区贡献了公开的高质量的电影配乐数据集MusicPro-7k，7418个独立条目，每个条目包括一对电影片段和配乐、文本描述、主旋律和节奏点。
论文原文、代码和数据集详见项目主页：https://apple-jun.github.io/FilmComposer.github.io/（项目主页展示了经典影片的配乐生成效果示例）。该论文的学生一作为何其乐，数字媒体创意工程硕士研究生二年级在读；学生二作为朱幼佳，数字媒体创意工程硕士研究生一年级在读。
FilmComposer示意图：三个主要模块分别为视觉处理、节奏可控的音乐生成模型、多智能体评估编曲与混音，输入的电影片段依次通过这些模块，最终得到一段波形音乐输出。三个内含乐谱的蓝色块展示了完整的音乐制作过程，从打点，到作曲，编曲和混音。
教师团队介绍：
谢志峰，工学博士，现为上海大学上海电影学院影视工程系、上海电影特效工程技术研究中心副教授，博士生导师，主要研究方向为计算机图形学、计算机视觉。中国电影电视技术学会电影高新技术专业委员会委员，中国计算机学会CAD/CG专委会执行委员，国际期刊The Visual Computer编委。
承担国家自然科学基金、上海市科委科技攻关、上海市教委科研创新等二十余项，发表高水平论文40余篇，其中国际顶级期刊与会议论文15篇，出版专著1本，申请国家发明专利和软件著作权18项，曾赴香港城市大学计算机科学系作访问学者，荣获2014年上海市科技进步二等奖，2017年上海大学蔡冠深优秀青年教师奖，2022年中国计算机图形学大会最佳论文奖，2022年上海市教学成果二等奖，2023年CAD/Graphics 2023国际学术会议最佳论文奖及2024年上海大学优秀本科生全程导师。
李梦甜，工学博士，博士后，现上海大学上海电影学院、上海电影特效工程技术研究中心讲师。主要研究方向为面向影视、游戏与艺术领域的数字内容理解与生成。以第一/通讯作者发表CCF A/SCI-Q1论文10余篇，国家授权专利多项。获CAD/Graphics 2023国际学术会议最佳论文奖，Chinagraph 2024电子剧场优秀技术奖。
主持国自然青年科学基金，上海市科委“科技创新行动计划”面上基金，参与国家重点研发计划、国家社科重大、国自然面上基金（4项）。担任计算机视觉国际顶级会议及期刊 CVPR、ICCV、ECCV、ICLR、ICML、NeurIPS、TPAMI、TIP等审稿人，国际期刊The Visual Computer期刊编委。任中国计算机学会CAD/CG专委会执行委员（秘书处成员），图形学与混合现实GAMES执行委员，CSIG数字娱乐与智能生成专委会、三维视觉专委会、多媒体专委会执行委员。
何其微，电影制作专业硕士，高级录音师，现为上海大学上海电影学院教师。资深电影音效设计师，美国音效剪辑师协会（MPSE）会员，音频工程学会（AES）会员。
在影视声音设计领域具有丰富经验，曾参与多部国际影视作品的声音制作，获美国音效剪辑工会奖（金卷轴奖）最佳声音设计提名、五大洲国际电影节最佳声音设计奖。作品包括艾美奖入围作品《Ctrl Alt Delete》、好莱坞访谈系列《Behind the Spotlight》、Netflix惊悚剧场作品《Till Death Do Us Part》等。
