当前位置:首页  最近更新

机器人也来给亚运会唱会歌了?看看“余音”如何唱歌

发布时间:2020-09-16来源:小时新闻作者:王湛 黄子洋 柯溢能670

如果在2022年第19届亚运会的现场,你听到的会歌既有点2008年北京奥运会主题曲《我和你》的熟悉旋律,又有点《同在蓝色星球上》、《荣光》等经典曲目的影子,会不会突然充满热血与归属感?

能够多曲旋律结合并非易事,但作为浙江大学AI+艺术领域的一大成就,“余音”,正努力实现这一目标,并跟一众参赛创作人员一起参与着亚运会会歌征集活动。

“余音”目前还在积极导入相关民族、体育等元素扩充着音乐库,优化音乐算法,加紧创作“亚运会会歌”。在未来,它还可能应用到更多的音乐设计中。这么有艺术感的人工智能,到底是如何为音乐赋能的呢?

可实现多种国家风格会歌编排

还会针对APP、酒店进行个性化推荐

 杭州2022年第19届亚运会音乐作品征集第一阶段在六月时已经向公众开放,浙江大学计算机科学与技术学院副教授张克俊和他的团队也将带“余音”参加此次征集活动。

“余音”,取自成语“余音绕梁”,由浙江大学人工智能省部共建协同创新中心研发。它属于音乐创作人工智能,只需要导入视频、图片,便可以自动检索库存生成符合相关情境的音乐。

先前,“余音”团队曾导入亚运会“三宝”照片及视频进行配乐生成,两分钟后一段原创曲目诞生——曲目风格轻快明亮,和“三宝”青春洋溢的形象较为吻合。

张克俊说:“目前‘余音’主要通过识别视频中的情境相关属性,再根据现有系统数据里的音乐素材去创造符合视频情境的音乐,用音乐将先前无声视频文件合成为有声视频(vlog)。”

关于智能音乐创作中用到的乐器,张克俊团队目前基本限定在这五种——钢琴、吉他、低音贝斯、弦乐与鼓,这也是目前主流的配乐常见的乐器搭配,“大部分是三四种组合在一起。但之后亚运会会歌的制作,会适当融入更多的民族乐器元素。”

五年前,张克俊团队就开始积累中国民乐数据,现在已有一个较为全面的“民族音乐库”。近期,“余音”团队正汇聚东南亚、韩国、日本等国的民族特色音乐。

“除了多乐器音乐生成外,我们还将尝试在创作中融入国家特色,并应用于亚运会相关App比如酒店、餐饮及运动场馆等相关的App中,提供个性化定制服务”,张克俊希望“余音”能让每一个国家的人即使身处异乡,也能在使用软件或进入房间时听到他们“专属的亚运音乐”,感受到自家风格的熟悉旋律。

除了民族音乐,张克俊团队也会继续收集含体育竞赛元素的曲子比如奥运会《我和你》、《Hand in hand(手拉手)》以及花样游泳、啦啦操等代表性运动的曲目,以实现会歌风格的融合。

他也期望,“‘余音’取得初步成果后,能和亚运会官方进一步沟通,进而做出让大家满意的作品。”

音乐生成“万花筒”

只需要一段视频、一张图片

目前“余音”还属于研究型产品,从数据库检索或生成音乐片段这一步非常迅速,只需要几秒;但是合成有声Vlog比较耗时,“如果导入Vlog有一分钟,那最终版有声Vlog导出也需要一分钟左右,系统合成速度与视频时长相关。”

“余音”识别应用情境分两步,首先是浅层理解,主要根据图片或视频包含的主要色彩及亮度进行配乐。“比如亚运会三宝‘江南忆’的颜色明亮度都较高,那它对应的音乐通常比较明快、活泼。”张克俊说。

接着,“余音”就需要去识别物体或人物的特点、状态等信息。张克俊强调,系统会关注物体运动变化的关键帧,分析出一些关键属性(如节奏点)去驱动音乐检索或生成。

但是他也坦言,“目前“余音”在第二步中的准确率和效率还有待提高。”不过,随着“余音”训练数据的不断积累和算法的优化,这些问题将有望逐步被解决。

此外,余音”可以基于大数据,高效计算出如常用和弦、百搭和弦等,甚至发现潜在“乐理”,促进乐理理论的发展和应用。

“目前,AI音乐生成的机制更像是一个万花筒,可以在短时间内生成数以万计的音乐,但可控性还较差”张克俊提到,如果把曲子拆分成四段,即便每一段旋律单独听都不错,但合在一起也可能十分突兀。因此,在有声vlog生成后,有时还需要进行必要的人工润色。

“余音”团队功夫深

年底产品也将从实验室走出来

张克俊介绍他的团队时说,实验室不少学生都具有音乐相关的兴趣和特长,“‘余音’团队一共21人,其中大部分都来自于计算机科学与技术、数字媒体以及设计学相关专业。”

他笑道,“我们团队大部分的成员也都有乐器、乐理相关基础,‘能说会唱’,甚至可以自己组建乐队!”

其实,张克俊的团队自2006年起就开始做音乐情感分析相关研究了,“近年来AI作曲逐渐进入大众视野,团队研究方向也从从情感分析拓展到音乐情感生成,于是2017年上半年后,‘余音’慢慢从实验室中研发出来。”

对于之后的发展,张克俊也做了不少预期规划:“随着‘余音’的准确度、效率和稳定度的不断提升,应该在一年左右会走出实验室,推向市场。”

现阶段,“余音”的乐曲编排、音色混编、并轨导出等部分工作还需要借助人机交互完成。张克俊希望,在未来能够与视频制作公司、作曲家及相关工作者合作,获取更多的经验知识,进而逐步减少人工参与,提升AI作曲的“智能度”,他说。

他强调:“‘余音’设计初衷是希望人工智能赋能音乐艺术,提升机械性工作的完成效率和准确性,与创作者一起专注于更有创造性的工作。我们通过降低音乐认知和创作门槛,在提高音乐创作效率的同时,探索音乐艺术的更多可能性。”


小时新闻2020年9月15日