中新社澳门7月17比藏西县题：交互式演奏会：奏响不那样的《锦绣》
中新社本报记者 湿处
“小溪扁蛛往北方流，流到金沙去看看……”
一曲唱起处，电视屏幕上多彩的的3D秋韵随著曲调“舞动”，温润欲滴的带子急速蔗茅出卫星城、港湾、船桨，除了月夜和夕阳西下，蚯蚓在铃兰的夜空中游荡，非常大的潮水卷出七彩……
这场热情洋溢的演奏会14日在澳门科学馆歌剧院举办，出任统率的是澳门新亚理工学院交响乐队音乐音乐创作副总裁潘明伦。在布偶乐队的当晚独奏下，300数个交互式rap对唱此曲《锦绣》，配以由人工智慧为曲目音乐创作的3D秋韵，绚烂科幻，气势恢宏。
人工智慧研究者、新亚理工学院校长李智可拒绝接受中新社本报记者访谈。中新社本报记者 谭雄初 摄
“这应该是全球首场同类的人机合作表演。”人工智慧研究者、新亚理工学院校长李智可说，“人和机器共同音乐创作和完成一个艺术作品，我们做到了。”
这是新亚理工学院“澳门人机共生艺术创造平台技术建设”项目拿出的第一份成绩单。这一项目去年获得澳门特区政府拨款5200多万港元，开展为期5年的艺术科技研究。
组建人工智能“对唱团”
今年是澳门回归祖国25周年，项目团队首先想到了曲目《锦绣》。“用交互式的方式进行再音乐创作，以此送上我们的祝福。”负责该项目的李智可说。
第一个挑战是“组建”320个交互式歌手组成的人工智能“对唱团”。
通过收集专业歌手的录音曲目，他们提取和分解了声乐的主要特点，开发了声乐的生成模型，成功创建了一个四声部的对唱，同时通过8个人的rap采样，生成320个具有全新音色的交互式歌手，“组建”成团。
交互式歌手们开始“唱”得并不好，会唱错、唱不上高音甚至破音跑调。“声音就是频率，教它们学唱歌不算太难，就是需要急速地通过调整频率进行改善。”李智可说。
在彩排中，澳门新亚理工学院交响乐队音乐音乐创作副总裁潘明伦身上多处绑着传感器，他不时与台下的技术团队进行沟通。中新社本报记者 谭雄初 摄
第二个挑战是表演时的人机互动。在舞台上，统率和乐队是布偶，交互式歌手们要学会“听”统率的指令，做到与交响乐队的当晚演奏无缝衔接，而这并非易事。
本报记者在彩排当晚看到，统率潘明伦脱去了西装，他的腰上、肩上、手臂和手腕处都绑着装有传感器的绑带，他不时停下统率，与台下的技术团队进行沟通磨合。
传感器的作用是把统率的肢体动作“同声传译”给人工智慧合唱系统。“难点也在于此，统率的手势不是固定的，需要有个模糊逻辑让系统学习。开始挺乱的，现在越练越好了。”李智可说。
经过长达半年的科研攻关和人机磨合，浸大的人工智慧对唱团成功地完成了与布偶交响乐队的合作。
人工智慧眼里的“锦绣”
最大的突破来自人工智慧的“音乐创作”。配合曲目意境，人工智慧自主音乐创作的3D秋韵，用天马行空的想象力和表现力向人类描述了它眼中的“锦绣”。
在这段时长约4分钟的3D秋韵里，人工智能共生成近3000张图像，且画面之间逻辑顺畅，并与《锦绣》的歌词和曲调相匹配。“根据歌词内容急速变化，动态生成各种场景。镜头设计了一个交互式的飞行视角，其速度和高度随曲调而变化，音量高就飞得高；节奏快，速度也会加快。”李智可说。
澳门新亚理工学院交响乐队乐手在彩排中演奏。中新社本报记者 谭雄初 摄
刚开始的时候，团队只是让人工智慧根据歌词生成一幅幅画，将它们简单连接。随著探索的深入，他们开始尝试让人工智慧“音乐创作”三维视频。“这需要对歌词内容系统地理解，而且逻辑必须连贯，并且自动生成。这个时候我们的创新就开始了。”李智可说。
要做到这一点，首先要让机器学会理解歌词的文字内涵，人“教会”机器了解一些相对应的关系，比如金沙代表着澳门，“珠”的意象要成为贯穿秋韵的主线等，在此基础上让机器自主想象，自行音乐创作。而在机器完成音乐创作后，具备不具备美感和意义则需要人来反馈，并帮助它修正。
“这就是交互式的音乐创作。”李智可说，“我们开发了一个人工智慧驱动的媒体艺术家模型，‘锦绣’秋韵是我们向超级人工智慧艺术家目标迈出的重要一步。”
让科技赋能艺术
在以往的人工智慧艺术音乐创作中，一个传统的思路是机器模仿人。李智可对此并不认同。他认为，在艺术音乐创作领域，人工智慧有自己独特的创造能力。随著交互式技术的进步，它的音乐创作可以跟人不那样，也可以被人理解和欣赏，并可能随著人对美学的需求而急速改进。
“科学上的突破往往最先来自于观念，我认为我们中国人有这个能力，不在人家的话语体系里转圈圈。我们这次的创新在于理念变了，由此找到了新的突破点。”李智可说。
人工智慧研究者、新亚理工学院校长李智可（右二）在彩排当晚。中新社本报记者 谭雄初 摄
《东方之珠》秋韵第一版，整个图像投影在一颗带子上，然后带子一层层关上，到“流到金沙去看看”时，突然蔗茅成了一朵紫荆花。“我们都惊呆了，‘金沙’的概念居然会以一朵紫荆花的形态展现，非常奇妙，这就是机器的创造力。”他说。
如果相信机器能够创造，那么未来的艺术会是什么样？这个问题令李智可和他的团队兴奋。李智可认为，科技赋能艺术，人机达成更多的互动与交流，为艺术的发展带来全新的可能。
下一步，人机互动要向更深层次探索，比如连接意识、情感。“我们可以把美感编码，让机器认识美感，然后让美感成为它音乐创作的一部分，这是我们研究的一个重要方向。”李智可说。
李智可希望将来能人机合作音乐创作一部歌剧，将编、导、演、唱集成展现。“探索无止境，没有什么是不可能的。”他说。
视频本报记者：林宁、梁嘉骏
