当前位置: 虾米 >> 虾米的习性 >> 网易AI一鸣惊人AIVA小冰迎来新对手
文/黄康瑄
来源/智能相对论
“醒来灿烂星光透过了窗台,海岸线连接了那片山川大海。涌动梦境边缘像是空旷舞台,在眼前忽然展开。”看到这段文字,你的脑海中是否浮现出靛蓝星空风云变幻、透出曙光豁然开朗的景象呢?
网易“醒来”
这段文从字顺且颇具画面感的歌词并非出自人类之手,而是由网易新开发的人工智能所创作。日前,由网易伏羲、网易雷火音频部提供作词、作曲、编曲、演唱等全链路AI技术支持的歌曲《醒来》,在“网易未来大会”上正式发布。这是网易首次完成由AI完全生成的歌曲,从创作到演唱,整首歌曲从无到有仅需一小时。
其实在此之前,网易一直都在默默进行大数据平台、强化学习、图像动作、自然语言处理等围绕游戏领域的人工智能研究,毕竟游戏才是人家最赚钱的业务。《醒来》的歌词创作就是依托于网易游戏伏羲人工智能实验室较为成熟的语言处理技术。
网易伏羲利用其自主研发的“有灵智能创作平台”,让AI学会人类语言组织的基本逻辑。再借助大规模语料训练实现端到端的歌词生成,并通过自研的方法控制不同参数下的歌词创作。
有灵平台的预训练语言模型可提高歌词质量,确保生成内容的流畅性和上下文相关性。如《醒来》的歌词内容便是为了契合大会主题“洞觉·未见”而编写的一个关于AI虚拟人类在深夜苏醒的故事。
“智能相对论”了解到,作曲方面,网易伏羲根据乐理的数据分析,形成一套用于生成旋律的算法,可以在短时间内排列组合出多个实用性生成结果。
编曲则采用雷火音频部自研的智能编曲引擎,从华语乐坛大量主流歌曲中识别大众审美偏好,在15-30秒内生成一首出版级编曲。而相同质量的人工编曲,市场价格在1-1.5万元左右。网易的此项技术已具备工业化大批量生产的能力。真没想到,一个做游戏起家的公司竟能研发出如此成熟的AI音乐技术,AIVA和微软小冰或许将迎来新对手。
除了作词与编曲,以雷火音频部提供的大量游戏配音应用案例及庞大的歌声资源为基础,网易伏羲借助神经网络声学模型和声码器自动根据曲谱,实时生成契合歌曲主题且“几可乱真”的歌声,并确保“主唱”在不同BPM、风格歌谱上音高、节奏的稳定性。
“还可以嘛,不说还听不出是AI唱的。”“挺像真人的啊!”甚至还有网友从中听出了张韶涵、邓紫棋等歌星的“味道”,可见网易AI的歌声几乎能以假乱真。不鸣则已,一鸣惊人。
网易云音乐用户对《醒来》的评价
百度“睁眼”
虽然中国的AI作曲发展速度不如国外,但近年也算是“多点开花”,逐步落地。在网易之前,腾讯、百度、虾米等互联网公司及音乐平台都曾在不同程度上对人工智能作曲进行探索。
年,百度曾通过人工智能识图作曲技术,将劳森伯格“四分之一英里”画作中的两个部分分别谱成钢琴曲。还让AI根据梵高的《星空》、徐悲鸿的《八骏图》创作乐曲,前者音韵柔和耐人寻味,后者节奏明快紧张刺激,在一定程度上与画作意境相符合。但作为第一个成功研发此项技术的中国科技公司,百度似乎“志不在此”,并未继续探索相关技术。
为了赶上百度,腾讯AILab也凭借自主研发的强化学习算法,开发了AI识图作曲技术,并制作出“把照片唱给你听”的体验Demo。用户上传1到4张图片后,AI会生成相关的文字描述并匹配韵脚歌词,再通过合成语音配合旋律RAP出来。此外,虾米音乐也在其APP推出了简易的人工智能作曲功能“探乐行动”,通过让用户自行设定曲风、心情、节拍等参数,自动生成乐曲旋律。
腾讯“开口”
不同于百度和虾米的浅尝辄止,腾讯选择在人工智能作曲的道路上继续前进。今年六月,腾讯AILab推出AI数字人(DigitalHuman)“艾灵”,可通过用户提供的关键词自动生成歌词并演唱。
AI艾灵的歌声是通过分析曲谱与人类说话语音,使用真人声音训练得到的深度神经网络声学模型和声码器模型,可模仿真人声线合成音频。
与“初音未来”等虚拟歌姬的“机器合成,人工调教”模式不同,AI艾灵使用的DurIAN声学模型具有自动调试的优点,让它不需经过人工就能生成较“自然”的声音,还能合成跨语种歌声。但从听感上来说,AI艾灵目前的歌声和真实人声还是有点差别。
AI艾灵的歌词生成则是基于腾讯AILab最新研发的歌词创作深度学习模型SongNet。该模型最大的特点就是可给定任意格式和模板来生成相契合的文本。能对上下文语义和格式同时建模,兼有全局生成和局部精修两种功能。依靠关键词创作歌词的技能就是来源于此。
虽然如此,SongNet模型仍存在局限。约束上下文和蕴含特定关键词的限制会在一定程度上降低模型生成歌词的逻辑性和连贯性。目前AI艾灵只能生成基础歌词和合成歌曲,尚未无法实现完全自由的创作。
尝试变现
除了网易与腾讯等互联网公司的自主研发,字节跳动则直接“捡现成”,通过收购Jukedeck的方式入局AI作曲。近年,国内一些音乐公司也在此领域孵化出成果,并进行了商业化的尝试。
如上海若鸢智能科技公司开设Deepmusic人工智能音乐—全球免版税音乐生成平台,为视频、游戏、音乐等内容创作者提供快速制作背景音乐的服务。北京灵动音科技有限公司(DeepMusic)推出AI作词和作曲服务,帮助没有任何音乐专业知识的普通人也可以轻松地创作出属于自己的个性化音乐。
版权内容机构HIFIVE(成都嗨翻屋科技有限公司)运用AI、大数据和云计算技术,为音乐内容生产者及使用者提供版权交易和增值服务,其智能音乐助手小嗨具有听歌识曲、作曲、作词三项功能,其网页版可免费使用。
去年上线的“哼趣”APP则利用AI语音识别技术,根据使用者哼唱的内容、音调、旋律自动生成一段完整的、可编辑的曲子。现可免费下载使用。
国内的AI作曲技术落地已有一段时间,但市场渗透率似乎不高。或许是由于上市时间还不够长,尚未获得市场
转载请注明:http://www.aideyishus.com/lkyy/3121.html