全球首个公开的技术路线

AI生成音乐这件事上,即使是像Suno、Udio这样掀起热潮的玩家,也同Sora一样,并没有公开其背后的技术细节内容。

但值得一提的是,昆仑万维此次不仅是把AI生成音乐的产品给发布出来这么简单,更是做到了在技术上的“全球首家公开”

在聊SkyMusic关键技术之前,我们需要了解的是,AI音乐生成从技术角度来看,可以分为两大流派:

  • 符号音乐生成路线
  • 大模型音乐音频生成路线

符号音乐生成比较典型的技术就是MIDI(Musical Instrument Digital Interface,乐器数字接口),通常需要先对大量的乐谱做标注的工作,再对模型进行训练。

其结果最后得到是乐谱,而并非是真正意义上的音乐,还需要其它的工具来对乐谱做“善后”的工作。

虽然此前学术界也尝试了在MIDI这样的技术基础上,后期加入人声、乐器、旋律、音色等元素,但所得到的结果并不是非常理想。

直播网友AI写歌征婚,实测最新登榜音乐SOTA模型:免费无限次,一键生成

天工SkyMusic选择的大模型音乐音频生成,则是与之截然相反的技术路线——

是通过直接地学习来生成音频波形,并做到把乐器、人声、旋律、音量、音符等等元素都“一锅出”。但这条路线需要大量的研发投入和资金支持,让大多数人望而却步。即使强如Google、Meta等科技巨头,目前也没有发布在这条路线上的突破性成果。

同时,这条路线又分为Song、BGM、Speach三个细分领域;由于行业内普遍都在研究无人声的BGM领域,导致行业内对有人声的Song领域近乎没有很好的解决方案,更没有开源的方案可借鉴。

也正因如此,音乐届的“Sora时刻”才会来得比图像和视频更晚一些。

为了解决这两个老大难的问题,昆仑万维自研出一套架构来解决,它主要由Encoder、DiT和Decoder三个模块组成

直播网友AI写歌征婚,实测最新登榜音乐SOTA模型:免费无限次,一键生成

总而言之,现在的天工3.0整体体验的最直观感受就是面面俱到,最前沿、最fashion的技术和应用统统都可以拥有。

最后,对于国内首发“音乐版Sora”这事,还有个话题值得聊一聊:

为什么是昆仑万维?

自从Sora问世引爆全球AIGC大热潮以来,昆仑万维绝对称得上是众多入局百模大战选手中的黑马。

此前,或许很多人对于昆仑万维的印象还停留在“游戏”、“出海”,但现在,“AIGC”已然成为它最鲜明的标签。

深入探究昆仑万维在AIGC领域的发展历程,我们可以清晰地看到其迅猛的发展步伐。

就在Sora发布仅一个月后,2022年12月,昆仑万维便发布了自主研发的全系列AIGC算法及模型,这套模型不仅具备先进的文本对话功能,还覆盖了图像生成、音乐创作、文本理解等多个模态领域。

从起步开始,昆仑万维就把“格局打开”,剑指多模态,而这正是今年AI产业最火热的赛道之一。

2023年4月17日,昆仑万维正式发布其自研的千亿级大语言模型“天工”,并于同年7月在天工APP上线。紧随其后,8月又推出了国内首款AI搜索产品——天工AI搜索,成为首批将AI大模型直接推向市场并服务于C端用户的企业。

在这场“AI一日,人间一年”的产业竞赛中,昆仑万维并没有安于现状,而是持续死磕技术:从公开测试多模态大模型Skywork-MM,到开源百亿参数级别的大语言模型天工Skywork-13B系列,继而又推出天工SkyAgents平台,并在今年2月,将国内首个采用MoE架构的大语言模型天工2.0免费向全社会

开放。

而现在,正值天工大模型发布一周年之际,昆仑万维在2个月内将其迭代到3.0版本,再次拿下两个业界之最。

至此,也就不难回答“为什么是昆仑万维”这个疑问。因为昆仑万维始终坚守并践行“All in AGI 与 AIGC”战略,凭借敏锐的前瞻性和高效的行动力,始终站在AIGC技术发展的最前沿。

文章来自微信公众号“量子位”,作者:金磊 发自 凹非寺
直播网友AI写歌征婚,实测最新登榜音乐SOTA模型:免费无限次,一键生成

关联网址

关联标签

文章目录

发评论,每天都得现金奖励!超多礼品等你来拿

后,在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则
暂无评论...