摘要：音乐生成一直是人工智能的重要研究领域，尤其在符号音乐（symbolic music）的生成中，AI的潜力更具广泛意义。相比音频生成技术，如 MusicGen 和 AudioLDM，符号音乐生成的优势在于更高的编辑性和控制性。然而，生成长、复杂、富有表现力的音乐

音乐生成一直是人工智能的重要研究领域，尤其在符号音乐（symbolic music）的生成中，AI的潜力更具广泛意义。相比音频生成技术，如 MusicGen 和 AudioLDM，符号音乐生成的优势在于更高的编辑性和控制性。然而，生成长、复杂、富有表现力的音乐仍面临诸多挑战，主要集中在以下几个方面：

1. 长上下文建模的效率与性能：

现有的长上下文模型如 Transformer-XL 或 GPT 在处理数千到数万个 token 的长序列时会面临显著的计算成本问题。而音乐生成中，长时间结构性是不可或缺的，这要求模型能够在保持生成效率的同时捕获长期依赖。

2. 生成片段的多样性与一致性平衡：

音乐创作需要既具有长时间一致性，又具备一定的多样性，以避免片段的单调和重复。然而，目前的生成模型如果单纯依赖长上下文，往往会在后半段音乐中频繁生成重复的短片段。

3. 数据标注与分割方法：

符号音乐生成多使用人工标注的数据集，但相比演奏录制或音频转换生成的数据集，这些数据集通常缺乏细节，质量较低。此外，在 Perceiver AR 模型中采用传统 Transformer 的输入序列分割方式，会导致模型无法学习到最初长度的生成。如何通过改进分割方式更有效地利用数据，成为突破的关键。

在近期一项研究中，研究人员通过结合 Perceiver AR 模型的创新长上下文解决方案，提出了一种支持多尺度上下文建模和高效分割的方法，旨在解决这些痛点。同时，他们探索了如何在生成过程中平衡一致性和多样性，为音乐创作提供新的可能性。

日前，相关论文以《PerceiverS：用于长期表达性符号音乐生成的高效分段多尺度感知器》（PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation）为题发布。

图 | 相关论文

审稿人特别提到了以下几点创新性和贡献：

1. 对重复问题的解决：

他们采用了多尺度交叉注意力机制（Multi-Scale Cross Attention），通过为模型引入多尺度上下文关系，从而显著减少了生成过程中后段片段的重复。这种方法既保持了音乐整体的长时间一致性，又提升了音乐的多样性。

2. 对传统分割方式的改进：

引入的有效分割方法（Effective Segmentation）彻底改变了以往基于固定长度窗口分割输入序列的方式，而是从关键的有效注意力计算区域开始学习，大幅提升了训练的效率和学习的有效性。

3. 模型的跨领域应用潜力：

审稿人特别提到，提出的长上下文解决方案不仅适用于符号音乐生成，在文本生成（如长篇写作）、视频生成（如长视频结构建模）等领域同样具有极高的扩展性。

4. 技术与艺术结合的前景：

审稿人还认为，这项研究为技术和艺术的深度融合开辟了新的道路，尤其是在生成艺术领域。

这项研究在未来具有以下具体的应用潜力：

1. 音乐创作辅助工具：

模型能够生成富有表现力的高质量音乐，可广泛应用于影视配乐、广告背景音乐以及流行音乐创作中，尤其适合需要大规模生成和快速迭代的场景。

2. 教育与研究：

提供了将符号音乐模型扩展到任何自动音乐转录（AMT）数据集的可能性，这对模型训练、音乐教育和乐谱学习等领域具有重要意义。它彻底改变了过去只能依赖有限标注数据集的局限，使得人类历史上大量音乐录音可以作为训练数据，大幅拓展了可用的数据范围。

3. 跨领域应用：

• 文本生成：模型的长上下文解决方案可以应用于生成长篇内容，例如小说、剧本或学术文章。

• 图像生成：可用于建模复杂的视觉场景，如动态变化的分镜头动画。

• 视频生成：支持处理长视频的逻辑结构和细节生成，提升视频生成技术的连贯性和表达力。

4. 个性化创作平台：

未来可以开发面向个人用户的音乐生成平台，通过用户输入简单的旋律或主题，快速生成完整的作品。

据了解，

团队成员 Yi 在复旦大学读书时便是摇滚乐队的核心成员之一。他大学毕业后组建的摇滚乐队曾被《NHK》的中国改革开放系列纪录片追踪报道。之后，Yi 投身科技创业，担任多家科技创业公司的 CTO，帮助这些公司从零发展，其中一些公司最终在纳斯达克上市或被阿里巴巴集团收购。除了在科技领域的成就，Yi 还曾担任滚石移动（滚石唱片拆分的数字音乐板块）的总经理和副总裁，带领公司成功进军数字音乐领域。

尽管事业繁忙，Yi 始终保持对音乐的热爱，不断学习爵士音乐，并与著名爵士乐手 Gianluigi Franceschini、林昶、于振海等合作录制过一张爵士乐专辑。

受到谷歌团队发布的 Music Transformer 的启发，Yi 决定结合自己在音乐与科技领域的深厚经验，探索符号音乐生成的可能性。在 Weihua Li 博士和 Matthew Kuo 博士的帮助下，经过不懈努力，项目团队成功实现了这一梦想，为音乐生成领域注入了全新的活力，并带来了突破性的成果。

下一步，他们将开展以下计划：

1. 深化长上下文模型研究：

进一步探索长上下文模型在不同音乐风格类型中的表现，并深入研究 PerceiverS 的注意力机制，使其能够更好地学习和捕捉整曲的结构特点。。

2. 多领域扩展：

他们计划将该方法应用于其他生成任务，如文本、视频等领域，探索长上下文模型在跨模态生成中的潜力。

3. 与艺术家合作：

通过与音乐人、作曲家的合作，探索生成音乐在艺术创作中的更多可能性。

Yi表示，符号音乐生成不仅仅是一种技术突破，它也为音乐创作打开了更多想象的空间。通过这种探索，他们希望赋予创作者更多的工具和自由，让技术真正成为艺术表达的延伸。

来源：DeepTech深科技