M2UGen是一个由腾讯和新加坡国立大学共同研发的多模态音乐生成模型，它具备音乐生成、理解和编辑的能力。具体来说，M2UGen可以接收文字、图片、视频或音频作为输入，然后生成与之相匹配的音乐。例如，给它一段文字，如诗句或故事，它能够创作出与文字内容相应的音乐；对于图片，它能创作出匹配的音乐，让图片仿佛“动起来”；对于视频，它可以根据视频内容创作出合适的背景音乐。

此外，M2UGen还能够理解和回答关于音乐的问题，就像一个音乐专家一样。如果用户想要改变已有音乐的风格或节奏，只需告诉M2UGen，它就能帮助用户进行音乐编辑，例如轻松移除或替换特定乐器，调整音乐的节奏和速度。

在技术上，M2UGen使用了多种模型和编码器，如LLaMA 2模型进行音乐理解，MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，以及MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。M2UGen的开源代码库和模型权重已在GitHub和Huggingface上提供。

论文地址：https://arxiv.org/pdf/2311.11255.pdf

体验地址：https://crypto-code.github.io/M2UGen-Demo/

M2UGen的功能特点主要体现在其强大的音乐生成、理解和编辑能力上。具体来说：

M2UGen是一个多模态音乐理解与生成模型，它结合了大型语言模型（LLM）的能力，以实现音乐问答和从文本、图像、视频和音频生成音乐的功能。这个模型的适用群体包括：

以下是M2UGen的一些基本使用方法：

M2UGen视频教程：