Google научил ИИ создавать музыку по текстовому описанию – видео

За разработкой стоит компания Google, создавшая нейросетевой сервис MusicLM. Задача сервиса состоит в создании музыкальных произведений. Примеры работ можно прослушать на демо-сайте.

MusicLM создает музыку по текстовым запросам. Пользователь может задать жанр, настроение, темп и другие желаемые нюансы.
“Мы представляем MusicLM – модель, генерирующую высококачественную музыку по текстовым описаниям, вроде "успокаивающая скрипичная мелодия, подкрепленная искаженным гитарным рифом", – рассказывают разработчики на сайте.

MusicLM рассматривает процесс условной генерации музыки как иерархическую задачу моделирования последовательности и генерирует музыку с частотой 24 килогерца, которая остается неизменной в течение нескольких минут. Разработчики уверены, что MusicLM превосходит предыдущие системы как по качеству звука, так и по соблюдению текстового описания.

Нейросеть также может объединять несколько разных произведений в одно общее. Для этого в инструкции нужно указать описания для каждого из них. Кроме того, можно выбрать уровень владения инструментами – например, для того, чтобы композицию якобы сыграл начинающий музыкант или, наоборот, виртуоз. 
Инструкции также могут быть представлены и в форме звуков. Например, пользователь напевает или насвистывает мелодию, а нейросеть адаптирует ее до полноценного трека с учетом стиля.

Google представили новый ИИ, который генерирует музыку по текстовому запросу

MusicLM – так называется сервис, способен генерировать песни по текстовому описанию, по вашим образцам музыки или по загруженному изображению pic.twitter.com/2tX8lH09Ec

— STARLINK (@lgj170) January 28, 2023