Google Deepmind представил Lyria – модель искусственного интеллекта для генерации музыки, призванную улучшить творческий процесс музыкантов и художников.
В сотрудничестве с YouTube компания Google Deepmind запустила два эксперимента по созданию ИИ для музыки: Dream Track – эксперимент по созданию короткометражных фильмов на YouTube, и Music AI Tools – набор инструментов для артистов, авторов песен и продюсеров.
Модель Lyria предназначена для создания более длинных и цельных произведений с вокалом
Модель Lyria предназначена для создания высококачественной музыки с инструментальным сопровождением и вокалом. По данным Google Deepmind, Lyria поддерживает множество жанров – от хэви-метала до техно и оперы. Компания утверждает, что она способна поддерживать сложность ритмов, мелодий и вокала на протяжении фраз, куплетов или длинных отрывков.
Google Deepmind тестирует Lyria на YouTube в рамках проекта Dream Track. Цель эксперимента – изучить новые способы создания музыки. Пользователи вводят тему и стиль в интерфейс модели, выбирают исполнителя из карусели и создают 30-секундный саундтрек для короткометражного ролика на YouTube.
Модель Lyria генерирует текст, фоновую музыку и голос, созданный искусственным интеллектом, в стиле выбранного исполнителя. Среди исполнителей – Алек Бенджамин, Чарли Пут, Charli XCX, Деми Ловато, Джон Ледженд, Сиа, T-Pain, Трой Сиван и Papoose.
Исследователи Google Deepmind также работают с артистами, авторами песен и продюсерами из YouTube Music AI Incubator, изучая возможности генеративного ИИ в творческом процессе.
Совместно они разрабатывают ряд инструментов ИИ для музыки, которые могут преобразовывать звук из одного музыкального стиля или инструмента в другой, создавать инструментальные и вокальные аккомпанементы, а также генерировать новую музыку или инструментальные фрагменты с нуля. Эти инструменты призваны облегчить исполнителям воплощение своих идей в музыке, например, создание гитарных рифов из гулов.
SynthID от Deepmind маркирует аудиозаписи, созданные искусственным интеллектом
Весь контент, созданный с помощью Lyria, маркируется с помощью SynthID – того же технологического инструментария, который используется для идентификации искусственных изображений, созданных Imagen на Google Cloud’s Vertex AI. Водяной знак виден машинам, но не людям.
Аналогичным образом SynthID наносит водяные знаки на аудиозаписи, созданные искусственным интеллектом, неслышимым для человеческого уха способом, не влияющим на восприятие звука. Для этого аудиоволна преобразуется в двухмерную визуализацию изменения частотного спектра звука с течением времени.
Водяной знак должен оставаться узнаваемым даже при изменении аудиоматериала, например, при добавлении шума, сжатии MP3, ускорении или замедлении трека, пишет Deepmind.
SynthID должен помочь даже в том случае, если часть композиции была создана Lyria. По словам представителей Google Deepmind, этот “новаторский метод” не похож ни на что, что делалось ранее, особенно в области аудио.
Несколько дней назад YouTube опубликовал новые правила работы с аудиовизуальным контентом, созданным искусственным интеллектом, на своей платформе. Среди прочего, видеоплатформа уделяет повышенное внимание требованиям к маркировке и хочет, чтобы ИИ-контент идентифицировался как человеком, так и ИИ.
Для YouTube генератор музыки может стать стратегическим инструментом, позволяющим получить больший контроль над музыкой, генерируемой искусственным интеллектом на платформе, и заставить пользователей использовать свои инструменты, позволяющие точно контролировать генерируемый контент, включая маркировку.
22 Апр 2024
701