Meta* запускает AudioCraft, искусственный интеллект, который грозит заменить музыкантов

Компания Meta* анонсировала AudioCraft - набор инструментов, основанных на искусственном интеллекте. Он включает в себя три различные модели искусственного интеллекта и может быть использован для создания высококачественной музыки и звуковых эффектов. Для ускорения исследований компания Meta* выложила код своей технологии в открытый доступ.

Компания Meta принимает активное участие в гонке искусственного интеллекта и недавно выпустила AudioCraft - набор инструментов, основанных на искусственном интеллекте. Этот набор способен "легко генерировать высококачественное аудио и музыку" на основе простого текста. Для создания звуковых дорожек достаточно описать искусственному интеллекту то, что вы задумали. При этом "не нужно играть ни одной ноты на инструменте", — подчеркивает компания из Менло-Парка в своем блоге. Таким образом, нет необходимости учиться играть на гитаре, скрипке или фортепиано!

Три модели искусственного интеллекта для музыки, звука и сжатия

В практическом плане Audiocraft состоит из трех моделей искусственного интеллекта. Первая из них - MusicGen. Анонсированная в начале лета, эта модель может генерировать короткую музыкальную композицию из предложения, используя базу данных из 20 000 часов лицензионной музыки. Пользователь должен указать желаемый жанр музыки, указать используемые инструменты и определить чувства, которые композиция должна вызывать у слушателя.

К модели прилагается AudioGen. Этот инструмент предназначен для генерации звуковых эффектов и озвучивания. Для разработки ИИ Meta использовала базу данных, содержащую "общедоступные звуковые эффекты". Опять же, достаточно написать, что вы хотите получить тот или иной звуковой эффект.

Этим двум моделям ИИ, уже анонсированным группой в прошлом, помогает EnCodec. Эта технология разбивает аудиофайлы на более мелкие фрагменты, чтобы ИИ было легче их обрабатывать. В итоге EnCodec генерирует музыку с меньшим количеством нежелательных искажений, таких как щелчки, жужжание или шипение. Результат получается более четким и резким благодаря лучшему сжатию.

Комбинируя эти три модели, каждый может создать музыкальную композицию или получить качественные звуковые эффекты для фильма, анимации или видеоигры, написав описание. Неудивительно, что для достижения точного и убедительного результата необходимо уделить особое внимание написанию текста, добавлению деталей и указаний. Мета отмечает, что AudioCraft очень прост в использовании:

"С помощью AudioCraft мы упрощаем общую разработку генеративных моделей для аудио по сравнению с предыдущими работами".

По мнению Meta, AudioCraft не призван заменить музыкантов и других профессионалов в области аудио. Напротив, американская компания описывает свою технологию как "новый вид инструмента - точно так же, как синтезаторы, когда они только появились".

Meta и исследования в области искусственного интеллекта

Как и прежде, Meta предоставляет полный доступ к своим моделям исследователям. Эта стратегия с открытым исходным кодом направлена на стимулирование исследований в области искусственного интеллекта. Группа Марка Цукерберга уже сделала это с помощью LLaMA - языковой модели, альтернативной GPT от OpenAI. Эта модель была быстро принята разработчиками и использована для создания множества различных чат-ботов, включая версии без цензуры, доступные в Интернете.

"Мы открываем доступ к этим моделям, впервые предоставляя исследователям и практикам возможность обучать свои собственные модели на своих собственных наборах данных, что поможет им продвинуться в области аудио- и музыкальных произведений, создаваемых искусственным интеллектом", — поясняется в релизе Meta.

За последние месяцы компания Meta представила множество инноваций, связанных с искусственным интеллектом. Только одна из ее разработок еще не была доступна для исследований. Это Voicebox - искусственный интеллект, способный имитировать человеческий голос. Группа опасается, что злоумышленники могут использовать этот инструмент для обмана и манипулирования другими людьми.

* Компания Meta – признана экстремистской организацией и запрещена в РФ.