Нейросеть научилась создавать техно-треки

На фестивале «Меридиан» прошел финал хакатона Geeks & Freaks Hackathon. Data Science-специалисты и саунд-продюсеры создали сеты из треков, сгенерированных нейронной сетью. Лучшую команду определили с помощью зрительского голосования.

Нейросеть становится не просто термином, а технологией, которая делает нашу жизнь веселее и проще. Именно вовлечение молодых IT-специалистов в творческую жизнь города стало целью сотрудничества компании Napoleon IT и городского фестиваля «Меридиан». Хакатон является примером того, как интеграция искусства с наукой рождает новые проекты и перспективы для современной молодежи.

Вместе с организаторами фестиваля «Меридиан» Napoleon IT провел Geeks & Freaks Hackathon — хакатон, посвященный генерации техно-музыки нейронными сетями. В хакатоне участвовали пять команд, из которых три вышли в финал. Всего приняли участие 12 Data Science-специалистов и три саунд-продюсера. Пять дней Data Science-специалисты обучали модель, которая сгенерирует семплы. Готовые семплы были обработаны и сведены в сет саунд-продюсерами. Главная цель хакатона была в объединении молодых ученых, специалистов по Data Science с представителями разных субкультур, которые могут с помощью нейросети генерировать уникальный контент. Результаты были представлены на тематической техно-вечеринке Geeks & Freaks в клубе РМЦ, где около 1 тыс. человек танцевали под треки главного хедлайнера — искусственного интеллекта.

Хакатон прошел в online-формате, как и награждение. Участников хакатона подключили по Zoom, и гости фестиваля смогли познакомиться с командами. Все желающие команды могли на время участия использовать для генерации техно-музыки облачные сервисы Yandex Cloud — виртуальные машины с GPU. Победителем стала команда Baby Kagglers, которая забрала призовой фонд в размере 100 тыс. руб.

Руслан Ахтямов, директор по стратегии и сооснователь Napoleon IT:

— Главная цель хакатона была в объединении молодых ученых, специалистов по Data Science с представителями разных субкультур, которые могут с помощью нейросети генерировать уникальный контент. Вовлечение молодых IT-специалистов в творческую жизнь города стало движущей силой сотрудничества компании Napoleon IT и городского фестиваля «Меридиан». Хакатон является примером того, как интеграция искусства с наукой рождает новые проекты и перспективы для современной молодежи.

Сейчас происходит настоящее перерождение жанра техно-музыки, мы все чаще наблюдаем формирование субкультур любителей этого стиля. Ребята, которые увлекаются техно-музыкой, всегда очень творческие, позитивные и, как ни странно, увлечены IT. Именно эти качества мы ценим в наших текущих сотрудниках и хотели бы привлекать подобных ребят в будущем за счет хакатонов и других мероприятий.

Нейросети уже хорошо себя зарекомендовали в создании различного контента. Сгенерированные нейросетью тексты и изображения зачастую неотличимы от того, что мог бы сделать человек, при этом время работы занимает около нескольких минут, а человек бы на такую работу потратил от нескольких часов до нескольких дней.

На первом этапе создается модель, которая по определенно заданному алгоритму сопоставляет звуки таким образом, чтобы на выходе получалась мелодия. Вторым этапом происходит обучение модели при помощи загрузки в нее семплов, нарезанных из разных музыкальных произведений. Чем больше данных загружено в модель, тем лучше она обучится и тем лучше покажет результат в виде мелодии или целого музыкального произведения.

Команды на хакатоне использовали два подхода:

• модель обучается на большом количестве дорожек мелодий или ритма и пытается сделать что-то похожее;
• модель обучается на отдельно взятых звуках и пытается создать новый звук.

Модели, полученные в ходе хакатона, можно использовать для ускорения процесса создания музыкальных произведений, где модель будет выполнять роль помощника музыканта и определять основную мелодию трека и семплов. Саунд-продюсеру лишь останется подкорректировать переходы и наложить эффекты для создания полноценной композиции, которую можно включать на рейвах любителей техно-музыки.

Алгоритмы для генерации мелодии схожи с любыми другими алгоритмами генерации последовательностей. С их помощью можно не только генерировать мелодию, но и любые последовательности — например, написать новый текст или сгенерировать новую цепочку ДНК.

Подготовила Мария Грибова