2020.12.05 // AI Journey // Генерация изображения с помощью AI// Даня Милохин //Я дома

1 Просмотры
Издатель
Командой Sber AI были сгенерировали видео на основе музыкальной дорожки и полного текста песни с помощью state-of-the-art-архитектур нейронных сетей.

Основной из них является BigGAN, используемая для генерации картинок.

Вторая технология — SBERT применяется для выделения общего смысла из любой строки с текстом. Это языковая модель, которая умеет представлять любой текст в виде числового вектора так, чтобы близкие векторы соответствовали фразам, схожим по смыслу. Таким образом, можно по любой строке из любой песни найти близкую ей по смыслу категорию, понятную BigGAN. А уже затем с помощью BigGAN сгенерировать картинку с изображением объекта из этой категории.

Проделав такую процедуру для каждой строки из песни, а затем объединив полученные образы с автоматическими колебаниями кадров в такт музыке, были получены действительно захватывающие видеоролики, которые соответствуют смыслу представленных треков и наглядно отражают представление AI о смысле композиции.
Категория
Игры РПГ
Комментариев нет.