Ученые Фрайбургского университета обучили нейронную сеть «смешивать» видеозаписи с работами известных живописцев. Результат — возможность пересмотреть, к примеру, «Звездные войны» в том виде, в котором бы получился фильм, если бы каждый кадр нарисовал ваш любимый художник.
Работа исследователей опирается на алгоритм, описание которого опубликовали в прошлом году ученые Университета Тюбингена. Их нейросеть предназначена для смешивания статичных изображений. Реализации алгоритма свободно доступны, на его основе создано несколько онлайн-сервисов, в том числе один российский, которые позволяют стилизовать под картины фотографии людей и другие изображения.
Как объясняют исследователи из Фрайбурга, с видео сложность в том, что при независимой обработке каждого кадра в результирующем ролике наблюдаются разрывы, создающие эффект мелькания. Чтобы добиться более плавного перехода между кадрами, ученые реализовали механизм, восполняющий пробелы. Кроме того, пришлось поработать над средствами реконструкции объектов, вначале заметными лишь частично, а впоследствии появляющимися полностью. Наряду с этим многопроходный алгоритм, анализирующий видео при прокрутке вперед и назад, позволил избавиться от артефактов по краям изображений. Алгоритм стилизации видеороликов размещен на GitHub.
