Замена лица в видео

Doublicat позволяет любым пользователям воспользоваться технологией Deepfake (замена лиц на видео с помощью нейросетей), не затрачивая на создание ролика массу усилий и времени. Достаточно сделать фотографию и программа сама произведёт замену на любом из предложенных вариантов.
замена лица в видео

Программа для замены лица в видео представляет собой проект с открытым кодом. Заархивированную библиотеку можно бесплатно скачать на сайте github.com. Доступны сборки для Windows, Linux, отдельно – для CentOS.

Процесс создания дипфейка включает этап обучения ИИ, который может занять много времени. Чем мощнее видеокарта и больше оперативной памяти на ПК, тем быстрее будет сгенерирован дипфейк. Минимальные требования – 2 ГБ оперативной памяти с возможностью подкачки и наличие OpenCL-совместимой видеокарты. Но для стабильной работы приложения требуется 8 ГБ и видеокарта с объемом видеопамяти не менее 6 ГБ. В зависимости от параметров видеокарты пользователь выбирает модель работы (SAEHD для 6 ГБ , Quick96 – при объеме видеопамяти 2-4 GB).

В библиотеке содержатся тестовые видео, пользователь может заменить их своими. Приложение поддерживает форматы MP4, MKV, AVI. Максимальное разрешение – 1080p.

Для обучения ИИ требуется заснять лицо, которое будет вставлено, с тщательно убранными назад волосами, в разных ракурсах, с открытыми и закрытыми глазами. Один из BAT-файлов проекта предназначен для разбивки видео на отдельные кадры, из которых пользователь должен будет удалить лишние.

В проекте предусмотрены инструменты для нарезки видео, в которое будет вставлено лицо. Нужный фрагмент сохраняется вместе со звуковой дорожкой. Чтобы изменить лицо на видео, требуется последовательно запускать пакетные (BAT) файлы согласно инструкции.

Тренировка нейросети на отснятых кадрах длится минимум сутки, а зачастую и больше. Пользователь сам задает количество итераций. Процесс разрешается прерывать, при повторном запуске он будет возобновляться с того же места. Результаты обучения выводятся в виде графика в отдельном окне.

В программе предусмотрено множество тонких настроек. Так, можно задать точность совпадения лиц, вручную совмещать их части. Многие параметры приходится подбирать интуитивно. Готовое видео нуждается в коррекции цвета.

Приложение DeepFaceLab рассчитано на продвинутых пользователей. По мнению специалистов, первый ролик можно создать уже через 7–10 дней после начала знакомства с программой. Но для того, чтобы получить хороший результат, понадобится не меньше месяца. В дальнейшем на создание ролика будет уходить несколько дней.

Плюсы:

• Кроссплатформенность
• Бесплатность
• Возможность создания ролика длительностью несколько минут с высокой достоверностью изображения
• Наличие функций редактирования видео

Минусы:

• Высокие требования к графическому процессору
• Требуется много времени на изучение программы
• Необходима дополнительная обработка готового видео

Наверняка вы видели в интернете небольшие коротенькие видео, в которых одно лицо заменено другим. Это и есть так называемые deepfake, основанные на работе искусственного интеллекта, или нейросети.

Что такое дипфейк?

Наибольшей популярностью пользуются короткие отрывки из фильмов, где лицо главного героя заменено на лицо обычного человека. Делают такие дипфейки чаще всего ради прикола, забавы.

При помощи нейросети вы можете заменить лица разных людей, частично совместить их между собой с получением промежуточного варианта. Посмотрите на фотографии ниже – все эти люди на самом деле не существуют и никогда не существовали! Они созданы за счет комбинации искусственным интеллектом между собой сотен и тысяч снимков.

Согласитесь, если бы я не сказал вам, что это не реальные фотографии людей, вы никогда бы не догадались об этом. Но это статичные картинки, а как же происходит то же самое в видео?

Как заменяется лицо в видео?

Прежде чем рассказать как это делается, лучше будет наглядно посмотреть как это выглядит. Вот один из популярных роликов с лицом Илона Маска. Почему-то именно этот персонаж очень часто является героем дипфейков :)



Если говорить упрощенно, то в случае с видео работа нейросети заключается в объединении нескольких картинок между собой. Искусственный интеллект анализирует черты лица и характер мимики персонажа на видео, строя из него цифровой шаблон. Потом лицо на фотографии преобразуется в набор чисел, и уже он «натягивается» на шаблон.

Звучит достаточно просто, но на деле за этим стоят довольно серьезные вычислительные мощности и алгоритмы. Ведь помимо совмещения лиц надо еще «подогнать» их черты друг под друга, учесть освещение кожи в оригинальном ролике, добавить смещения из-за движений головы, туловища и пр.

Как самому сделать дипфейк?

Теория – это конечно хорошо, но не ради неё же мы собрались :) Далее расскажу вам про три лучшие бесплатные программы и приложения для замены лиц в видео. Воспользоваться ими может каждый желающий.

Reface

Ранее это приложение для Андроид и iOS называлось Doublicat. Оно получило очень много положительных отзывов от пользователей из разных стран мира и имеет достаточно высокий рейтинг: 4,6 на Google Play и 4,9 на AppStore.

Пользоваться им можно абсолютно бесплатно в базовом функционале, а вот если вы захотите побольше нестандартных возможностей, например, загружать свои гифки, то подписка всё-таки потребуется. Приложение позволяет вставить ваше лицо в видео с популярными актерами кино, исполнителями песен и звездами шоу-бизнеса.

Работать с приложением очень просто:

Сканируете своё лицо на фронтальную камеру мобильного устройства (потом можно будет просто подгружать картинки из памяти). Выбираете любой видеоролик из большого списка доступных. Получаете результат.

В наличии есть как коротенькие видеоклипы, так и анимированные гифки. Их подборки обновляются в приложении практически ежедневно, самые популярные попадают в тренды на главном экране приложения.

Дипфейки получаются очень смешные и прикольные. Их с успехом можно послать друзьям или разместить на своей страничке в соцсети, чтобы всех повеселить. Однако не всегда стоит ожидать полной замены лица героя на своё – там скорее происходит совмещение черт, но всё равно получается очень здорово.

DeepFaceLab

Эта программа для Windows с открытым исходным кодом. Её можно бесплатно скачать с сайта GitHub. Она имеет достаточно серьезные и даже профессиональные настройки по замене лиц, поэтому является, пожалуй, лидером в своей области.

Вот пример того, как выглядел бы Терминатор, если бы его играл на Шварценеггер, а Сталлоне (создано в DeepFaceLab):

А вот как заменено лицо Джека Николсона лицом Джима Керри в знаменитом фильме «Сияние». Не чудо ли?

На YouTube и TikTok существуют даже специализированные каналы, контентом которых являются дипфейки, созданные в данной программе, и они пользуются огромной популярностью.

FaceSwap

FaceSwap – схожая с DeepFaceLab программа, но помимо Windows её можно установить на MacOS и Linux. Софт тоже полностью бесплатен и тоже свободно скачивается с GitHub.

FaceSwap имеет серьезный алгоритм замены лиц, требовательный к железу. Поэтому если компьютер у вас достаточно слабый, имеет устаревший CPU и слабую видеокарту, создание дипфейка займет очень много времени.

Программа имеет активное сообщество в сети, благодаря которому в неё постоянно привносятся какие-то новшества, фишки и улучшения. Так же есть много обучающих материалов по работе в FaceSwap, преимущественно англоязычных.

Итог

Несмотря на то, что большинство дипфейков создается с ради шутки, прикола, эту технологию можно использовать и со злым умыслом. Именно таким образом можно заставить человека говорить то, чего он никогда не говорил, или делать то, чего он никогда не делал. Вы можете легко манипулировать практически любым цифровым контентом, создавая виртуальные подделки.

Так, например, в Америке справедливо считается, что дипфейки могут представлять угрозу национальной безопасности, и их создание и распространение запрещены в ряде штатов. Поэтому призываю вас применять указанные в статье программы и приложения только в мирных целях, исключительно ради доброй шутки и лучше всего с использованием своего лица, а не лица другого человека, особенного без его разрешения.

Похожие публикации:

Понравилось? Поделитесь с друзьями! Сергей Сандаков, 41 год.
С 2011 г. пишу обзоры полезных онлайн сервисов и сайтов, программ для ПК.
Интересуюсь всем, что происходит в Интернет, и с удовольствием рассказываю об этом своим читателям.