Дипфейк-видео — манипулируемый визуальный контент, который генерируется нейросетями. Они создают синтетические звуки и изображения, выглядящие как реальные. Например, технология позволяет за несколько минут сделать видео с диктором, похожим на человека, который будет озвучивать введенный текст синтезированным голосом.
Продвинутые программы умеют заменять лица одного актера или героя съемки на лица другого человека. В нашем обзоре мы рассмотрим несколько сервисов для быстрого создания видео креативов и затронем более профессиональный софт.
О нейросетях и их способах использования мы говорим в нашем телеграм-канале, а подробные разборы AI-сервисов можно найти здесь.
Дипфейк-видео — это видео ролики и креативы, созданные с применением глубоких нейросетей. Искусственный интеллект становится мощнее, если добавляются дополнительные слои из нейронов. Чтобы раскрыть потенциал нейросетей, позволить им качественно обучиться, нужны большие вычислительные мощности и высокий объем данных.
Технология трансфера человеческих лиц устроена сложнее. Эта область еще осваивается, и тем не менее на рынке представлены несколько успешных проектов.
Между тем, есть более упрощенные сервисы, доступные бесплатно для широкого использования. Нейросети, которыми может воспользоваться каждый, умеют анимировать фотографии, добавляя движения и подмигивания, создавать анимированные пейзажи, убирать лишние объекты и фон.
Преимущества сервисов для дипфейк-видео:
Недостатки сервисов дипфейк-видео:
Дипфейк-видео активно используют в работе арбитражники для создания креативов, блогеры, вебмастеры, маркетологи для рекламы всевозможных товаров, инфобизнесмены. Технология face swap используется в индустрии развлечений, для создания игр, маркетинговых коммуникаций, персонализации брендированного контента.
Например, проект Dowell, созданный Everypixel Group, разрабатывающей продукты на основе ИИ, позволил агентству BBDO снять ролик. В нем героем был генеральный директор автомобильного концерна, а между тем реальный управленец не принимал никакого участия в съемках.
Также технологии дипфейк видео позволяют небольшим брендам и малому бизнесу получить доступ к звездам эстрады, используя их лица как амбассадоров и героев рекламы. Это дешевле, чем приглашать звезду и оплачивать большой гонорар за участие в живых съемках.
Для создания дипфейк-видео можно располагать бюджетом всего $500 и не иметь навыков в кинопроизводстве. Это доказывает кейс блогера и журналиста Тимоти Ли. Не будучи видеомонтажером, он за 2 недели и $552 создал дипфейк ролик. Ли заменил лицо Марка Цукерберга на лицо актера Брента Спайнера, игравшего одного из персонажей фильма «Звездный путь».
Алгоритмы, которые лежат в основе трансфера лиц и дипфейк видео:
При создании дипфейк-видео с помощью нейросети важно учитывать этапы препродакшена и постпродакшена. Например, когда стоит заместить лицо актера из фильма лицом другого актера или человека.
На этапе препродакшена нужно подготовить данные перед тем как обучить нейросеть. Два видео — донорское и целевое — раскладываются на кадры, их нужно посмотреть.
Не всех людей можно поменять друг с другом лицами. Алгоритмы переносят области от бровей до подбородка и от уха до уха. Таким образом, уши, лоб, волосы остаются в целевом видео «родными». На релевантность результата влияют цвет кожи и волос, раса, комплекция, форма лица, пол и возраст. Поэтому некоторые студии ищут «двойников»-актеров тех людей, лица которых нужно поменять.
Если в донорском видео лицо видно в анфас, а в целевом голова поворачивается, виден профиль, то нейросеть не всегда корректно перенесет лицо. Алгоритм не умеет домысливать как человек, и определять, что такое профиль и фас. Это касается положения глаз, губ, мимики, эмоций. Часто нейросети не распознают глаза.
После того, как нейросеть обучилась, дефекты и погрешность исправляются на этапе постпродакшена, окрашиваются и монтируются вручную. Например, видео-дизайнеры используют Adobe After Effects или аналогичные программы для цветокоррекции, размытия, шума.
Это мощное и продвинутое программное обеспечение для создания дипфейк-видео. Пользователи отмечают широкий функционал данного софта, качество сервиса техподдержки.
Программа работает на Windows, Mac и Linux. Она позволяет загрузить базу видеороликов для обучения нейросети и получить на выходе готовое видео. Софт подходит опытным пользователям, поскольку имеет достаточно сложный интерфейс, но если есть мотивация освоить программу, прилагается подробная техническая документация и мануалы.
Для запуска Faceswap нужна мощная графическая карта, например Nvidia GTX 1070 или 1080 с 8 Гб памяти. Если поставить 4 карты, процесс обучения нейросети займет примерно неделю.
Работа проходит в 3 этапа:
Для каждого из трех шагов требуется разное время человека и программы. Софт занимается задачами за несколько минут, но чтобы проверить результаты, у человека могут уйти часы.
Это код для переноса лиц, который создал российский программист Иван Перов. Есть репозиторий на GitHub, библиотека постоянно обновляется. Улучшать результат видео можно вручную, для этого надо корректировать базы данных перед обучением или на постпродакшне.
На качество результата сильно влияют исходные данные: разнообразие кадров с мимикой, положением головы людей и персонажей, разрешение, длительность и другие. Рекомендуется работать с процессором с поддержкой AVX-инструкций, иметь оперативную память от 8 Гб и видеокарту с объемом видеопамяти не менее 6 Гб.
Нейросеть работает с небольшими текстами длиной до 20 предложений. Она изучит текст, создаст сценарий, подберет видеоряд и закадровый голос для озвучки. Создать персонажа-диктора здесь не получится.
Ролик можно создать с максимальной продолжительностью 1,5 минуты, но для большинства рекламных задач этого времени более чем достаточно.
Сервис выдает готовый результат через две минуты после запуска данных в обработку. Предлагается редактор, где можно скорректировать видео, например добавить туда изображения, фото, кадры из других роликов. Есть поддержка командной работы, а также возможность подстраивать форматы видео креативов под требования соцсетей.
Телеграм-бот с помощью нейросети может генерировать дипфейк-видео из фотографий. Также он умеет анимировать фото лица. Бот работает на основе технологии First Order Motion Model, ранее его код был размещен на GitHub. По части быстродействия на обработку 1 секунды видео нужно 7 секунд, поэтому в боте может быть очередь.
Нейросеть разработана авторами сервиса Remove.bg. Она обучена распознавать и удалять фон у видео и GIF за несколько секунд. Не важно, использовался хромакей или нет. Сервис бесплатный. Пользователи отмечают, что результаты получаются впечатляющими.
Это Android и iOS приложение, которое умеет делать замену лиц на GIF и фото. Можно наложить свое лицо на лицо популярного актера, и оно будет принимать те же выражения, что и оригинал. Результатами можно поделиться с друзьями или коллегами, опубликовать в Instagram*. Изображение удаляется с сервера после обработки, но представление черт лица сохраняется.
Платный сервис для создания дипфейк-видео, стоимость $2 в час. Для начала работы нужно зарегистрироваться, загрузить свое видео. Обработка происходит в облаке, задействуются мощные графические процессоры. Нейросеть этого сервиса обучается и меняет лица на видео в течение 4 часов.
Есть возможность воспользоваться готовой обученной моделью для смены лиц, тогда процесс займет полчаса. Качество результата зависит от значения потерь. Чем меньше значения потерь при обучении из загруженных видео, тем выше качество.
Это бесплатное приложение для Android и iOS. Оно умеет модулировать голоса медиа персон и звезд, накладывать лицо на тело актера или персонажа в сцене. Есть возможность попробовать различные прически, одежду, макияж. В библиотеку сервиса загружено много видеоклипов. Сервис популярен в Китае. Так как нейросеть обучалась на китайских лицах, результаты могут не всегда получаться на 100% естественными.
Репозиторий этой нейросети можно найти на GitHub. NeuMan разработана компанией Apple и отличается высокой скоростью обучения. Нейросеть может обучаться на ролике длиной в 10 секунд.
Алгоритмы извлекают из видео изображение человека, отделяют от окружающей среды. На основе анализа данных они синтезируют ролики, где человек выполняет разные действия. Например, он может танцевать, подпрыгивать. У ролика на выходе меньше резкость, но результаты похожи на реальную съемку. Поза, которую принимает человек-актер во время съемки, не влияет на качество готового видео.
NeuMan работает на основе моделей обучения NeRF — нейро радиального излучения. Одна из этих моделей изучает человека, вторая — фон. Так нейросеть собирает информацию о геометрии человека и окружающего пространства и затем воссоздает в новых формах.
Этот бесплатный сервис для создания дипфейк-видео разработан Сбером. Здесь можно сгенерировать простой и убедительный ролик с диктором, похожим на настоящего человека. Для получения результата нужно настроить жесты диктора, написать текст, установить фон. Расположение изображения диктора можно менять.
Сервис применяет в работе алгоритмы, которые анализируют наличие диалогов, лиц крупным планом в кадрах, и таким образом выделяют ключевые сцены. Затем нейросеть управляет монтажом фильма.
Сервис умеет понимать, кто главный герой ролика, какая тема, атмосфера и настроение видео. В соответствии с этим он подбирает эффекты, звуки, музыку и разбивки. Чтобы воспользоваться этим редактором с искусственным интеллектом, нужно загрузить ролик, выбрать стиль, музыкальное сопровождение.
Редактор видео на основе нейросети. В него можно загрузить несколько часов отснятого видеоматериала. Сервис обрабатывает его с применением интеллектуальных алгоритмов и генерирует нарезку лучших моментов. Предлагается выбрать несколько готовых шаблонов для фильма. Есть бесплатная версия использования.
«Умный» редактор, чуть более скромный по возможностям, чем аналоги. Пользователи отмечают, что объем загружаемого видео здесь сильно ограничен. Это бесплатное приложение, которое можно скачать на телефон. Несмотря на то, что сервис простой и несколько устаревший, с его помощью можно оперативно создать видео на смартфоне в полевых условиях.
Инструмент генерирует дипфейк-ролики в формате «диктор и фон». Персонажи-дикторы похожи на реальных людей. Можно создать своего диктора, настроить голос.
Правилами сервиса запрещено использовать видео с предлагаемыми базовыми дикторами в коммерческих целях и для рекламы. Редактор позволяет корректировать результаты. Можно создавать дубли для тестов. Функция склейки видео между собой также присутствует, но она ограничена 6 роликами.
С помощью этого сервиса можно создавать видео с эффектами анимации и мультипликации. Инструмент бесплатный, платить нужно будет за скачивание готового видео. Есть готовые шаблоны персонажей. Сервис позиционируется как помощник для создания эффектных презентаций, видеоуроков, а также как инструмент для маркетинга.
Сервис позволяет отрисовать мультфильм с нуля не профессиональному мультипликатору или новичку. Можно вставлять готовых персонажей на временную шкалу, создавая эффект движения.
У сервиса два направления: редактор видео Wave.video и создание анимационных и мультипликационных роликов Studio. Предоставляются тысячи бесплатных предварительно анимированных персонажей, фонов, предметов. Доступны профессионально разработанные и тематические иконки, анимированные наборы, инфографика, с помощью которых можно создавать сцены в несколько кликов.
У сервиса есть два направления работы — фотографии и видео. Десктопная сборка с GitHub позволяет работать с улучшением ролика. Сервис умеет убирать шумы, увеличивать разрешение кадров вдвое без потери качества, наводить резкость.
Waifu2x работает на основе алгоритма Super-Resolution, который задействует для вычислений Nvidia CUDA. Сервис бесплатный, достаточно прост в использовании. Из недостатков пользователи отмечают не слишком широкий функционал и заточенность на мангу и аниме.
Платный сервис, стоимость $57 в месяц, также предлагается бесплатная версия, но ограниченная в функционале. Сервис умеет улучшать и редактировать видео с использованием ИИ. Он распознает голос, создает вырезки, субтитры, добавляет фоновую музыку.
Есть опция видеомонтажа на основе раскадровки, что позволяет вносить правки, делать изменения в текстах. Задействуется функция автоматического приглушения или повышения звука, громкость голоса подстраивается под фоновую музыку.
Программа повышает разрешение видео до UHD 8K, улучшает качество ролика с помощью автоматических фильтров на основе нейросетей. Для работы достаточно подключения к интернету. Сервис предоставляет широкий функционал, различные фильтры, такие как шумоподавление, устранение дрожания, глубокое восстановление, суперразрешение.
Из недостатков можно назвать не совсем прозрачное ценообразование. Абонентской платы нет, пользователь платит только за те функции, которые использует, но не всегда понятна схема оплаты.
Простой редактор на основе нейросетей, который имеет в арсенале галерею шаблонов. Можно создать ролики в разных форматах — квадратные, горизонтальные, вертикальные, различного размера. Креативы генерируются примерно за минуту. Недостаток — нельзя создать диктора или подключить озвучивание.
С помощью этого инструмента можно создать видео с диктором и фоном. В библиотеке персонажей можно выбрать 74 героя, настроить их эмоции, одежду, мимику. Чтобы начать работу, понадобится подготовить текст, который диктор будет начитывать, подобрать самого персонажа-диктора, озвучку, фон.
Есть возможность озвучивать видео креатив собственным голосом. Видео создается довольно долго — следует подождать несколько часов. Максимальная длина ролика 1 минута, но количество созданных видео не ограничено. Предлагается на выбор несколько платных тарифов.
Сервис подойдет для создания креативов под англоязычные бурж гео, поскольку работает только с английским языком. Он умеет преобразовывать текст в речь, создавать видео. Можно подобрать голос знаменитости для озвучки своего рекламного ролика. Например, рассказывать об оффере будет Ким Кардашьян или Дональд Трамп.
Сервис использует ИИ для работы с изображениями, фотографиями и видео. Он способен повысить разрешение ролика до 4К, 60 кадров в секунду.
Аппаратное обеспечение не требуется: пользователь получает максимально улучшенное видео. Обработка на ПК произойдет быстро и не замедлит работу. Сервис заявляет, что можно одновременно улучшать сотни видео.
С помощью этого инструмента можно улучшить видео даже самого низкого качества. Это бесплатная программа, которая по отзывам пользователей хорошо улучшает лица в кадрах и на изображениях. Восстановление происходит за счет многомасштабных словарей. Репозиторий программы есть на GitHub.
Создание контента для сайтов и соцсетей — это далеко не все аспекты, в которых могут быть полезны нейросети. Их можно использовать как для помощи в работе отдельных специалистов, например, для написания текста, так и в целом для улучшения эффективности бизнеса. Каждая нейросеть способна на разное, но в целом можно выделить их основные возможности:
Такие возможности могут без проблем упростить работу специалистов — дизайнеров, копирайтеров, контент-мейкеров и других. Если речь идет о бизнесе, то такие инструменты нейросетей могут легко интегрироваться в процесс работы, освобождая ключевых сотрудников от рутинных задач. Если интересно изучить эту тему подробнее, то можно посетить бесплатный практикум о работе нейросетей в бизнесе. На нем пользователи смогут получить много полезной информации: как сделать бизнес прибыльные, какие ошибки часто допускаются в процессе, и с чем именно поможет нейросеть. В частности, можно бесплатно получить 365 подсказок по работе с ChatGPT, а также разбор своего бизнеса и помощь в генерации фирменного стиля.
Вывод
Сервисы, которые создают или преобразуют видео на основе нейросетей, ускоряют работу арбитражника и помогают сэкономить на разработке креатива. Сегодня разнообразие инструментов представлено как простыми программами, с которыми сможет справиться новичок, так и сложным софтом для людей с хорошим техническим бэкграундом.
Возможности искусственного интеллекта будут развиваться, но пока он не способен полностью заменить человека. Поэтому нейросети для создания дипфейк-видео стоит рассматривать как вспомогательные инструменты в конкурентной борьбе за внимание клиентов.
*запрещенная в РФ организация
