Вооруженный глаз: как распознать дипфейк

Conditional GAN

В GAN генератор получает на вход случайный вектор, и возвращает сгенерированное изображение. Т.к. в DeepFake изображение должно обладать рядом заданных свойств(обычно — внешность от одного человека, поворот головы и эмоции от другого), рассмотрим Conditional GAN. Сравнение GAN и Conditional GAN архитектур представлено на рисунке ниже. Рисунок взят из этой статьи, там можно найти больше информации.

GAN vs Conditional GAN

В классическом GAN, генератор получает на вход случайный вектор и генерирует изображение. При этом изображение является случайным, т.е. неизвестно сгенерируется женщина или мужчина, будет смотреть прямо или направо, будет улыбаться или грустить. В Conditional Gan на вход генератору подается два вектора — случайный вектор Z и вектор атрибутов(на приведенной схеме обозначен label). Дискриминатор получает на вход изображение и соответствующий вектор атрибутов. В процессе обучения генератор учиться создавать не только реалистичные изображения, но и соответствующие вектору атрибутов. Результаты которые я получил с использованием Conditional GAN представлены на рисунке ниже.

Conditional GAN

Изображения сгруппированы по парам(слева — сгенерированные, справа — оригинал). В attributes vectors задаются поворот и наклон головы, эмоции и внешность человека. Xорошо видна способность GAN генерировать фотореалистичные изображения. Если сравнить сгенерированные картинки с рассмотренными ранее результатами автоэнкодеров, создается впечатление, что GAN выигрывает в одни ворота. Но не нужно забывать, что конечная цель — DeepFake, а это генерация не одной картинки, а видео. В следующей части я расскажу как перейти от генерации отдельных изображений к созданию видео. Последняя сборка DeepFake на основе GAN выглядит следующим образом:

Где и как применяют системы распознавания лиц

Для идентификации человека используют нейросети, умеющие считывать и анализировать черты лица, а затем сверять их с базой. Самая известная технология распознавания лиц — Face ID на iPhone.

Подобные системы используют:

Производители смартфонов — для защиты персональных данных и их недоступности в случае кражи.

Полиция и спецслужбы — для поиска преступников, доказывания преступлений и их предотвращения.

Аэропорты и погранслужбы — для автоматизированного контроля электронных паспортов.

Больницы и дома престарелых — для отслеживания и оценки состояния пациентов.

Общепиты, банки и ретейл — для идентификации, предотвращения мошенничества, анализа поведения покупателей; для открытия счёта и получения кредита.

Школы и университеты — для контроля за учениками и студентами во время экзаменов.

Маркетинговые и рекламные компании — для повышения качества обслуживания клиентов и запуска персонализированной рекламы.

Автомобильные компании — для замены ключей от машины.


Фото: rfranca / Shutterstock

В 2020 году объём мирового рынка распознавания лиц оценивался в 3,86 млрд долларов и, как ожидает исследовательская компания Grand View Research, будет увеличиваться со среднегодовым темпом роста 15,4% с 2021 по 2028 год. Согласно отчёту Global Market Insights, к 2026 году объём рынка должен превысить 12 млрд долларов.

Самые масштабные разработки в области распознавания лиц принадлежат Google, Apple, Facebook, Amazon и Microsoft. Например, Facebook с 2010 года начал автоматически отмечать людей на фотографиях с помощью встроенного инструмента, а Apple внедрила распознавание лиц в iPhone.

Технология активно используется и за пределами IT-сектора. Так, авиакомпания British Airways с 2017 года применяет систему распознавания лиц, чтобы ускорить процедуру посадки на рейс, идентифицировать пассажиров, вылетающих рейсами из США.

В России есть четыре крупных игрока в этой сфере: NtechLab, VisionLabs, Sensemaking Lab и Группа ЦРТ. NtechLab известна как разработчик приложения FindFace, которое использовали для поиска людей во «ВКонтакте» по фото. Позже компания выступила подрядчиком для внедрения камер с распознаванием лиц в Москве и других регионах России.

VisionLabs также разрабатывала системы для столичных камер и участвовала в других городских проектах. Сейчас компания входит в экосистему «Сбера» и внедряет биометрию в банковские сервисы.

Дипфейк в России

В нашей стране вопросы создания и публикации дипфейков пока не урегулированы законодательно. Впрочем, по мнению экспертов, в российском праве уже есть нормы, применимые в ситуациях связанных с дипфейками. Это ст. 159 УК («Мошенничество») и ст. 152 ГК («Защита чести, достоинства и деловой репутации»). Кроме того, относится к теме и закон о защите персональных данных.

— Прежде чем что-то внедрять, нужно дождаться правоприменительной практики. Хотя бы первых серьезных историй, подтверждающих мошенничество, — отметил эксперт по информационной безопасности Алексей Лукацкий. — Тем более действующая ст. 159 Уголовного кодекса уже покрывает эту ситуацию. Так что новых требований, запрещающих дипфейки, вводить не надо.

Вооруженный глаз-7

Фото: ИЗВЕСТИЯ/Артем Коротаев

Никита Куликов, член экспертного совета по цифровой экономике при Госдуме РФ и учредитель АНО «ПравоРоботов», считает, что бороться с проблемой лучше на опережение:

— Я думаю, мы всё равно придем к дипфейковым ограничениям. Однако предупреждать мошенничество нужно не только законом, но и повышением информационной грамотности — объяснять людям (особенно пожилым), что не всему следует верить, что данные нужно проверять.

Компании из сферы информационной безопасности прогнозируют, что со временем число мошенничеств с применением искусственного интеллекта будет расти. Уже есть и тревожные прецеденты. Так, мошенники сгенерировали голос директора британской энергетической компании и в телефонном разговоре попросили управляющего дочерней фирмы перевести $240 тыс. Сотрудник исполнил приказ «босса». Позже управляющий рассказал, что аферисты повторили даже легкий немецкий акцент его начальника.

Вооруженный глаз-6

Фото: ИЗВЕСТИЯ/Дмитрий Коротаев

Алексей Лукацкий заметил, что говорить о крупных инцидентах в России пока не приходится. Однако с распространением биометрии ситуация может измениться к худшему:

— По мере развития единой биометрической системы интерес злоумышленников также возрастет. Это вдвойне очевидно на фоне новостей о том, что правительство хочет за два года собрать биометрию с 70 млн граждан. На фоне новостей, что крупные торговые сети хотят ввести оплату по лицу. Остается ждать, что число мошеннических операций увеличится в разы.

Постобработка — всему голова… и лицо

В мире идеального DeepFake, сгенерированная нейросетью модель должна отправляться в редактор (чаще всего Adobe After Effects) и там проходить через все круги композитинга:

  • Цветокоррекция

  • Выставление света

  • Сглаживание маски

  • Ручная разметка кадров, которые не считала нейросеть

Короче, доведение до ума. До качественного, реалистичного ума.

Вот как оно, доведение, выглядит на одном из наших видео: создали молодую копию Сергея Бурунова в фильме «Пара из Будущего».

Так что там с Марго?

С ней мы проделали тот же цикл, но… не получилось.

Стоит сказать, что DeepFake не превратит кого угодно в кого угодно… странно сформулировал, да…

Важно, чтобы у моделей совпадала геометрия лица. Например, Бенедикта — когда уже пройдет мода на коверкание его фамилии — Камбербетча не получится качественно превратить в круглоголового Дуэна Джонсона

Так же как вы не наденете на большой палец обручальной кольцо. Ну не подходит

Например, Бенедикта — когда уже пройдет мода на коверкание его фамилии — Камбербетча не получится качественно превратить в круглоголового Дуэна Джонсона. Так же как вы не наденете на большой палец обручальной кольцо. Ну не подходит.

ВАЖНО! ЭТА ПРОБЛЕМА АКТУАЛЬНА, ЕСЛИ РЕЧЬ ИДЕТ О ПЕРЕСАДКЕ ИМЕННО ЛИЦА, А НЕ ВСЕЙ ГОЛОВЫ! Но об этом в другой раз. Тот же казус случился с нашей актрисой и Робби

Тот же казус случился с нашей актрисой и Робби.

Но мы не отчаялись и стали искать замену. И нашли. Эмилию, мать ее драконов, Кларк. Результат, увы, показать пока не можем.

В общем, только ручными манипуляциями получается достойный, качественный DeepFake, а главное применимый в медиа: в кино, рекламе, клипах, интерактивных проектах и так далее.

Это все вообще к чему?

К тому, что «DeepCake» вот этим вот всем ручным трудом не занимается.

Буквально это говорит СЕО компании Мария Чмир.

Вырезка из интервью каналу «VFXLAB»:

Соведущий канала:

— Хотел уточнить, а на этапе постпродакшена все равно же, наверно, с помощью композа немножко шлифуется изображение?

Ответ Марии:

— Мы вообще ничего не понимаем в CG… Поэтому, все что касается постпродакшена, мы не занимались этим ни в каком виде, у нас даже нету такого специалиста в команде…

Получается, «DeepCake» тоже, вроде как, невиноваты в конечном результате: они работу до конца не доводят, они этого не знают/не умеют/не хотят. Oни просто прогоняют видео через нейронную сеть, а уже все остальное — это сторонний продакшен.

Не знаю как у вас, но у меня на этом моменте всплывает Уилл Фаррелл, из фильма «Сводные братья», истошно вопрошающий «А КАКОГО ЧЕРТА?»

Итак, А КАКОГО ЧЕРТА:

— вы не предоставляете полный цикл производства в такой узконаправленной нише?

— так дорого?

Так дорого — это «10-15 тысяч долларов за вживление тебя в «Матрицу,,»…

Вырезка из интервью каналу «ПослеЗавтра»

10-15к… за лицо… одно… незаконченное, просто прогнанное через нейросеть лицо…

Предъявлять претензии к продакшену, который взялся доводить до ума, то что нахимичила ЛАБОРАТОРИЯ глубоких пирожков я не могу, у меня клавиатура не нажмется.

Collage.Click Face Switch (iOS | Android)

Обрастающий технологиями графический редактор с незатейливым, но быстро развивающимся функционалом, сосредоточенным преимущественно вокруг переноса лиц с исходных материалов на те, которые добавлены из «Галереи» или выбраны в меню Collage.Click Face Switch. Идея не нова, но реализована разработчиками почти бесплатно (ежемесячная подписка начинается с 65 рублей и включает блокировку рекламы, подробный перевод и прочие мелочи, облегчающие жизнь), а вместе с тем дополнена инструкциями для новичков.

Среди любопытных находок выделяется еще и возможность вручную контролировать процесс переноса «внешности»: в Collage.Click Face Switch предусмотрена специальная система лицевых точек, необходимых для составления портрета от подбородка до бровей, ушей и прочих деталей. Лишний раз экспериментировать совсем необязательно – если правильно подойти к делу, то уже через минуту появится шанс довольствоваться весьма любопытными результатами.

Чем грозит подмена лиц в жизни?

Говоря об ответственности, которая может наступить при использовании замены лиц с помощью нейросетей, нужно понимать, какую цель преследует человек. Если она безобидна, то вероятность получить наказание за свои действия крайне мала. Но существует и ряд случаев, в которых законом РФ они предусмотрены. Перечислим некоторые из них:

  • Если вы увидели выложенные в сеть фотографии или видеоматериалы, которые носят оскорбительный характер, то вправе обратиться в суд. Например, ваше лицо использовали для создания материалов непристойного содержания. За оскорбление будет назначен административный штраф от 1 до 3 тысяч рублей (КоАП РФ Статья 5.61).
  • Если против вас сфальсифицированы доказательства по уголовному делу в суде, то самое меньшее наказание, которое может получить автор этих материалов — это штраф от 104 до 300 тысяч рублей. Самое большее — арест на срок до четырех месяцев. Фальсификация доказательств по уголовному делу о тяжком или об особо тяжком преступлении карается лишением свободы на срок до 7 лет (УК РФ Статья 303).

Также нужно знать, что если вы или ваш ребенок подверглись кибербуллингу с помощью замены лиц через нейросети, то нужно действовать так:

  • Сделать скриншот видео или фото.
  • Заверить распечатанный на бумаге скриншот у нотариуса для подтверждения факта травли.
  • Подать в суд на основании этого документа, чтобы потребовать с обидчика компенсацию морально вреда.
  • 5 ключевых событий в хайтеке, о которых нельзя молчать
  • Искусственный интеллект помог астрономам найти новую планету

Как работает распознавание лиц: метод Виолы-Джонса

Один из способов распознать образ — найти контур объекта и исследовать его свойства. По этому принципу работает метод Виолы-Джонса с использованием признаков Хаара, который придумал венгерский математик Альфред Хаар.

Признаки — это набор геометрических фигур с черно-белым узором, их еще называют маски. Они помогают найти границы какой-либо формы, например очертания лица, линии бровей, носа или рта.

Маски (признаки Хаара) накладываются на фотографии и «находят» на них лица. Источник

В алгоритме Виолы-Джонса маски накладываются на разные части кадра, а программа определяет, может ли в них находиться объект. Работает это так:

  1. Классификатор (алгоритм, который будет искать объект в кадре) обучают на фотографиях лиц и получают пороговое значение — его превышение будет сигнализировать о том, что в кадре есть лицо.
  2. В классификатор загружают изображение, на котором будут искать лицо.
  3. Классификатор накладывает на него маски и отдельно складывает яркость пикселей, попавших в белую часть маски, и яркость пикселей, попавших в черную часть маски. Потом из первого значения он вычитает второе.

Результат сравнивается с пороговой величиной.

Если результат меньше пороговой величины, значит, в части кадра нет лица, и алгоритм заканчивает свою работу. А если больше, он переходит к следующей части кадра.

Так происходит классификация: подобласть изображения, которая успешно проходит через весь каскад классификаторов f1, …, fn, классифицируется как лицо

На практике маски находят лицо на фотографии так:

Как маски «находят» лицо на картинке

Области применения технологии

Уже имеются целые YouTube- и Reddit-каналы c дипфейк-роликами. Технология DeepFake может применяться для самых разных целей.

Кинопроизводство.Производство фильмов сегодня – крайне затратный процесс с арендой камер, студий и оплатой работы актеров. Развитие технологии DeepFake позволит сократить затраты на съемочный процесс, монтаж и спецэффекты.

Локализация рекламы. Достаточно записать один рекламный ролик со знаменитостью, после чего лицо знаменитости можно переносить в видео с местными актерами, произносящими рекламные слоганы на родном языке. Так можно добиться эффекта, как будто знаменитость говорит на языке страны дистрибуции продукта.

Виртуальная и дополненная реальности. Технология переноса мимики может применяться для создания цифровых двойников в играх и виртуальной (или дополненной) реальности. Источниками лица могут служить сами участники игры или иного пространства. Это повышает эмоциональное вовлечение в продукт.

Очевидно, что технология должна использоваться с особой осторожностью. Злоумышленниками могут преследоваться цели компрометирования личности или создания фейковых новостей

В начале октября 2019 года члены Комитета по разведке Сената США призвали крупные технологические компании разработать план для борьбы с дипфейками. Ранее, в сентябре этого года, Google создала специальный датасет дипфейков.

Отметим, что данная публикация подготовлена исключительно в исследовательских целях.

Особенности и нюансы

Раньше для создания дипфейка нужно было много времени, чтобы нейросеть обучилась. Также под каждое лицо нужна была собственная нейросеть, иначе результат получался откровенно плохим. У разработчиков RefaceAI получилось решить эту проблему. Они создали универсальную нейросеть, способную работать с любыми человеческими лицами – именно благодаря этому фото и видео обрабатывается за считанные секунды.

Для обучения использовались миллионы фотографий из общедоступных источников (база данных не разглашается), потому у программы получается без труда обрабатывать изображения и видео.

После того, как фото загружается в нейросеть, она переводит его в своеобразный набор чисел. Из исходных данных алгоритмы понимают контуры лица и переносят их на шаблон.

Благодаря постоянному обучению дипфейк со временем только улучшается. В работе участвует нейросеть типа GAN – она состоит из двух сетей, которые помогают друг другу. В случае с заменой лиц, они переделывают тон исходной картинки под освещение шаблона.

Из недостатков приложения можно выделить наличие водяного знака. Кроме того, готовые фотографии не всегда получаются достоверными. Эта проблема будет решаться по мере того, как нейросеть продолжит обучаться.

Пожалуйста, опубликуйте ваши мнения по текущей теме материала. За комментарии, отклики, лайки, дизлайки, подписки низкий вам поклон!

Алгоритмы OpenCV

У изображения лица есть свои характеристики:

  1. Темные и светлые участки и зоны (темные — глаза, губы; светлые — лоб, щеки, подбородок).
  2. Лица всех людей устроены по одному принципу (глаза — на одной линии, под глазами — нос, под носом — губы, под губами — подбородок).

Это значит, что можно подобрать такой набор масок и составить такой классификатор, который будет учитывать эти особенности.

Для этого можно использовать OpenCV — библиотеку алгоритмов компьютерного зрения и обработки изображений. Реализована она на C/C++, также разрабатывается для Python, Java, Ruby, Matlab, Lua и других языков.

Профессия

Fullstack-разработчик на Python

Научитесь программировать на Python и JavaScript, изучите фреймворки Django и React, SQL, а также познакомьтесь с DevOps-практиками и основами Linux.

Узнать больше

Как самому сделать дипфейк?

Теория – это конечно хорошо, но не ради неё же мы собрались 🙂 Далее расскажу вам про три лучшие бесплатные программы и приложения для замены лиц в видео. Воспользоваться ими может каждый желающий.

Reface

Ранее это приложение для Андроид и iOS называлось Doublicat. Оно получило очень много положительных отзывов от пользователей из разных стран мира и имеет достаточно высокий рейтинг: 4,6 на Google Play и 4,9 на AppStore.

Работать с приложением очень просто:

  1. Сканируете своё лицо на фронтальную камеру мобильного устройства (потом можно будет просто подгружать картинки из памяти).
  2. Выбираете любой видеоролик из большого списка доступных.
  3. Получаете результат.

В наличии есть как коротенькие видеоклипы, так и анимированные гифки. Их подборки обновляются в приложении практически ежедневно, самые популярные попадают в тренды на главном экране приложения.

Дипфейки получаются очень смешные и прикольные. Их с успехом можно послать друзьям или разместить на своей страничке в соцсети, чтобы всех повеселить. Однако не всегда стоит ожидать полной замены лица героя на своё – там скорее происходит совмещение черт, но всё равно получается очень здорово.

DeepFaceLab

Эта программа для Windows с открытым исходным кодом. Её можно бесплатно скачать с сайта GitHub. Она имеет достаточно серьезные и даже профессиональные настройки по замене лиц, поэтому является, пожалуй, лидером в своей области.

Вот пример того, как выглядел бы Терминатор, если бы его играл на Шварценеггер, а Сталлоне (создано в DeepFaceLab):

А вот как заменено лицо Джека Николсона лицом Джима Керри в знаменитом фильме «Сияние». Не чудо ли?

На YouTube и TikTok существуют даже специализированные каналы, контентом которых являются дипфейки, созданные в данной программе, и они пользуются огромной популярностью.

FaceSwap

FaceSwap – схожая с DeepFaceLab программа, но помимо Windows её можно установить на MacOS и Linux. Софт тоже полностью бесплатен и тоже свободно скачивается с GitHub.

FaceSwap имеет серьезный алгоритм замены лиц, требовательный к железу. Поэтому если компьютер у вас достаточно слабый, имеет устаревший CPU и слабую видеокарту, создание дипфейка займет очень много времени.

Программа имеет активное сообщество в сети, благодаря которому в неё постоянно привносятся какие-то новшества, фишки и улучшения. Так же есть много обучающих материалов по работе в FaceSwap, преимущественно англоязычных.

Можно ли распознать deepfake?

Видео с применением deepfake выглядят убедительно только в течение пары-тройки секунд, но они (во всяком случае, пока) далеки от того, чтобы обмануть пользователей.

Эффект постоянно открытых глаз связан с недостатками процесса создания таких роликов. Дело в том, что среди картинок, по которым обычно учится нейросеть, не так много (на самом деле их нет вообще) фотографий с закрытыми глазами. Пользователи вряд ли хранят или выкладывают в сеть неудачные селфи, на которых они моргают.

Адиль Жалилов отмечает, что в перспективе распознавать deep fakes можно будет путём анализа движения глаз и амплитуды моргания.

«Предполагаю, что найдутся и другие методы распознавания поддельных видео

И очень важно, чтобы эти методы были простыми и прикладными, доступными для общества. Также важно всем государствам активно развивать и поддерживать фактчекинг, специализирующийся на борьбе с дезинформацией, а также медиаграмотность, куда включать обучение всего населения в том числе по распознаванию поддельных изображений и видео», – говорит Жалилов

Что такое Big data, и почему вам стоит беспокоиться о безопасности личных данных

Чтобы распознать deepfake, учёные из Университета Олбани провели эксперимент, в котором выявили, что в среднем люди моргают 17 раз в минуту. Эта цифра увеличивается до 26 раз во время разговора, и падает до 4,5 раз во время чтения. Эти же учёные предложили свой метод распознавания фейковых видеороликов, объединив две нейронные сети, для того чтобы более эффективно распознавать ненастоящие лица. Как выяснилось, нейронные сети часто упускают спонтанные и непроизвольные физиологические действия. Например, дыхание во время речи или движение глаз.

Профессор отмечает, что стандарты проверки доказательств deep fake должны развиваться параллельно улучшению поддельных видео, иначе однажды мы вообще не сможем доверять видеоконтенту.

Скачать программу с DeepFake

В Reface есть разные форматы: GIF-анимации, отрывки из фильмов и игр, ролики из рекламы.

Сервис Reface уже используется в более чем 100 странах. В Google Play Reface даже выбрали лучшим развлекательным приложением 2020 года. В американском AppStore программа стала лидером в категории «Развлечения», опередив TikTok и Netflix. В разделе бесплатных приложений заняла второе место, обогнав YouTube, Instagram и Facebook.

Замена одного лица на другое в приложении происходит за несколько секунд. Скорость легко объяснима: нейросеть обучали с помощью миллионов изображений из открытых библиотек.

В других подобных программах часто используются способы попроще – CGI или 3D-моделирование. В основе Reface – именно искусственный интеллект, метод машинного обучения GAN.

Использование Deepfake в работе приложения Reface.

Что доступно пользователям:

  • Можно меняться лицами со звездами – стать спортсменом, актером, известным мафиози.
  • Сделать смешные гифки со своим лицом – доступна большая коллекция GIF.
  • Создать необычные видео открытки или забавные ролики для соцсетей.
  • Возможность создать коллекцию видео с собой в главной роли – большой перечень отрывков из фильмов и клипов.

Reface постоянно улучшается. Сначала был доступен только face swap в GIF – «обмен лицами» на изображении. Сейчас есть создание и высококачественного видео.

Детекция лица

Здесь проще всего. Можно ничего не выдумывать и просто взять (пример). Dlib’овский детектор по умолчанию использует линейный классификатор, обученный на HOG-фичах.

Как мы видим, выдаваемый прямоугольник содержит не все лицо, поэтому лучше его увеличить. Оптимальные коэффициенты увеличения можно подобрать руками. В итоге у вас может получиться подобный метод и подобный результат:

Если же работа «старых» методов по каким-то причинам вас не устраивает, можно попробовать deep learning. Для решения задачи обнаружения лица подойдут любые Region Proposal Networks, например YOLOv2 или Faster-RCNN. Как попробуете — обязательно поделитесь тем, что у вас получилось.

Похожие записи:

Default ThumbnailПредоставим выписку из егрюл в москве с доставкой в день обращения Прокрастинация Как пользоваться яндекс.вордстат: самое полное руководство The best business development courses Умер борис березовский Российско-британская школа «алгоритм» — russian-british school