Наш мозг легко распознает сложные дипфейки

Новое исследование из Австралии показывает, что наш мозг легко распознает сложные дипфейки, даже когда мы подсознательно верим в реальность изображения.

Результаты исследования также указывают на возможность использования нейронных реакций людей (а не их мнения) на дипфейковые лица для обучения автоматизированных систем распознавания дипфейков.

Различные итерации и подходы к проведению экспериментов, в которых две группы испытуемых должны были классифицировать мимолетно показанное изображение как "поддельное" или "настоящее". Первый раунд проходил на Amazon Mechanical Turk с участием 200 добровольцев, а во втором раунде участвовало меньшее количество добровольцев, которые отвечали на тесты, подключенные к ЭЭГ-машинам: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realist...

В документе утверждается:

«Наши результаты показывают, что даже при беглом взгляде наблюдатели могут распознать фальшивые лица. Однако им труднее отличить настоящие лица от поддельных, и в некоторых случаях они считали поддельные лица более реальными, чем настоящие.

«Однако, используя ЭЭГ с временным разрешением и методы классификации многомерных паттернов, мы обнаружили, что можно декодировать как нереалистичные, так и реалистичные лица из реальных лиц, используя мозговую активность.

«Эта диссоциация между поведением и нейронными реакциями для реалистичных лиц дает важные новые доказательства восприятия поддельных лиц, а также последствия, связанные с все более реалистичным классом лиц, генерируемых GAN».

В ходе двух раундов тестирования специалисты изучили способность человека различать явно ложные, гиперреалистичные (но тем не менее ложные) и реальные фотографии.

Для исследования использовали фотографии, созданные генеративными состязательными сетями (GAN), разработанными компанией NVIDIA.

Всего было отобрано 25 фотографий с человеческими лицами, автомобилями и спальнями с уровнем рендеринга от "нереалистичного" до "реалистичного". Для сравнения лиц авторы использовали подборки из набора данных NVIDIA Flickr-Faces-HQ (FFHQ). Для сравнения остальных фотографий, использовались материалы из набора данных LSUN.

Изображения вводились в систему просмотра как в правильном, так и в перевернутом виде, а также с различной размытостью. Размер фотографий составлял 256×256 пикселей. Для проведения тестов подготовили 450 фотографий для анализа.

Репрезентативные примеры тестовых данных

Первый этап тестирования проводился онлайн с помощью jsPsych на сайте pavlovia.org. среди 200 добровольцев. Изображения показывались в течение 200 мс, затем появлялся чистый экран, который оставался пустым до принятия зрителем решения о подлинности картинки. Каждое изображение демонстрировалось только один раз, а весь тест занимал 3-5 минут.

Второй, более показательный этап исследования проводился на платформе Psychopy2 с использованием ЭЭГ-экранов. Каждая из двадцати последовательностей содержала 40 фотографий, в результате чего за весь период исследования было получено 18 000 фотографий.

Поведенческое различение реальных и синтетически сгенерированных лиц (во втором раунде)

Исследователи собрали и обработали результаты, чтобы выяснить, могут ли испытуемые, подключенные к аппаратам ЭЭГ, отличить поддельные лица от настоящих. Оказывается, участники легко отличали настоящие лица от ненастоящих, однако с трудом определяли реалистичные, сгенерированные алгоритмом GAN поддельные лица. Причем перевернутое изображение или нет, похоже, не имело особого значения.

Как показало исследование, расхождение между точностью ЭЭГ и мнением испытуемых (т.е. относительно того, были ли фотографии лиц поддельными) не совпадает, причем данные ЭЭГ ближе к реальности, чем явное восприятие испытуемых.

Расхождение между точностью ЭЭГ и мнением испытуемых (т.е. относительно того, были ли изображения лиц поддельными или нет) не идентично, при этом ЭЭГ-записи ближе к истине, чем восприятие испытуемых

Специалисты пришли к выводу, что испытуемые с трудом распознавали поддельные лица, но их зрительная и мозговая активность легко обнаруживала подделки.

Обнаруженное несоответствие побудило ученых высказать свое мнение о потенциальной применимости результатов для будущих механизмов безопасности:

"При использовании в таких областях, как кибербезопасность или дипфейки, проверка способности обнаружения реалистичных лиц, вероятно, будет наиболее эффективна при помощи машинных классификаторов, использующих информацию нейровизуализации, а не концентрирующихся на поведенческой эффективности".