Обнаружение нарушений rPPG-сигналов в дипфейках

Значимый прорыв формирует отрасль ИИ: Remote Photoplethysmography (rPPG) — это технология бесконтактного измерения физиологических сигналов человека по видеозаписи. Изначально метод создавался для оценки пульса через обычную камеру, но позже стал одним из важных инструментов обнаружения дипфейков. Основная идея очень проста:Когда сердце перекачивает кровь, объем крови в капиллярах лица слегка меняется.

Это вызывает микроскопические изменения отраженного света от кожи. Человеческий глаз их не замечает, но алгоритмы компьютерного зрения могут извлечь эти изменения из видеопотока и восстановить сигнал сердцебиения. Для настоящего человека физиологический сигнал присутствует всегда, однако его качество извлечения зависит от условий съемки.

Технические детали

В синтетических видео rPPG-сигнал часто отсутствует, искажается или демонстрирует физиологически неправдоподобные характеристики. Почему дипфейки плохо проходят rPPGБольшинство генеративных моделей обучаются воспроизводить -форму лица, мимику, движения губ, моргание. Но, они обычно не моделируют - кровоток, сосудистые изменения, физиологические процессы.

Поэтому при анализе возникают артефакты. Отсутствие пульсового сигналаВ некоторых дипфейках спектр выглядит как шум:Настоящее лицо:пик на 75 bpmДипфейк:хаотический спектрбез выраженного пика Признак 2. Несогласованность областей лицаУ живого человека:лоб,правая щека,левая щекапоказывают одинаковый пульс.

Например:Лоб: 72 bpmПравая щека: 73 bpmЛевая щека: 71 bpm У дипфейка:Лоб: 62 bpmПравая щека: 91 bpmЛевая щека: 47 bpmчто физиологически маловероятно.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.