Нейросеть научили распознавать подмену лиц на видео

Группа учёных из Калифорнийского университета в Беркли представила на конференции CVPR 2019 "умную" систему для определения подмены лиц на видео. Разработчики протестировали алгоритм на пяти американских политиках. Среди них Дональд Трамп, Барак Обама, Хиллари Клинтон, Барни Сандрес и Элизабет Уоррен.

Учёные обучили нейросеть фиксировать подмену лица на видео по множеству роликов, где запечатлены схематичные изменения мимики и повороты головы политиков в момент разговора. Разработчики использовали нейронную сеть OpenFace2 для распознавания эмоций, а также технологию опорных векторов, фиксирующую точные параметры лица. Для этого учёные создали десятисекундные фейковые ролики, где с помощью генеративно-состязательных нейросетей подставили лица политиков в видео с другими людьми.

Алгоритм американских исследователей не первый инструмент для распознания фейков. Подобные системы умеют выявлять подделки по внешним дефектам при наложении маски на лицо, но в роликах с низким качеством изображения такой способ работает малоэффективно.

Востребованность технологий для проверки достоверности видео связана с развитием нейросетей. Так, летом 2019 года учёные подменили на видео речь Барака Обамы. Подобные технологии могут применяться как в кинематографе и рекламе, так и для создания фейков, что стимулирует разработку инструментов для проверки подлинности видеоконтента.