Deepfakes:¿En los ojos sabemos cómo identificarlos en 2021?

Deepfake

Deepfakes

En la lucha contra los deepfakes científicos informáticos de la Universidad de Buffalo han desarrollado una herramienta que identifica automáticamente las fotos falsas mediante el análisis de los reflejos de la luz en los ojos.

La herramienta presentada para luchar contra los deepfakes demostró una efectividad del 94% con fotografías similares a retratos en experimentos descritos en un documento aceptado en la Conferencia Internacional IEEE sobre Procesamiento de Acústica, Habla y Señales que se celebrará en junio en Toronto, Canadá.

“La córnea es casi como una semiesfera perfecta y es muy reflectante”, dice el autor principal del artículo, Siwei Lyu , PhD, Profesor de Innovación de SUNY Empire en el Departamento de Ingeniería y Ciencias de la Computación.

“Entonces, cualquier cosa que llegue al ojo con una emisión de luz de esas fuentes tendrá una imagen en la córnea.

“Los dos ojos deben tener patrones reflectantes muy similares porque ven lo mismo. Es algo que normalmente no notamos cuando miramos una cara ”, dice Lyu, un experto forense digital y multimedia que ha testificado ante el Congreso.

El artículo, “ Exposición de rostros generados por GAN mediante reflejos especulares corneales inconsistentes Descargar PDF (24.3 MB)

Está disponible en el repositorio de acceso abierto arXiv.

Siwei Lyu
“Los dos ojos deben tener patrones reflectantes muy similares porque ven lo mismo. Es algo que normalmente no notamos cuando miramos una cara. “
Siwei Lyu, profesor de innovación de SUNY Empire
Departamento de Ingeniería y Ciencias de la Computación

Los coautores son Shu Hu, estudiante de tercer año de doctorado en ciencias de la computación y asistente de investigación en el Laboratorio Forense de Medios de la UB, y Yuezun Li, PhD, ex investigador científico senior de la UB que ahora es profesor en la Ocean University of China. Centro de Inteligencia Artificial.

La herramienta mapea la cara, examina pequeñas diferencias en los ojos

Cuando miramos algo, la imagen de lo que vemos se refleja en nuestros ojos.

En una foto o video real, los reflejos en los ojos generalmente parecen tener la misma forma y color.

Sin embargo, la mayoría de las imágenes generadas por inteligencia artificial, incluidas las imágenes de la red generativa del adversario (GAN), no logran hacer esto de manera precisa o consistente, posiblemente debido a muchas fotos combinadas para generar la imagen falsa.

La herramienta de Lyu aprovecha esta deficiencia al detectar pequeñas desviaciones en la luz reflejada en los ojos de las imágenes deepfake.

Para llevar a cabo los experimentos, el equipo de investigación obtuvo imágenes reales de Flickr Faces-HQ, así como imágenes falsas de este sitio , un repositorio de caras generadas por IA que parecen reales pero de hecho son falsas.

Todas las imágenes parecían retratos (personas reales y personas falsas mirando directamente a la cámara con buena iluminación) y 1.024 por 1.024 píxeles.

La herramienta funciona mapeando cada cara.

Luego examina los ojos, seguidos de los globos oculares y, por último, la luz reflejada en cada globo ocular.

Compara con increíble detalle las posibles diferencias en la forma, la intensidad de la luz y otras características de la luz reflejada.

“Deepfake-o-meter” y compromi-so para luchar contra los deepfa-kes

Aunque prometedora, la técnica de Lyu tiene limitaciones.

Por un lado, necesita una fuente de luz reflejada.

Además, los reflejos de luz de los ojos no coincidentes se pueden corregir durante la edición de la imagen.

IT CONNECT LATAM

Información de valor para ejecutivos que toman decisiones de negocios

Además, la técnica mira solo los píxeles individuales reflejados en los ojos, no la forma del ojo, las formas dentro de los ojos o la naturaleza de lo que se refleja en los ojos.

Finalmente, la técnica compara los reflejos dentro de ambos ojos.

Si al sujeto le falta un ojo o el ojo no es visible, la técnica falla.

Lyu, que ha investigado proyectos de aprendizaje automático y visión por computadora durante más de 20 años. Demostró anteriormente que los videos deepfake tienden a tener tasas de parpadeo inconsistentes o inexistentes para los sujetos de video.

Además de testificar ante el Congreso, ayudó a Facebook en 2020 con su desafío global de detección de deepfake, y ayudó a crear el ” Deepfake-o-meter “, un recurso en línea para ayudar a la persona promedio a probar para ver si el video que ha visto es, de hecho, un deepfake.

Él dice que identificar deepfakes es cada vez más importante, especialmente dado el mundo hiperpartidista lleno de tensiones relacionadas con la raza y el género y los peligros de la desinformación, en particular la violencia.

“Desafortunadamente, una gran parte de este tipo de videos falsos se crearon con fines pornográficos y eso (causó) mucho … daño psicológico a las víctimas”, dice Lyu.

“También está el impacto político potencial, el video falso que muestra a políticos diciendo algo o haciendo algo que se supone que no deben hacer. Eso es malo.”

 

Por Marcelo Lozano – General Publisher IT Connect Latam

Lea más

Ciberseguridad 2020: Salto cuántico detectar amenazas

Group-IB: Hi-Tech Crime Trends 2020/2021.

Tarjetas de Crédito Robadas: la suya puede estar en esta lista

deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deepfakes, deep

92 / 100