Resultados de benchmarks de deepfakes: qué indican y qué no

Empieza por la pregunta que debía responder el benchmark

Un resultado de benchmark puede parecer un veredicto listo para usar: si un sistema obtuvo una puntuación mayor, debería decidir mejor si cualquier imagen o vídeo es falso. Esa conclusión supera lo que demuestran los datos. Un benchmark mide un sistema dentro de una evaluación concreta. Antes de usar el resultado, hay que identificar qué tarea debía realizar el sistema.

NIST describe Open Media Forensics Challenge Evaluation, u OpenMFC, como una serie de evaluaciones abiertas para medir la capacidad de algoritmos y sistemas de análisis forense de medios. La página pública centra el programa en la detección y localización automática de manipulaciones en imágenes y vídeo. Las tareas incluyen decidir si el contenido está manipulado y, cuando corresponde, localizar la región e identificar el tipo de manipulación. OpenMFC también admite tareas de detección de manipulaciones con GAN.

Estas afirmaciones delimitan el objeto de la evaluación. No ofrecen una precisión universal para todos los detectores, manipulaciones o archivos que pueda encontrar una persona. La pregunta útil es más concreta: ¿qué capacidad midió esta evaluación y mediante qué tarea publicada?

Lee la tarea antes que el resultado

Empieza por el nombre de la tarea y su salida. La detección, la localización y la identificación del tipo de manipulación responden preguntas distintas. El resultado de una no debe convertirse en prueba de otra. Si una tabla o clasificación separa las tareas, conserva esa división en tus notas.

Busca después el material que define la evaluación. NIST indica que OpenMFC ofrece conjuntos de datos de referencia e infraestructura de evaluación, y dirige a los participantes a la web del programa. La página pública también señala que los conjuntos de datos publicados por NIST se solicitan tras registrarse y completar los acuerdos de licencia. Si el resultado remite a documentación adicional, úsala para identificar los datos, la tarea y el alcance de los términos publicados. Cuando no puedas consultar esos detalles, registra la carencia en vez de sustituirla por suposiciones.

Comprueba también si el resultado pertenece a OpenMFC o a un programa anterior. NIST explica que OpenMFC parte de la experiencia de Media Forensic Challenge, una evaluación desarrollada para el programa MediFor de DARPA. Los nombres parecidos no vuelven intercambiables evaluaciones diferentes. Conserva el nombre del programa asociado al resultado.

Este orden de lectura es una recomendación operativa del artículo. NIST define su programa y sus tareas, pero no presenta el proceso de decisión descrito aquí ni afirma que un benchmark determine la autenticidad de un archivo concreto.

Separa el rendimiento del sistema de la decisión sobre un archivo

Un resultado de benchmark describe el rendimiento comunicado dentro de esa evaluación. Un archivo concreto plantea otra pregunta: ¿qué pruebas existen para esta imagen o vídeo y qué decisión permiten tomar ahora? Conserva el resultado como información de contexto sobre el sistema. No lo copies al expediente como veredicto sobre el archivo.

Al revisar un archivo sospechoso, conserva el original si está disponible y registra de dónde procede, quién lo facilitó y qué afirmación lo acompaña. Comprueba si una fuente fiable o la cuenta original ofrece el mismo material y contexto. Revisa las credenciales de procedencia disponibles. Ninguno de estos pasos exige adivinar qué fila del benchmark se parece más al archivo.

Si utilizas un detector, guarda la salida junto al archivo y las demás pruebas. La detección automática puede producir falsos positivos y falsos negativos: puede marcar contenido auténtico o pasar por alto contenido manipulado. Una señal de riesgo alta justifica una revisión adicional; una señal baja no autentica el archivo.

Crea un registro que otra persona pueda repetir

Por cada afirmación de benchmark que vayas a citar, anota el programa, la tarea, la URL de origen y el resultado exacto del que hablas. Añade la fecha de consulta. Si el resultado depende de una tabla o documento que no puedes revisar, indícalo. Una nota breve y acotada resulta más útil que un resumen seguro cuyo alcance no se puede comprobar.

Mantén un registro distinto para la revisión del archivo: el original o la mejor copia disponible, su fuente y la afirmación asociada, las pruebas de procedencia, la salida del detector y la decisión humana final. Separar ambos registros evita que un resultado de sistema se convierta sin aviso en prueba sobre un archivo.

DeepFakeCheck puede analizar una imagen, vídeo, audio o texto guardado y devolver una señal probabilística de riesgo. No reproduce una evaluación OpenMFC, no identifica a quien proporcionó el archivo ni demuestra que el hecho representado ocurrió. Usa la salida como un elemento de la revisión, sin sustituir la verificación de la fuente.

Usa el resultado sin cederle la decisión final

Un benchmark resulta útil cuando la comparación permanece dentro del alcance declarado. Permite entender qué tarea fue evaluada y localizar los materiales que respaldan un resultado publicado. Se vuelve engañoso cuando una clasificación o puntuación se presenta como garantía sobre archivos, tareas o condiciones ajenos a la evaluación.

Antes de actuar, distingue si las pruebas disponibles se refieren al sistema evaluado o al archivo concreto. Para el sistema, cita el programa y la tarea exactos. Para el archivo, documenta su fuente, contexto, procedencia y cualquier salida del detector. Si las pruebas disponibles no responden la decisión pendiente, deja la conclusión abierta y continúa verificando.

El límite práctico es claro: el benchmark puede orientar la selección de herramientas y el plan de revisión, mientras que la decisión sobre un archivo debe depender de las pruebas de ese archivo.

Fuentes

• NIST, Open Media Forensics Challenge Evaluation: https://www.nist.gov/itl/iad/mltg/open-media-forensics-challenge