미디어 포렌식 평가 지표: 탐지 결과를 신중하게 읽는 법
NIST의 OpenMFC가 실제로 측정하는 것
미국 국립표준기술연구소(NIST)는 Open Media Forensics Challenge(OpenMFC)라는 공개 평가 시리즈를 운영하며, 이를 통해 미디어 포렌식 알고리즘과 시스템의 성능을 평가하고 측정한다. NIST는 2020년 OpenMFC를 위한 리더보드 평가 플랫폼을 시작했고, 이는 DARPA MediFor 프로그램 아래 2017년부터 2020년까지 진행된 Media Forensics Challenge(MFC) 평가를 이어받은 것이다. 이 프로그램의 목표에는 공개 챌린지, 벤치마크 데이터셋, 평가 인프라가 포함되며, 이미지와 영상의 조작 탐지 및 위치 특정 자동화 기술의 성능을 측정한다 — 파일이 조작되었는지 여부뿐 아니라 어디가, 어떤 방식으로 조작되었는지까지 다룬다는 뜻이다. 이 프로그램은 GAN(생성적 적대 신경망) 조작 탐지 과제도 포함한다.
이 페이지는 평가 체계와 그 목표를 설명한다. 최신 순위나 최근 점수가 필요하다면 이 페이지에서 추정하지 말고 현재의 NIST 자료에서 직접 확인해야 한다.
평가 지표는 내 파일에 대한 판정이 아니다
OpenMFC 같은 평가 프로그램은 벤치마크 데이터셋에서 알고리즘의 전반적인 성능을 측정하기 위해 존재한다. 이는 지금 내 앞에 있는 이 파일이 조작되었는가라는 질문과는 다른 질문이다. 벤치마크는 특정 방법론이 테스트 세트에서 대체로 어떻게 작동하는지를 알려줄 뿐, 지금 들고 있는 이미지나 영상에 실제로 무슨 일이 있었는지를 그 자체로 말해 주지는 않는다.
이 차이가 중요한 이유는, DeepFakeCheck처럼 확률적 위험 신호를 제공하는 도구를 포함한 모든 자동 탐지기가 오탐(진짜 콘텐츠를 조작으로 표시)과 미탐(실제로 조작된 콘텐츠를 놓침)을 모두 낼 수 있기 때문이다. 벤치마크에서의 전체 정확도 수치가 개별 결과 하나가 맞다는 것을 보장하지 않으며, 어떤 도구에서 나온 단일 점수든 최종 결론이 아니라 더 확인이 필요하다는 신호로 읽어야 한다.
결과 읽기: 출처, 맥락, 원본 파일, 그리고 다른 증거
탐지 점수는 여러 근거 중 하나일 뿐, 전부가 아니다. 어떤 결과든 신뢰하기 전에 몇 가지를 함께 확인하는 것이 도움이 된다.
파일이 어디서 왔는가. 낯선 계정이 재게시한 사본은, 제작자나 발행 기관까지 추적 가능한 파일보다 신뢰도가 낮다. 스크린샷, 재업로드 또는 압축된 사본만 있다면 그 한계를 기록하고 가능하면 원본 파일을 찾는다.
주변 맥락이 맞아떨어지는가. 주장된 날짜, 장소, 사건이 다른 독립적인 보도나 기록과 일치하는가. 파일 자체가 진짜여도 함께 제시된 주장은 틀릴 수 있으므로 그 주장은 별도로 확인한다.
원본 파일을 구할 수 있는가. 가능하다면 결론을 내리기 전에 원본을 요청하거나 찾아보고, 하류 사본만 가지고 확인했다면 그 사실을 기록해 둔다.
다른 신호는 무엇을 말하는가. 메타데이터, 콘텐츠 자격 증명 같은 출처 정보, 그 소재를 처음 보도한 매체의 취재, 그리고 탐지 도구의 결과는 각각 전체 그림의 다른 조각을 보여준다. 어느 하나만으로는 판단을 끝낼 수 없다.
DeepFakeCheck에 파일을 올리면 그런 신호 중 하나를 얻을 수 있다. 이미지, 영상, 음성, 텍스트에 대한 확률적 판단이다. 이는 위와 같은 종합적인 확인 과정의 일부로 유용하며, 출처와 맥락을 확인하는 작업을 대신하도록 설계된 것은 아니다.
업데이트가 없어도 참고할 가치가 있는 기록
OpenMFC는 제대로 된 미디어 포렌식 평가 프로그램이 실제로 무엇을 측정하는지 보여주는 참고 자료다. 탐지 성능, 조작 위치 특정, GAN 기반 생성을 포함한 다양한 조작 방식에 대한 커버리지를, 전용 평가 인프라와 벤치마크 데이터셋 위에서 시험한다. 다만 오늘 받은 이 특정 파일이 진짜인지는 알려주지 않는다. 어디서 나온 것이든 단일 점수 하나가 최종 답처럼 제시될 때는 이 간극을 기억해야 한다.
출처
- NIST, Open Media Forensics Challenge(OpenMFC): https://www.nist.gov/itl/iad/mltg/open-media-forensics-challenge