メディアフォレンジクス評価指標：検出結果を慎重に読む方法

NIST の OpenMFC が実際に測定しているもの

米国国立標準技術研究所（NIST）は、メディアフォレンジクスのアルゴリズムやシステムの能力を評価・測定するための公開評価シリーズ「Open Media Forensics Challenge（OpenMFC）」を運営している。NIST は 2020 年に OpenMFC のリーダーボード評価プラットフォームを開始した。これは DARPA の MediFor プログラムのもとで 2017 年から 2020 年にかけて実施された Media Forensics Challenge（MFC）評価を引き継ぐものだ。掲げられている目標には、公開チャレンジ、ベンチマークデータセット、評価インフラが含まれ、画像・動画の改ざん検出と改ざん箇所特定を自動化する技術の性能を測定する——つまり、ファイルが改ざんされたかどうかだけでなく、どこが、どのように改ざんされたかまで扱うということだ。このプログラムは GAN（敵対的生成ネットワーク）による改ざん検出タスクも対象に含んでいる。

このページは評価の枠組みと目標を説明している。最新の順位や最近のスコアが必要なら、このページから推測せず、NIST の現在の資料で直接確認する必要がある。

評価指標は、あなたのファイルへの判定ではない

OpenMFC のような評価プログラムは、ベンチマークデータセット上でアルゴリズムの全体的な性能を測定するために存在する。これは、目の前にあるこの一つのファイルが改ざんされているかという問いとは別の問いだ。ベンチマークは、ある手法群がテストセット上でどのように振る舞う傾向があるかを示すが、それ自体では、いま手元にある特定の画像や動画に何が起きたかまでは教えてくれない。

この違いが重要なのは、DeepFakeCheck のような確率的なリスク信号を返すツールを含め、あらゆる自動検出器が誤検知（本物のコンテンツを改ざんと判定すること）と見逃し（実際に改ざんされたコンテンツを見落とすこと）の両方を起こしうるからだ。ベンチマーク上の全体的な精度の数字は、個別の結果一つが正しいことを保証しない。どのツールから出た単一のスコアであっても、それは確定した結論ではなく、さらに調べるべきだという合図として読むべきだ。

結果の読み方：出所、文脈、原本ファイル、そして他の証拠

検出スコアは複数ある根拠の一つであり、すべてではない。ある結果を信頼する前に、いくつかの点と照らし合わせる価値がある。

そのファイルはどこから来たのか。 見知らぬアカウントが再投稿したコピーは、制作者や発行元まで追跡できるファイルより信頼度が低い。スクリーンショット、再アップロード、圧縮されたコピーしかない場合は、その制約を記録し、可能なら原本を探す。

周辺の文脈は成立しているか。 主張されている日付、場所、出来事は、他の独立した報道や記録と一致するか。ファイル自体が本物でも、添えられた主張が誤っている場合はあるため、その主張は別に確認する。

原本ファイルを入手できるか。 可能であれば結論を出す前に原本を求めるか探し出し、下流のコピーしか確認できなかった場合はその旨を記録しておく。

他の手がかりは何を示しているか。 メタデータ、コンテンツ資格情報のような出所情報、その素材を最初に報じた媒体の取材内容、そして検出ツールの結果は、それぞれ全体像の異なる一片を映し出す。どれか一つだけで結論が出るわけではない。

DeepFakeCheck にファイルをアップロードすれば、そうした手がかりの一つ——画像・動画・音声・テキストに対する確率的な判定——が得られる。これは上記の総合的な確認の一部として役立つものであり、出所や文脈を確認する作業の代わりになるよう設計されたものではない。

更新がなくても参照する価値がある記録

OpenMFC は、まともなメディアフォレンジクス評価プログラムが実際に何を測っているかを示す参考になる。検出性能、改ざん箇所の特定、GAN による生成を含む複数の改ざん手法へのカバレッジを、専用の評価インフラとベンチマークデータセットの上で検証している。ただし、今日あなたが受け取ったその一つのファイルが本物かどうかまでは教えてくれない。どこから出た単一のスコアであっても、それが最終的な答えであるかのように示されたときは、この隔たりを思い出してほしい。

出典

• NIST, Open Media Forensics Challenge（OpenMFC）: https://www.nist.gov/itl/iad/mltg/open-media-forensics-challenge