ディープフェイクのベンチマーク結果で分かること、分からないこと

ベンチマークが答えるために作られた問いを確認する

ベンチマークの結果は、そのまま判定に使えるように見えることがあります。あるシステムの得点が高ければ、どの画像や動画が偽物かを判断する能力も高いと考えたくなります。しかし、ベンチマークが測るのは、定められた評価におけるシステムの結果です。利用する前に、評価がシステムへ求めた課題を確認します。

NIST は Open Media Forensics Challenge Evaluation（OpenMFC）を、メディア・フォレンジックのアルゴリズムとシステムの能力を評価、測定する公開評価シリーズと説明しています。公開ページが示す中心課題は、画像と動画に対する自動的な改ざん検出と位置特定です。メディアが改ざんされているかを判断し、該当する場合は改ざんされた領域と種類を特定します。GAN による改ざんの検出課題にも対応しています。

この説明は評価対象を定めていますが、すべての検出器、改ざん手法、個別ファイルに共通する精度を示してはいません。結果を読むときは、この評価がどの課題を通じて何の能力を測ったのかに問いを絞ります。

結果より先に課題の範囲を読む

課題名と出力内容を確認します。検出、位置特定、改ざん種類の識別は、それぞれ異なる問いに答えます。一つの課題の結果を別の課題の証拠にはできません。表やランキングが課題ごとに分かれている場合、確認記録でも区別を保ちます。

次に評価を定義する資料を探します。NIST は OpenMFC がベンチマーク用データセットと評価基盤を提供すると説明し、参加希望者をプログラムのウェブサイトへ案内しています。NIST 公開データセットは、サイトへの登録とライセンス契約の完了後に申請できるとも記載しています。読んでいる結果が別の文書を参照しているなら、その文書からデータ、課題、結果表記の範囲を確認します。詳細を読めない場合は推測で埋めず、未確認事項として残します。

結果が OpenMFC のものか、以前のプログラムのものかも確認します。NIST は、OpenMFC が DARPA の MediFor プログラム向けに開発された Media Forensic Challenge の評価経験を基にしていると説明しています。名称が似ていても別の評価を同一視せず、結果に付されたプログラム名を記録します。

ここで示した確認順序は、本記事が提案する実務手順です。NIST はプログラムと課題を説明していますが、この判断手順を提示したり、ベンチマーク結果が個別ファイルの真正性を確定すると述べたりしていません。

システムの結果と個別ファイルの判断を分ける

ベンチマーク結果は、その評価で報告されたシステムの成績を説明します。個別ファイルの確認では、別の問いに答える必要があります。この画像や動画についてどの証拠があり、現時点でどの対応が妥当かを考えます。ベンチマーク結果はシステムに関する背景資料として扱い、個別ファイルの判定として記録しません。

不審なファイルを調べるときは、可能なら元ファイルを保存し、入手元、提供者、付随する主張を記録します。信頼できる発信元や元のアカウントが同じ素材と文脈を示しているかを確認し、利用できる来歴情報も調べます。ファイルをランキングの特定行に当てはめる必要はありません。

検出器を使った場合は、出力をファイルや他の証拠と一緒に保存します。自動検出には偽陽性と偽陰性があります。本物の素材が疑わしいと判定される場合も、改ざん素材が見逃される場合もあります。高いリスク信号は追加確認の理由になりますが、低い信号はファイルが本物だと証明しません。

他の人が再確認できる記録を作る

引用するベンチマーク上の主張ごとに、プログラム、課題、出典 URL、取り上げる結果を記録し、資料の確認日も残します。直接確認できない表や文書に依存する場合は、その制約を明記します。範囲が明確な短い記録の方が、確認できない断定より役立ちます。

個別メディアの確認記録は分けて管理します。元ファイルまたは入手できた最良のコピー、出典と付随する主張、利用可能な来歴情報、検出結果、最終的な人の判断を保存します。記録を分けることで、システム単位の結果が一つのファイルを証明する扱いに変わるのを防げます。

DeepFakeCheck は保存済みの画像、動画、音声、テキストを分析し、確率的なリスク信号を返します。OpenMFC 評価を再現するものではなく、ファイル提供者の身元や、映っている出来事が実際に起きたことを証明しません。出典確認の代わりにせず、ファイル確認に使う一つの材料として扱います。

最終判断をベンチマークに委ねない

比較を評価が示した範囲内に保てば、ベンチマークには明確な用途があります。評価された課題を理解し、報告された結果の根拠資料を探す助けになります。ランキングや得点を、評価と関係のないファイル、課題、条件に対する保証として扱えば、証拠の範囲を越えます。

対応前に、手元の証拠が評価対象のシステムに関するものか、個別ファイルに関するものかを区別します。システムについては正確なプログラムと課題を引用し、ファイルについては出典、文脈、来歴、検出結果を記録します。手元の証拠が必要な判断に答えない場合は結論を保留し、確認を続けます。

実務上の境界は明確です。ベンチマークはツール選定や確認計画の参考になりますが、特定ファイルについての判断は、そのファイルから得た証拠に基づかなければなりません。

出典

• NIST, Open Media Forensics Challenge Evaluation: https://www.nist.gov/itl/iad/mltg/open-media-forensics-challenge