DeepFake Check

方法

DeepFakeCheck 有多准?

图片检测跑哪些信号、它们如何合并,以及 2026 年 10 月的像素模型 bake-off。这些是组件结果。整站准确率还没有。

最近更新

先说边界

下面的表是像素模型组件的结果,模型是 Community Forensics frontier-2026-08,测试日 2026-10-28,在本地 CPU 上完成,没有调用生产接口,也没有上传图片。整站(Gemini + 像素 + 元数据)的准确率测试还在进行,所以本页不给整站数字。

一次检测实际跑什么

  • 图片的视觉判断来自 Google Gemini 视觉模型。视频、音频和文本也由 Google Gemini 审阅。像素分数不会写进 Gemini 的提示。
  • 像素模型是 Community Forensics。Worker 按 sidecar 返回的 revision 选阈值。frontier-2026-08(Thermostatic/community-forensics-frontier-detector-2026-08,revision 16db135220b3)用原始 logit:7.0 为中等信号,9.5 为强信号,10.0 为更严的保留门。仓库里 sidecar 的默认值仍是上游 OwensLab/commfor-model-384,直到服务器把 COMMFOR_PRIMARY_MODEL 设为 frontier-2026-08。本页数字测的是 frontier,不是上游模型。
  • 浏览器在本地读取图片里仍嵌入的 C2PA 内容凭证。没有凭证不能说明文件是假的。视频上传不走这套图片凭证读取。
  • 未签名的 XMP 若写明 trainedAlgorithmicMedia、algorithmicMedia,或 ContainsAiGeneratedContent 为 yes、true 或 1,当前产品规则会把结论定为 AI,分数至少 90。compositeWithTrainedAlgorithmicMedia、compositeSynthetic 或 Generative Edit 至少升到复核,并且不会把已经是 AI 的结论拉回去。这不是密码学证明。这条解析是 2026-10-29 才补上的,下面的 bake-off 发生在修复之前,还没有重跑。
  • 视频检查从整段抽取最多 10 帧,送给人脸取证,再由 Gemini 看这些帧。人脸服务失败时,Gemini 仍会继续。详见视频页。 视频检测

信号怎么合在一起

只有 sidecar 返回 frontier-2026-08 时,才走下面的 frontier 规则。像素模型单独不会把「真实」改成「AI」。

  1. Gemini 先给出视觉结论。
  2. 若 Gemini 判 AI,但视觉证据不够一致:原始 logit ≥ 7.0 时保留 AI 且不降分;0 ≤ logit < 7.0 时保留 Gemini 的 AI 结论和分数;logit < 0 时改为复核,且不把分数封顶到 74。没有像素结果时,仍走原来的降级,分数封顶 74。
  3. 另一道更严的门(logit ≥ 10.0,短边至少 256,可靠性正常,不当作截图,JPEG 质量高于 60)仍然存在。上面的 logit 规则即使被这道门挡住也会执行。
  4. 若 Gemini 判真实,且 frontier logit ≥ 9.5,结论只升到复核,不会升到 AI。
  5. XMP 的强声明可以单独把结论定为 AI。这和像素模型不是同一条规则。

2026 年 10 月的像素 bake-off

主集 477 张:AI 254 张,真实 223 张。AI 来自 Rapidata 文本生成图人类偏好基准 167 张(CC-BY-4.0,2026-09-30,写实类提示,平台重编码 WebP)、AIGenImages2026 验证集 80 张(CC-BY-4.0,原生 PNG/JPEG),以及旧 16 张里的 7 张 AI。真实图是 2026-08-15 之后上传到 Wikimedia Commons 的原图 215 张(手机 113、相机 102),加上旧集里的 8 张。AI 覆盖 66 个生成器版本。另有截图切片 31 张(AI 16、真实 15),大多是模拟的社交信息流截图,不计入 477。

必须一起读的混杂:AI 图中位约 1.05 百万像素,真实图中位约 13.4 百万像素。原图条件更接近生产上传,但生产里真实用户的分辨率分布没有测过。web1024q80 把两类都缩到短边不超过 1024、JPEG 质量 80,是更公平的对照。阈值是在这批图上反推的,属于样本内结果,偏乐观。

AUC

模型 原图 短边 ≤1024,JPEG q80
frontier-2026-08 0.953 0.969
上一个模型(上游) 0.793 0.858

AUC 按 logit 计算,主集 477 张。来源:2026-10-28 像素 bake-off 报告。

相同误报率下的命中

误报约 2%(真实图 4/223)时,frontier 原图命中 178/254(70.1%,Wilson 95% 区间 64.2–75.4%)。上一个模型是 55/254(21.7%,区间 17.0–27.1%)。同一误报档在 web1024q80 上,frontier 命中 212/254(83.5%,区间 78.4–87.5%)。

约 1%(2/223)时,frontier 原图命中 169/254(66.5%,区间 60.5–72.1%)。约 5%(11/223)时,frontier 原图命中 211/254(83.1%,区间 78.0–87.2%),上一个模型是 83/254(32.7%,区间 27.2–38.7%)。来源:operating_points.csv,2026-10-28。

Worker 实际使用的 frontier 档位

这些阈值标在原图上,同一批 477 张,同样偏乐观。来源:2026-10-28 压缩测试。原始 logit ≥ 7.0:AI 命中 81.9%,真实误报 4.9%(11/223)。≥ 9.5:AI 70.1%,真实 1.8%(4/223)。≥ 10.0:AI 66.9%,真实 1.3%(3/223)。

上一个模型在它自己的分数档:原图 ≥90 时 AI 命中 19.7%、真实误报 0.9%;≥95 时 AI 16.9%、真实 0.4%。若把 frontier 的校准分仍按 ≥90 读,AI 命中会到 92.5%(89–95%),但真实原图误报是 22.4%(50/223,17–28%)。所以线上不用 90 这个刻度。

压缩会怎样

模型最终只看短边缩到 440 之后的 384×384 中心裁切。单独缩小几乎不动 logit。额外一代 JPEG 才会:质量 95 平均约 −0.5,质量 90 平均约 −1.0。重编码后 AUC 从 0.953 升到大约 0.96–0.97,但 logit 整体下移,现有阈值不能直接照搬。

一条条件规则(不超过 2MB、长边不超过 2048、且是 JPEG/PNG/WebP 时用原图,否则长边 2048、JPEG 质量 95)把 logit 9.5 的 AI 命中从 70.1% 变成 69.7%,真实误报从 1.8% 变成 1.3%,2 of 477 张跨过 9.5。这个比较有偏:AI 里只有 21/254 张是大图,真实图里有 217/223 张,所以这条规则主要改写的是真实照片。

截图切片 31 张:原图 AUC 0.925。logit ≥ 9.5 时 AI 命中 25%,真实误报 0%。测试里的压缩变体停在同样的 25% / 0%。若改用较松的校准分 ≥90,frontier 在该切片上是 AI 14/16、真实 4/15。两套阈值不要混用。

已知弱点

  • 截图和翻拍。强档 logit 9.5 在截图切片上只命中 25% 的 AI 图。
  • 部分生成器更弱,而且子组很小。原图、校准分 ≥90 时,frontier 低于 80% 的例子包括 GPT Image 2.5 Sunburst 3/5、Recraft V4.1 2/4、Reve 2.1 3/5、Ideogram 4.0 1/3、Midjourney v7 6/8。区间很宽。
  • 室内和低光的真实照片,在较松的 ≥90 档上误报更高。线上强档比 90 严得多。
  • AI 图和真实图的分辨率、编码不一样。原图上的一部分差距可能只是「小网页图」对「大相机 JPEG」。
  • XMP 修复之前的测试不会反映 2026-10-29 的元数据规则。修复后的整集还没有重测。

这四张图上还没有我们的结果

deepfakecheck.io 在这组图上的结果,会在当前正式版本重测之后补上。

同四张图上其他检测器的抽查(英文)

什么时候找第二意见

  • 决定涉及法律、金钱、工作或新闻发表。
  • 文件是截图、社交软件下载,或被反复压缩。
  • 像素、视觉和元数据互相矛盾。
  • 你需要生成器名字,或需要读取 SynthID。本产品两样都不做。

检查一张图片 · 价格

准确率常见问题

DeepFakeCheck 的准确率该引用哪个数字?

不要引用整站准确率,因为还没有这个数字。已公开的是 frontier-2026-08 像素模型:2026 年 10 月 28 日,在 477 张原图(254 张 AI、223 张真实)上 AUC 为 0.953。真实图误报约 2%(223 张里的 4 张)时,抓住 254 张 AI 里的 178 张(70.1%,Wilson 95% 区间 64.2–75.4%)。阈值是在同一批图上反推的,偏乐观。

这是整次图片检测的成绩吗?

不是。图片检测还会用 Google Gemini 视觉模型、文件里仍在的 C2PA,以及 XMP 这类未签名元数据。视频、音频和文本也由 Google Gemini 审阅。这次像素 bake-off 没有跑 Gemini,也没有调用生产接口。整条流水线的测试还在进行。

和上一个像素模型比呢?

同一批 477 张原图上,上一个 Community Forensics 模型的 AUC 是 0.793。同样大约 2% 误报(223 张里的 4 张)时,它抓住 254 张 AI 里的 55 张(21.7%,Wilson 95% 区间 17.0–27.1%)。

截图或重度压缩会怎样?

另有 31 张截图切片(16 张 AI、15 张真实),frontier 的 AUC 是 0.925。在原始 logit 9.5 的强档,AI 截图命中 25%,真实截图误报 0%。额外一次 JPEG 大约把 logit 拉低 0.5(质量 95)或 1.0(质量 90)。截图或社交软件转存,应该再找第二意见。

什么时候该找第二意见?

决定涉及法律、资金、雇佣或公开发表时,文件是截图或被反复压缩时,几个信号互相矛盾时,或者你需要生成器名称或 SynthID 读取时。本检测不指出生成器,也不解码 SynthID。