在问卷里问一句“您能否分辨 AI 生成的内容”，得到的多半是一个关于信心和自我评价的答案，而不是一项能力测量。如果研究目标是比较不同人群、不同材料类型，或者评估一次提示与培训有没有让人更会识别，就必须换一种问法：让人在平衡配置的材料上做二元判断，再用信号检测论把“辨得出”和“倾向于判它是 AI”分开。本文先说明为什么自评题不能替代能力测量，再给出一个可复算的算例和一套可以直接照做的设计规则。
“我觉得我能看出来”测的是信心，不是正确率
信心与正确率不仅可以分离，分离之后的方向有时还是反的。Lyons 等人在两轮全美代表性样本中发现，约四分之三的受访者高估了自己相对于他人的新闻辨别能力，平均把自己排在比实际水平高 22 个百分位的位置；这种过度自信还与更常访问不可信网站、在真假判断任务中更容易出错、以及更愿意转发假消息相关（Lyons 等，PNAS 2021）。把“我能识别”的语言原样搬进问卷，实际上测的是自我效能感，而自我效能感与任务表现是两个需要分别测量、再检验其相关的变量。
把问题换成 AI 生成内容，结论方向一致。Jakesch、Hancock 与 Naaman 在六项实验、共 4,600 名参与者中，让人分辨当时最强语言模型生成的自我介绍（职业、酒店、约会三类场景），参与者无法可靠地把这些文本识别为 AI 生成；进一步的语言特征分析显示，判断被一些直觉上“像人写的”线索带偏，例如第一人称代词、缩写和家庭话题，而这些线索反而可以被模型利用，生成被评价为“比真人更像真人”的文本（Jakesch 等，PNAS 2023）。面孔方向的证据同样如此：当合成引擎跨过“恐谷”之后，AI 合成面孔被判为真人、甚至比真人面孔更值得信任（Nightingale 与 Farid，PNAS 2022）。
因此，“能不能识别”是一个需要任务来测的表现问题，而不是一个可以用同意量表直接问出来的态度问题。把自评当成答案，会在报告里留下一个无法证伪的结论：数值越高，只能说明受访者越自信，不能说明他们越准确。
把一次判断拆成两件可计算的事：辨别力与反应倾向
信号检测论提供了现成的工具。做法是把材料与判断各分成两类，做二元判断：材料真值是“AI 生成”或“真人写作”，判断结果是“判为 AI”或“判为真人”。把“判为 AI”看作信号，四格结果分别是：材料是 AI 且被判为 AI（击中）、材料是真人却被判为 AI（虚报）、材料是 AI 却被判为真人（漏报）、材料是真人且被判为真人（正确拒绝）。只要记录下击中数与虚报数，就能算出两个互不混淆的指标：
- 辨别力 d′ = z（击中率）− z（虚报率），其中 z 是标准正态分布的分位数。d′ 越大，说明能真正把两类材料分开的程度越高。
- 反应倾向（判准）c = −½ × [ z（击中率）+ z（虚报率）]。c 约为 0，表示既不偏向说 AI、也不偏向说真人；c 为负，表示默认倾向判为 AI；c 为正，表示默认倾向判为真人。
为什么非要把这两件事分开？因为很多“看起来有效”的指标同时混入了两者。Batailler 等人在一篇方法专论里系统说明，辨别真假的“能力”和对真假材料的“反应偏向”是不同的两个方面，用单一正确率或平均评分会同时被两者拉动，并通过对既有数据的重分析展示了这种混淆如何改变结论（Batailler 等，2021）。Modirrousta-Galian 与 Higham 用 ROC 曲线重分析了五项“游戏化防假新闻训练”研究，发现这些训练并没有提高辨别力，而是让人更频繁地把所有材料都判为假（Modirrousta-Galian 与 Higham，2023）。如果只报告训练前后“判对比例”，会把这种只会让人变得保守的效应误读成能力提升。这与筛选题设计里“错收”和“错拒”必须分开看是同一类道理，可以对照筛选题的错收与错拒一起理解。
一个可复算的算例：同为 75% 正确率，能力与倾向都不同
设想一次识别任务：材料为 40 条 AI 生成文本与 40 条真人文本，真值各占一半。两组受访者各自完成全部 80 条判断，结果整理成下面这张表（数字为示意，用于演示算法）：
| 组别 | 击中（AI 判 AI） | 虚报（真人判 AI） | 漏报（AI 判真人） | 正确拒绝（真人判真人） | 表层正确率 |
|---|---|---|---|---|---|
| 甲组 | 30 / 40 | 10 / 40 | 10 / 40 | 30 / 40 | 60 / 80 = 75% |
| 乙组 | 36 / 40 | 16 / 40 | 4 / 40 | 24 / 40 | 60 / 80 = 75% |
两组的表层正确率完全一样，都是 75%。但如果按上面的公式拆开，结论完全不同。甲组击中率 0.75、虚报率 0.25，z（0.75）= 0.674、z（0.25）= −0.674，于是 d′ = 0.674 −（−0.674）= 1.35，判准 c = −½ ×（0.674 − 0.674）= 0，既不偏爱说 AI、也不偏爱说真人。乙组击中率 0.90、虚报率 0.40，z（0.90）= 1.282、z（0.40）= −0.253，于是 d′ = 1.282 −（−0.253）= 1.53，判准 c = −½ ×（1.282 − 0.253）= −0.51，明显偏向把所有材料都判成 AI。
换句话说，乙组的辨别力更高，但它的高分里也掺进了“几乎一律判 AI”的倾向；甲组辨别力略低，却是用一种更平衡的方式在做判断。如果只写一句“两组正确率相同，因此识别能力相当”，就把能力和倾向混成了一件不可能再拆开的事；而这两件事对应的改进动作不同——提升辨别力要靠材料、线索与反馈，纠正倾向则往往只需调整基准提示或材料配比。d′ 与判准的换算公式及其在实验数据上的用法，可参见 Stanislaw 与 Todorov 的系统整理（Stanislaw 与 Todorov，1999）。
素材配比会制造假高分：先公开 AI 与真人的比例
表层正确率还有一个更隐蔽的问题：它随材料配比变化。假设一批材料是 10 条 AI 生成、90 条真人写作，一个从头到尾都判“真人”的受访者会“答对”90 条，表层正确率 90%，但他对 AI 的击中率是 0，实际辨别力为零。把同样的人放进 50 条 AI、50 条真人的材料里，全部判“真人”的正确率立刻降到 50%。同一个人的同一种策略，只因为配比不同，就能从“看似很差”变成“看似很好”。
这也是为什么报告里必须同时给出三个东西：材料里 AI 与真人的比例、击中率与虚报率（而不是只有一个总正确率）、以及由它们算出的 d′ 和判准。只写“识别准确率 78%”而没有配比和击中/虚报拆分，读者无法判断这个数字来自真实辨别，还是来自“倾向判某一类”的稳定偏向。设计时把配比做成接近 50% 并写进方法说明，是让不同人群、不同批次结果可以比较的前提。
设计任务与计算指标时的四条规则
把上面的原则落成可执行的做法，这四条最容易被忽略，也最影响结论能不能站住：
- 用二元判断，而不是“像不像”的主观评分。只有“判为 AI / 判为真人”这种两分类结果，才能直接得到击中率与虚报率；如果一定要用 1–5 分的似真评分，就要按 ROC/AUC 的思路整体分析，而不是对均值做前后比较（Modirrousta-Galian 与 Higham 正是用 ROC 才发现训练其实没提高辨别力）。
- 每条材料只判断一次、并随机混合呈现顺序。同一条材料反复出现会引入记忆与学习效应，把后来的高正确率误读成能力提升；同一批 AI 材料要尽量来自多个模型与多个场景，避免结论只对某一个模型成立。
- 自评题与辨别任务分开测量，并说明顺序。自评信心可以作为独立变量与 d′、判准一起报告，用于检验“自信是否与能力相关”，但不能把它当作能力的替代指标；两部分的先后顺序要在方法里交代，因为它可能互相影响。
- 对 0 和 1 做校正，并给区间。当击中率或虚报率恰好是 0 或 1 时，z 值无定义，需要按 1/(2N) 一类规则先做校正再计算（Stanislaw 与 Todorov，1999；该规则的来源可参见 Snodgrass 与 Corwin，1988）。每一组至少要有 20–40 个试次，并像报告置信区间那样给出 d′、判准的不确定范围，而不是只报一个点估计。
关于“材料只判一次、混合呈现”这一点，还有一个来自大型在线实验的数量级参照：Groh 等人在两项研究、共 15,016 名参与者中比较真人、机器与“机器辅助的真人”对深度伪造视频的判断，发现普通人的整体准确度与当时的领先机器模型接近，但两者犯的错误类型不同；当模型判断准确时，看到模型结论的人更准，而模型判断错误时，人也会被带偏（Groh 等，PNAS 2022）。这说明材料类别、机器辅助与人的认知加工方式都会改变结果，结论必须限定在所测的材料类型和呈现条件之内。
三种问法各自能回答什么、不能声称什么
同样是问“能不能识别 AI 生成内容”，三种设计的证据强度差别很大，取舍取决于研究要支持的决策：
| 问法 | 实际测到的构念 | 能回答 | 不能声称 |
|---|---|---|---|
| 自评“您能否识别 AI 生成内容” | 主观信心与自我效能 | 人群自我评估的分布，可与客观表现对照检验是否过度自信 | 不能当作实际识别能力；不能由此得出“X% 的人能识别” |
| 单题“这段文字是 AI 写的吗” | 对单条材料的即时判断 | 单条材料的难度、人们依赖的直觉线索 | 不能区分能力与倾向；结果高度依赖材料选择与配比 |
| 平衡辨别任务 + 信号检测论 | 辨别力 d′ 与判准 c | 能力高低、倾向方向、一次干预是否真的改变了能力 | 不能外推到未测的材料类型与平台；不能判断个体能否识别某一条具体内容 |
对多数由产品、内容风控或平台侧提出的问题而言，真正需要的是第三行：既要比较不同人群的识别能力，也要判断一次提示、标注或培训是把能力抬高了，还是只把门槛挪动了。第二行适合做材料难度筛选和线索诊断，第一行适合测量“人们对这件事有多自信”。把三者混用，是这类研究最常见的结论来源错误。
这套方法在什么情况下不适用
- 想对个人下结论时。d′ 与判准是特定条件下的汇总指标；要判断某一个人是否可靠，需要足够多的试次，而且答案只对被测的材料类型成立，不能推到他没见过的平台或模型版本。
- 材料本身会过时时。生成模型与合成引擎持续更新，用某一时点的材料测出的 d′ 只反映那个时点；材料来源、生成工具与收集日期都必须记录，否则结论无法复现。
- 把识别力等同于防骗能力时。能否识别 AI 生成内容，与是否会在真实场景中受骗、是否愿意转发，是不同的问题；真实场景还涉及动机、时间压力与社交情境，不能用实验室辨别力替代。
- 样本没有代表性时。在线便利样本的 d′ 不能直接外推到总体；不同年龄、教育程度与数字经验人群的差异需要在配额与分层上体现，相关做法可参考样本配额设计与低质量答卷识别。
此外，涉及面孔、声音等可识别特征的材料，收集与展示要遵守知情同意与隐私边界；本文讨论的是测量方法，不构成任何内容审核或合规结论。
问卷派在这条链路里承担哪一段
把上面这套设计真正跑起来，多半会落在“材料呈现、样本配额与结果导出”三件执行性的工作上。在问卷派里，可以把 AI 与真人材料做成两组题目并按随机化混合呈现，用条件逻辑控制每个受访者看到的材料配比，避免同一人反复看到同一条材料；用配额约束年龄、教育程度等分层变量，让不同人群的 d′ 比较有共同的样本基础；回收后把“材料类型”“判断结果”“自评信心”拆成独立字段导出，直接进入前述的 2×2 计算。
需要说清楚的是，信号检测论的计算、材料质量的判断与结论的适用边界，仍然由研究团队承担：问卷派能做的是让材料呈现可控、样本结构可核、导出字段可复算，而不是替研究判断“这批材料能不能代表当下的 AI 生成内容”。如果研究目标本身就是检验合成样本，可以对照AI 模拟受访者能否替代真人一起看，两者回答的是不同问题：一个问“受访者能不能识别 AI 内容”，一个问“AI 能不能替代受访者”。
方法与来源依据
- Lyons, Montgomery, Guess & Nyhan (2021), PNAS 118(23) — Overconfidence in news judgments is associated with false news susceptibility（两轮全美代表性样本；约四分之三受访者高估相对辨别能力，平均高出约 22 个百分位；过度自信与访问不可信网站、真假判断出错和更愿转发假消息相关。本文据此说明自评信心不能替代能力测量。）
- Jakesch, Hancock & Naaman (2023), PNAS 120(11):e2208839120 — Human heuristics for AI-generated language are flawed（六项实验、N=4,600；参与者无法可靠识别强模型生成的自我介绍；被第一人称代词、缩写、家庭话题等直觉线索带偏，这些线索可被模型反向利用生成“比真人更像真人”的文本。）
- Batailler, Brannon, Teas & Gawronski (2021), Perspectives on Psychological Science — A Signal Detection Approach to Understanding the Identification of Fake News（用信号检测论区分“辨别真假的能力”与“对真假材料的反应偏向”，并以既有数据重分析说明单一正确率会同时受两者影响。）
- Modirrousta-Galian & Higham (2023), Journal of Experimental Psychology: General 152(9):2411–2437 — Gamified inoculation interventions do not improve discrimination between true and fake news（用 ROC 曲线重分析五项研究：训练未提高辨别力，而是让人更频繁地把材料判为假，即主要移动了判准。本文据此说明为什么必须把能力与倾向分开报告。）
- Stanislaw & Todorov (1999), Behavior Research Methods, Instruments, & Computers 31(1):137–149 — Calculation of signal detection theory measures（d′ 与判准 c 的计算方法，以及击中率或虚报率为 0/1 时的校正处理。）
- Snodgrass & Corwin (1988), Journal of Experimental Psychology: General 117(1):34–50 — Pragmatics of measuring recognition memory（1/(2N) 校正规则的来源，用于处理极端击中率与虚报率。）
- Groh, Epstein, Firestone & Picard (2022), PNAS 119(1):e2110013119 — Deepfake detection by human crowds, machines, and machine-informed crowds（两项研究、15,016 名参与者；普通人与领先机器模型整体准确度接近但错误类型不同；模型判断正确时机器辅助提高准确率，判断错误时会带偏人。）
- Nightingale & Farid (2022), PNAS 119(32):e2120481119 — AI-synthesized faces are indistinguishable from real faces and more trustworthy（合成面孔已可被判为真人、甚至比真人面孔更受信任，说明识别难度会随生成技术变化。）