AI 模拟受访者能替代真人样本吗？把「像人」和「可替代」分开验证

当模型已经能写问卷、能做访谈，下一个问题几乎必然出现：既然题目和追问都能生成，能不能连受访者也一起生成？这个问题的答案不该是笼统的能或不能，因为它其实是两个不同的命题。第一个命题问的是模型生成的回答在人群层面是否与真人相似；第二个命题问的是这份数据能否支撑你打算下的那类结论。第一个命题已经有可查的研究积累，第二个命题的答案取决于你要估的是措辞是否清楚、几个方案谁更受欢迎，还是某一人群的比例与差异。判断办法不是阅读模型的自我说明，而是拿一份规模不大但结构完整的真人基准做对照，并把对照结果写进方法说明。

把两个命题分开以后，讨论会从「AI 靠不靠谱」变成可执行的问题：这次研究要支持哪一个决策，需要哪一层证据，这层证据有没有被对照验证过。

「像人」有研究支持，「可替代」需要另行证明

让语言模型扮演特定人群并回答问卷，通常被称为硅基样本或合成受访者。这条路已有明确的正面证据：一项把模型条件化在数千份真实社会人口背景上的研究提出「算法保真度」，发现经过恰当条件化之后，模型能够复现美国多个大型调查中子群的回答分布，且这种相似并不停留在表面措辞上。这类结果解释了为什么合成样本会被迅速采用。

但同一批研究的后续检验给出了另一半图景。在一项针对 2016 至 2020 年美国全国选举研究的复现中，模型生成的平均分与真实调查的平均分相当接近，问题出在其他地方：生成回答的离散程度低于真实调查，回归系数经常与真实数据估计出的系数显著不同，轻微改写提示词就会改变分布，同一套提示在三个月后再次运行也会得到显著不同的结果。也就是说，平均值层面的相似可以同时伴随结构层面的不可靠与不可复现。

营销与消费者研究方向的一篇综述把散落的对照结果汇总成了更直观的比例：在 285 项合成样本与真人样本的比较中，约 24.9% 的结论相似，65.3% 出现偏离，9.8% 只是部分一致。表现较好的多是人格特质、政治偏好这类相对稳定的构念，而消费者行为研究中已经确立的效应，模型往往给不出同向结果。综述给出的操作结论也很直接：不应把模型输出直接当作决策依据。

按风险把用途分成三层，而不是给一个统一的准入结论

实务中更可行的做法不是先争论合成样本能不能用，而是先把这次研究的用途按风险分层，再决定需要多少真人数据。第一层是材料与题目的打磨：让模型挑出双重问题、模糊选项、过长题干，代价低、可回退，出错的后果是浪费一轮编辑时间。第二层是方向性比较：多个概念、多个版本的相对强弱，结论会直接影响资源投向，因此必须有真人基准兜底。第三层是水平与差异的推断：市场规模、渗透率、子群差距、价格弹性与任何因果表述，落在这里的结论一旦进入预算或对外发布，纠错成本最高。

分层之后，真人数据的角色也随之变化。第一层里真人是抽检，用来确认模型发现的问题真存在；第二层里真人是标尺，用来确认排序没有反转；第三层里真人是主体，合成样本最多只能用来生成待检验的假设。这种安排的好处是预算能被明确分配到最需要的地方，而不是把全部经费压在生成回答的数量上。

一份六步对照校验协议

下面的协议用于第二层与第三层用途。它的成本主要来自真人基准样本，规模不需要与合成样本相当，但必须覆盖研究中要下结论的关键子群。

1. 冻结材料与生成条件。记录模型名称与版本、提示词全文、采样参数、每位虚拟受访者被赋予的背景字段、重复次数。任何一项改动都算新版本，之前的校验结论随之失效；同一项目里把不同版本的输出混在一张表里，是最难在事后发现的一类错误。
2. 建立真人基准。用同一份问卷、同一批刺激物、同一时间窗口收集真人样本。基准的作用是提供一把可比较的尺子，因此它的结构比它的规模更重要：如果研究要比较年龄段，基准就必须在每个年龄段里都有可用的回答数，参照区域与分层样本的分配方法做配额安排。
3. 比四个层面，而不是只比平均值。边际分布看绝对水平差多少；排序看名次是否一致；子群方向看同一人群内部的相对位置是否反转；方差与作答形态看是否存在集中作答、缺少中间选项或缺少极端选项。四个层面的通过标准要在跑数之前写好。
4. 做提示稳健性检查。准备至少三个措辞变体与两个选项顺序，观察结论是否翻转。措辞敏感性已被反复记录，因此单次生成的排序不足以支撑方案取舍；这也与问卷随机化里处理顺序偏差的逻辑一致，只不过这里引入不确定性的是提示，而不是题目顺序。
5. 做时间稳定性检查。保存提示与参数，间隔两到四周重跑一次。若结论在无人干预的情况下漂移，这类输出就不适合用于趋势判断；如果研究本身要追踪变化，漂移幅度会直接混入变化量里。
6. 预设失败后的降级路径。哪一层没过，用途就降到哪一层，并把失败项写进方法说明。删掉失败记录重跑，等于把校验变成仪式。

一个可复算的算例：排序保住了，水平与子群没保住

以下数字是为了演示判断过程而构造的示意数据，不代表任何真实项目。某团队要在四个产品概念之间做取舍，问卷含 30 道题，其中概念评价 8 题，购买意愿用 5 点量表并取 4 至 5 分的比例。合成样本为 600 份回答（两个模型与三套人格模板的组合），真人基准为 240 份，覆盖四个年龄组、每组 60 份。

整体排序在两边完全一致，四个概念的相对强弱可以保留，这支持第一层与第二层用途中「筛掉明显更弱的概念」这一步。但绝对水平平均被高估约 16 个百分点，逐个概念的偏差落在 14 至 18 个百分点之间，不是固定值。更关键的是子群：真人基准中 45 岁以上人群里 C 的购买意愿为 36%，高于 B 的 33%；合成样本在同一子群里给出 B 高于 C，方向反转。价格从 199 提到 249 之后，真人基准中 A 的高意愿比例下降 9 个百分点，合成样本只下降 2 个百分点，且不同提示变体之间另有约 4 个百分点的差距。作答形态也不一致：合成样本 5 点量表的标准差为 0.82，真人基准为 1.14，选择中间值 3 分的比例分别为 41% 与 27%。

把四个层面的结果并排看，可用的结论与不可用的结论就分开了：可以报告「在本次材料下合成样本与真人基准给出的概念排序一致」，不可以报告市场规模、不可以报告年龄细分，也不可以用这套数据支撑定价。这里没有一处依赖对模型能力的判断，全部来自可复算的对照。

偏差能不能用「乘个系数」修正

看到上表里稳定的高估幅度，很容易想到一个补救办法：用真人基准估计偏差，再把偏差套用到合成样本上，从而用较低成本拿到一个大样本。这个办法是否成立，取决于偏差本身是否稳定，而稳定与否可以用两个检查判断。

• 偏差是否为常数。把同一份问卷里每道题、每个子群、每个刺激物版本的偏差列出来，看它们的离散程度。上例中偏差范围为 14 至 18 个百分点，且子群方向翻转，说明偏差随题目和人群变化；在这种情况下套用统一系数，等于把基准样本自身的不确定性外推到没有基准覆盖的地方。
• 偏差是否只由构成差异解释。如果偏差主要来自虚拟受访者的年龄、地区构成与目标总体不一致，那是可以用加权处理的样本结构问题，处理方式与问卷加权的思路相同，代价是精度损失。但方差压缩属于另一类问题：模型回答的离散程度低于真人，回归与分群所依赖的变异本身就不存在，加权无法把它补回来。美国国家标准与技术研究院的生成式人工智能风险文件把这种输出过度集中、多样性下降的现象列为偏差与同质化风险，并建议把输出与已知基准数据比较、用多种评估方法核查准确性与真实性。
• 偏差是否与地区和文化有关。一项同时审计美国和智利公众意见模拟结果的研究发现，模型对美国调查数据的还原明显好于智利，而偏差最突出的维度在两个国家并不相同：美国集中在种族与政治身份，智利集中在性别、教育与宗教。因此「在某个人群上验证通过」不能自动推广到另一个人群，这条结论对跨地区、跨语言的国内调研尤其重要。
• 偏差是否随时间与模型版本改变。模型更新会改变历史结果，同一套提示在不同时点产出不同分布。研究者若要复现一年前的合成样本结论，可能必须先找回已经下线的模型版本。

把这些放在一起，可校准的判断标准就清楚了：只有当偏差方向一致、幅度在题目与子群之间保持稳定，并且能确认偏差主要来自可测的构成差异时，统一的校准系数才值得一试，而且必须用留出的子群做样本外验证。否则，正确的做法是把合成样本降级为假设生成工具。

常见失败模式与对应的诊断动作

• 只比较平均值。平均值接近最容易让人放心，却恰恰掩盖方差压缩与系数不一致。诊断动作：报出标准差、极端选项比例和至少一项交互结果。
• 把提示当参数不当材料。提示里的措辞、示例数量、输出格式都可能改变分布。诊断动作：把提示全文作为方法材料存档并随报告披露，而非留在个人笔记里。
• 把评价题目当事实依据。模型会倾向于给出通顺、连贯、看起来合理的回答，这与「回答正确的概率高」不是一回事；生成式系统产生自信但错误内容的风险已被明确记录。诊断动作：凡是当作事实使用的判断，都要找到模型输出之外的依据。
• 用合成样本替代真人做开放题归纳。开放题的内容来自模型对语料的模仿，不能用来证明真实用户会提到什么。诊断动作：开放题结论只从真人回答、日志或访谈中生成，合成样本可用来预演编码框架。
• 样本量幻觉。把合成样本从 600 扩到 6000 能让置信区间变窄，但变窄的是生成过程的不确定性表达，而不是模型偏差。诊断动作：在报告里把「生成量」与「可用于推断的有效样本量」分开写，参照样本量计算里对精度来源的说明。

披露口径：把生成方式写进方法说明

带着合成样本的结论一旦对外发布或交给客户，披露标准就会适用。美国民意研究协会的披露标准要求说明样本生成与招募方法，包括样本来自概率抽样还是非概率来源、名单或样本库的提供方；用于公开研究的测量材料与前置语境也需一并提供。把这条要求翻译到合成样本上，方法说明至少应包含：数据由语言模型生成；模型的名称与版本；提示词与参数；虚拟受访者的构成设定；真人基准样本的规模、来源与采集时间；以及在四个对照层面上的通过项与失败项。

一份可用的披露句式大致是这样：本次研究的概念排序结论来自模型生成的合成样本（模型与版本、提示词见附录），并以 240 名真人受访者的基准样本完成对照校验；两组样本的排序一致，但合成样本的购买意愿水平平均高出约 16 个百分点，45 岁以上子群的组内排序出现反转，因此本文不报告比例估计、子群差异与价格敏感度结论。这类写法不需要修饰，它的价值在于让读者知道哪些结论可以往前走、哪些只能当作假设。

这些情况下不要省掉真人样本

• 结论要用于预算分配、定价、投放或对外发布，涉及金额与公开表述。
• 研究对象在训练语料中代表性不足，例如小语种地区、低线城市特定职业、罕见经历人群。
• 研究本身要测量变化，例如前后对比、追踪调查、活动效果评估。
• 结论涉及子群差异，且子群规模较小，模型误差与子群方差同时起作用。
• 研究问题涉及健康、金融、法律、就业等高风险领域，模型输出可能被读者当作专业判断使用。
• 需要与被访者建立长期关系或收集非问卷证据，如真实日志、真实行为记录、真实访谈录音。

反过来，当用途停留在第一层、且有明确的真人抽检安排时，合成样本可以显著加快材料打磨的速度。把它当作团队里的第一轮读者和挑错者，比把它当作受访者更接近当前证据支持的位置。

在问卷派里怎么安排这条对照链

实操中这条链路可以落在同一条工作流上：用问卷派的 AI 生成能力先产出题目与刺激物草稿，让模型扮演目标人群回答一轮，用它挑出措辞与逻辑问题；随后用问卷预测试里的认知访谈与小流量试投获得真人基准，把两边的排序、水平、子群方向与作答形态并排比较，再决定哪些结论可以上报。需要解释真实用户的经历与理由时，问卷与AI 访谈的组合比继续增加生成回答更有效。

需要强调的是，这条链路里 AI 生成的部分负责速度，真人基准负责方向。把两者写进同一份方法说明，并保留模型版本、提示词与基准样本的对照记录，比事后补充一段「使用了 AI 技术」的描述更能支撑结论。

方法与来源依据

• Argyle et al. (2023), Political Analysis — Out of One, Many: Using Language Models to Simulate Human Samples（算法保真度：条件化后模型可复现大样本调查的子群分布）
• Bisbee et al. (2024), Political Analysis — Synthetic Replacements for Human Survey Data? The Perils of Large Language Models（平均值接近但离散度不足、回归系数不一致、提示措辞敏感、三个月内结果漂移）
• Sarstedt, Adler, Rau & Schmitt (2026), NIM Marketing Intelligence Review 18(1) — Your Next Respondent Might Be an LLM: Guidelines for Using Silicon Samples in Marketing Research（285 项对照的构成比例、稳定构念与行为效应的差异、生成与验证工作流）
• EPJ Data Science (2026) — Auditing socio-demographic and cross-societal fairness in LLM-simulated public opinion（美国与智利对照：还原能力与偏差维度均随地区变化）
• NIST (2024), AI 600-1 Generative AI Profile（错误自信输出的风险、偏差与同质化、把输出与已知基准比较并记录数据代表性的建议）
• AAPOR Disclosure Standards（样本生成与招募方法、测量材料与前置语境的披露要求）