直接发一批问卷问求职者「你是不是因为第一学历被刷掉了」,得到的是他们感知到、并且愿意写下来的经历;它无法告诉你同样的简历在招聘环节被区别对待的概率。要估计后者,需要在真实投递过程里放两份除目标属性外完全一致的材料,观察回复差异——也就是简历审计实验。两个量都重要,但它们回答的不是同一个问题,也不能互相替代。
先把研究问题拆成两层再选设计:想描述「谁感到被歧视、这种感受带来什么后果」,用问卷或访谈;想估计「同样的申请材料在招聘环节被区别对待的概率」,用情境实验或审计实验。这三类设计在证据强度、覆盖范围和伦理成本上各不相同,报告里必须写清结论停在哪一层,否则一个感知比例很容易被读者误读成歧视发生率。
下面的讨论是关于测量方法的选择与边界,不构成法律结论,也不针对任何具体企业或个人。所引实验来自美国等劳动市场的公开研究,迁移到其他市场时需要重新验证,因为筛选方式、行业结构与初筛工具都会改变结果。
自报问卷测到的是感知,不是发生率
感知本身是一个值得认真测量的构念,不是「主观抱怨」。一项覆盖 134 个样本的元分析发现,感知到的歧视与心理健康、躯体健康均呈显著负相关,并伴随更高的压力反应,以及更多不健康行为和更少健康行为。也就是说,即使它不等于发生率,它对个人与组织结果依然有解释力,值得单独进入问卷设计。
问题出在把感知直接换算成发生率。感知回答里混着三层与「实际差别对待」无关的变异:一是归因模糊,同一个求职结果可以归给学历、性别、年龄、工作经验或面试表现,受访者的归因习惯会系统性地影响答案;二是自我呈现与社会赞许,尤其是在问「你是不是被歧视过」这类带有道德色彩的问题时;三是回忆与时间窗口的误差,自发回忆到的经历偏向印象最深、后果最重的那几次。
雇主端的自述偏差更大。有研究在审计实验结束几个月后回访那些并不知情的雇主,给他们一个与现实审计几乎相同的情境,问他们会不会录用;结果显示雇主给出的答复在多数群体与少数群体之间几乎没有差别,而同一批雇主在真实投递中的回复率却存在差距。这说明,问「你会不会因为第一学历筛简历」,测到的是雇主认为自己应该怎么做的版本,不能当作他们的筛选行为。
因此,自报问卷可以支撑「感知与归因、以及感知带来的后果」这类结论;把它的结果直接写成「歧视发生率是百分之多少」则越界了。
情境实验能干净地操纵一个属性,但它给出的是判断
如果目标是比较某一属性的影响方向与相对大小,可以先做情境实验(因素调查):把简历或岗位材料做成除被研究属性外其余内容完全相同的若干版本,随机分配给评审者或目标人群,让他们判断「会不会发出面试邀请」「愿意打多少分」「在两份之间选哪一份」。这类设计在问卷里就能承载,用随机分版把不同版本分发到不同受访者即可。
它的长处很明确:随机化让组间比较有解释力;一次可以同时操纵学校层次、实习经历、证书等多个属性并检验它们是否相互放大幅度;成本低、周期短,可以在一次收集中取得相对大的样本;最关键的,它允许追问理由,回答「为什么」,而这是现实行为观察做不到的。
边界同样明确。它测的是假设情境下的判断与意向,不是实际行为。评审者在明确知道自己正在被研究时所给出的评分,会同时受到社会赞许与需求特征的影响;而意向与行为之间存在被反复记录过的落差,所以不能把两组评分差直接换算成回复率差。材料的真实度是外部效度的关键变量,粗糙的简历模板本身就可能改变判断。合理的用法是把情境实验当作机制探索与材料打磨的环节,而不是最终的发生率证据。它与探索性、描述性与因果调研的区分对应的是「能比较、能探因,但不等于行为证据」。
简历审计实验测的是真实行为,代价是只覆盖一个环节
审计实验的做法是向真实招聘广告投递虚构申请,材料在所有可观察特征上都经过匹配,只保留要研究的属性不同,然后统计是否收到回复。研究者对这个方法的定义很直白:它是一种在问卷与访谈会引发社会赞许偏差时,用来检验歧视行为的田野实验。
它产生的证据强度来自两点。第一,被观察到的是雇主的真实处理结果,而不是他们对自己行为的描述。第二,配对的材料让「其他条件相同」不只是口头承诺,而是实验控制。
公开证据的量级也值得记住。一次经典的配对投递实验向波士顿与芝加哥的报纸招聘广告共投出数千份虚构简历,结果显示白人常用名的回复率高出约 50%,白人常用名的申请者大约每 10 份简历收到一次回复,而黑人常用名的申请者需要约 15 份;高质量简历能把白人名的回复率再提高约 30%,对黑人名的提升则小得多。近年的元分析整合了 28 项田野实验、55,842 份投递、26,326 个职位,发现 1989 年以来白人比黑人多获得约 36% 的回复、比拉丁裔多约 24%,并且对黑人的歧视水平在四分之一世纪里基本没有变化;作者强调的是「至少在录用入口这个环节」。
代价与风险同样具体。审计只能在可以被外部观察的环节测量,投递之后的面试、评估与发放录用通知通常无法覆盖。它成本高、耗损大,需要的投递量往往远超预期。配对还是非配对、投递密度如何安排会直接影响估计:有研究发现,校正求职者池的构成之后,测得的歧视平均提高约 20%,因为把多份虚构申请投入同一个职位池本身会改变雇主处理这些申请的方式。把身份编码在姓名上也有噪声,姓名的身份信号强度会改变测量结果。此外,虚构投递涉及对雇主的隐瞒,虚构申请者与真实求职者的处境并不相同,研究中需要伦理审查、事后告知与数据处理安排。
从回复到录用:差异不会停在同一个数值上
把回复率当成整段招聘流程的歧视水平会低估后面的环节。一项汇总 12 项走到录用结果的研究的元分析覆盖了 13,000 多份申请,发现多数群体比可比的少数群体多获得 53% 的回复,但在录用通知上多出 145%;更值得注意的,是回复阶段的歧视程度与录用阶段的歧视程度之间相关很弱。
这是一条对报告写法有直接影响的事实:不同环节不是同一个数值的不同测量,而是可能彼此独立甚至方向不同的两段。因此报告必须把「测的是哪个环节、覆盖哪些职业与地区、在什么时间窗内」写在结论旁边,而不能笼统地说「招聘中存在歧视」。
算例:需要多少份投递才看得出差别
下面是一份完全示意的功效算例,用来说明审计设计里最常见的一处误判:观察到的差别看起来「有方向」,但样本量根本不足以支撑判断。假设两组申请相互独立、以每次投递为分析单位、采用两比例近似检验、显著性水平取双侧 0.05、功效取 80%,并且暂不处理同一雇主多份投递之间的相关性。
| 每组样本量 | 观察到的回复率 | 差(百分点) | 差值的近似 95% 区间 | 能否宣布存在差异 |
|---|---|---|---|---|
| 500 次投递 | 10.0% 对 7.4% | 2.6 | 约 −0.9 至 6.1 | 不能,区间跨零 |
| 2,000 次投递 | 10.0% 对 7.4% | 2.6 | 约 0.9 至 4.3 | 可以,区间不含零 |
| 约 1,844 次投递 | 10.0% 对 7.4% | 2.6 | ——(达到 80% 功效所需) | 设计阶段的最低量级 |
| 约 13,495 次投递 | 10.0% 对 9.0% | 1.0 | ——(达到 80% 功效所需) | 想要更小的差别就要更多 |
这组数字要说明的不是「记住 1,844」这个数,而是两点。第一,同一个 2.6 个百分点的差距,在 500 对 500 时区间跨零、在 2,000 对 2,000 时区间不含零;样本不足时,结果既可能看起来有差异,也可能看起来没有,方向并不稳定。第二,要检出的差距越小,所需投递量增长得越快——从 2.6 个百分点缩到 1.0 个百分点,样本量要增加近七倍。
实际审计还需要在这个基础上继续加量,因为同一个雇主的多次投递并不独立,职位池内的材料会相互影响,真实的置信区间会比独立假设下更宽。反过来,如果被研究环节的真实差距很大(例如上面提到的录用阶段),每组几百次投递也可能足以分辨。设计阶段的判断顺序应该是:先确定要检出的最小差距,再算样本量,最后才决定投递规模与地区范围。
审计设计要交代的九件事
一份可以被复算和被质疑的审计设计,至少要写清下面九项。前六项决定「你到底在测什么」,后三项决定「结论能走多远」。
| 项目 | 要写清的内容 | 最常见的失真来源 |
|---|---|---|
| 被操纵的属性 | 是学历层次、院校层次、性别还是其他;在材料里如何编码 | 编码方式过强或过弱,读者只看到属性名,看不到操作化 |
| 材料一致性 | 除目标属性外,其余字段是否逐项核对过;谁做了核对 | 只做「大约相同」,把经历、技能、格式差异混进结果 |
| 配对方式 | 配对、非配对还是多份同池;是否校正求职者池构成 | 同池多投改变雇主处理方式,使估计偏低约两成 |
| 结果口径 | 收到回复、约面试、进入下一轮还是录用;记录与编码规则 | 把不同阶段的信号合并成一个「是否回复」变量 |
| 分析单位与分母 | 以每次投递还是每个职位为单位;无效投递如何处理 | 分母来回换,比例无法复算 |
| 抽样框 | 职位与地区的来源、职业分布、覆盖与缺口的说明 | 只投容易投的岗位,结论却按行业整体写 |
| 样本量与功效 | 要检出的最小差距、功效假设、聚类处理方式 | 事后用已看到的差异反推精度 |
| 时间窗 | 投递区间、同期市场与政策事件、是否有季节因素 | 把期间发生的招聘政策变化算进属性效应 |
| 伦理与披露 | 隐瞒与事后告知安排、数据最小化、与合作平台的合规约定 | 把伦理审查当流程负担,忽略虚构投递的实际影响 |
不该用审计实验的情形,与问卷不可替代的位置
- 要判断某一个人是否被歧视。审计给出的是组间平均差,从平均差推断个体经历是典型的群体到个体误推。
- 要做法律或行政定性。是否存在违法歧视,由劳动争议处理、监察与司法程序判断;实验证据是事实材料之一,不是裁定。
- 拿不到伦理与合规许可。虚构投递占用招聘方处理时间,涉及隐瞒,还要处理投递数据的存储与销毁。
- 要回答「为什么」。审计测的是结果差异,解释机制需要情境实验与访谈配合。
- 时间与预算撑不起功效。此时应改做情境实验,并把结论清楚标注为意向证据。
反过来,问卷与访谈在四件事上不可替代:测量感知到的经历与它带来的后果;调查组织内部的筛选流程、制度与培训安排;收集当事人对申诉路径与公平感的判断;以及在需要长期追踪时,观察同一群人的变化。把它们与实验证据并列汇报,比用其中一种替代另一种更接近可用结论。
这套分工在问卷派里怎么落地
情境实验这一段可以直接落在问卷里:用随机分版把不同材料版本分配给不同受访者,用条件逻辑或选项引用收集判断理由,导出后按版本分组比较。需要注意的是,版本之间的比较要按测量不变性的检查顺序先确认题目在两组的含义一致,再看均分差。
感知调查这一段要避免把经历、归因和后果压成一个是非题,把它们分成三组问题分别测量;同一份问卷同时测量原因变量与结果变量时的虚高风险,可参考共同方法偏差的处理思路。需要追问「当时是怎么想的、为什么这样归因」时,问卷与 AI 访谈的组合比继续扩充封闭题更有效。最后把这三种证据写进同一份方法说明,逐条标注各自测的是哪一层,避免读者把感知比例读成发生率。
至于真实投递与结果记录这一段,它是平台之外的操作:需要真实的招聘渠道、合规安排与外部观察机制,问卷派不承担也不替代这一部分。把平台能做的三段做扎实,再把不能做的部分交给合适的设计,是这篇文章想说清的边界。
方法与来源依据
- Bertrand & Mullainathan (2004), American Economic Review 94(4) — Are Emily and Greg More Employable Than Lakisha and Jamal?(配对虚构简历投递:白人名回复率高出约 50%,约 10 份与 15 份简历各换来一次回复,高质量简历对白人名的提升约 30%)
- Quillian, Pager, Hexel & Midtbøen (2017), PNAS 114(41) — Meta-analysis of field experiments shows no change in racial discrimination in hiring over time(28 项实验、55,842 份投递、26,326 个职位;1989 年以来白人回复率高约 36%(对黑人)与 24%(对拉丁裔),歧视水平长期未变)
- Quillian, Lee & Oliver (2020), Social Forces 99(2) — Substantial Additional Racial Discrimination after the Callback(12 项走到录用结果的研究、13,000 多份申请;回复阶段多 53%、录用阶段多 145%,两阶段相关很弱)
- Gaddis (2018), Audit Studies: Behind the Scenes with Theory, Method, and Nuance — An Introduction to Audit Studies in the Social Sciences(审计方法的适用条件:问卷与访谈引发社会赞许偏差时检验行为的工具;配对与非配对设计;校正求职者池构成使测得歧视平均提高约 20%;雇主情景问答与实际回复率的落差)
- Bertrand & Duflo (2016), NBER Working Paper 22014 — Field Experiments on Discrimination(审计实验与对应性实验的定义与分类:匹配全部可观察特征,只留目标属性不同;虚构申请者与真实参与者处境的差异及伦理议题)
- Pascoe & Smart Richman (2009), Psychological Bulletin 135(4) — Perceived discrimination and health: a meta-analytic review(134 个样本的元分析:感知歧视与心理健康、躯体健康负相关,并伴随压力反应与健康行为变化,说明感知是独立且值得测量的构念)
