项目群里说“已经回收180份,回收率18%”,这句话可能只做对了一次除法。1000究竟是成功送达的邀请、名单里的全部记录、页面曝光次数,还是已经确认合格的人?180又是到达结尾、通过质量检查,还是只填过一题?只要分子和分母没有对应到同一套样本终态,18%就无法解释,更不能拿来比较渠道。
真正可复算的问卷回答率来自三样东西:明确的目标单位、互斥且完备的最终处置状态、事先选定的计算口径。打开、进入、开始、完成和有效仍然值得看,但它们是漏斗中回答不同问题的运营指标,不应全部被命名为“回收率”。
先关掉仪表盘,用终态账本核对1000个客户
设想一次售后体验调查:公司从客户库抽取1000条唯一记录,目标总体是过去90天完成过指定产品购买的成年人。回收结束后,研究团队不先看折线图,而是逐条给样本一个且仅一个最终状态:
| 最终状态 | 人数 | 为何这样归类 |
|---|---|---|
| 达到预定完成标准 | 180 | 资格成立,主体题达到方案规定的最低完整度 |
| 合格但中途退出 | 60 | 已确认资格,未达到完成标准 |
| 合格但明确拒绝 | 80 | 客户资料确认资格,收到邀请后表示不参加 |
| 合格但未开始 | 160 | 抽样框已确认资格,送达后没有进入 |
| 合格但联系失败 | 60 | 资格由业务记录确认,但本轮无法接触 |
| 确认不合格 | 100 | 经数据库复核或筛选确认不属于目标总体 |
| 资格未知 | 360 | 资料过期、无法接触或没有足够信息判断资格 |
七个状态合计正好1000,没有一个人同时出现在“拒绝”和“未开始”,也没有把邮件退回全部武断地算作不合格。这里的已知合格单位共有540人,其中180人形成回答;确认不合格的100人不应进入合格样本分母;真正棘手的是360个资格未知个案。
这张账本比“完成180份”更有用,因为每个比率都能追溯到具体记录。状态定义也必须在回收前写进项目说明:怎样算完成、部分答卷能否成为回答、配额已满者是合格但未访问还是其他状态,均不能等看到结果后再改。
资格未知决定了回答率不是唯一答案
AAPOR Standard Definitions 第10版提供多种标准回答率,差别不只是公式长短,也包括部分访谈是否进入分子、资格未知如何进入分母。对需要正式方法披露的项目,应保存 AAPOR 所需的详细处置码,并明确报告采用哪一种公式,不能只写一个没有名称的百分比。
用上面的简化账本,可以先算两个边界。若把360个资格未知者全部视为潜在合格,保守回答率为:
180 ÷(540 个已知合格 + 360 个资格未知)= 20.0%
若把资格未知全部排除,回答率则为:
180 ÷ 540 个已知合格 = 33.3%
实际项目有时会估计资格未知者中可能合格的比例。假如独立且可辩护的历史复核表明这类记录约30%合格,那么估计分母为540加上360乘30%,对应约27.8%。但30%不能因为它让结果好看而指定。美国人口普查局的回答率计算规范同样要求:只有存在可辩护依据时,才可估计资格未知个案中的合格比例;没有依据,就不应制造一个点估计。
因此,商业研究即使不需要提交正式 AAPOR 指标,也至少应呈现已知合格、确认不合格和资格未知三类数量,并给出保守边界。边界很宽本身就是结论:抽样框或联系结果不足以支持精确回答率。
五个常被混叫“回收率”的指标各管一段
送达率以发送记录为分母,衡量邮箱、手机号或触达系统是否有效。它主要诊断名单和渠道,不证明收件人合格,也不表示对方看过邀请。
进入率常以可识别的成功送达或唯一邀请为分母,衡量邀请主题、发送时机和信任感。若同一链接可转发,页面访问次数不能替代独立受邀人数;机器人访问、重复打开和一人多设备也会让入口数据膨胀。
筛选合格率以完成资格判断的人为分母,反映渠道带来的人是否匹配目标总体。它低可能是投放定向偏差,也可能是筛选条件过窄或抽样框信息陈旧,不应靠放宽研究定义来“优化”。
合格者完成率以进入主体问卷的合格者为分母,衡量问卷负担与填写体验。示例中240名合格者进入主体、180名达到完成标准,完成率为75%。这个数能帮助定位中断,却不能替代以抽取或邀请单位为基础的回答率,因为没有进入的人被排除在分母之外。
分析有效率以完成答卷为分母,表示有多少通过预先声明的去重、逻辑一致性和质量规则。假设180份完成答卷中12份不进入主分析,有效答卷为168份,有效率约93.3%。报告应同时保留“完成180”和“主分析168”,不能为了提高有效率在回收后重写排除规则。规则如何建立,可继续参照问卷数据清洗工作流。
还有一个容易遗漏的题目回答率。它的分母不是全部1000人,也未必是180名完成者,而是按跳转逻辑本来需要回答该题的人。若只有120名受访者被问收入,其中96人给出有效答案,该题回答率是80%;把不适用者放入分母会制造虚假的缺失。关于未展示、拒答与中断的处理,可见问卷缺失数据指南。
开放链接通常能算完成转化,不能声称标准回答率
公众号文章、社群和线下海报使用同一个匿名链接时,研究者通常不知道多少合格个体真正看到了入口,也不能稳定识别一人是否多次曝光。阅读量、二维码展示量和页面访问量都是传播或会话数据,不是目标总体中的可处置样本单位。此时可以诚实报告“400个去重后开始会话中有260个完成,完成转化率65%”,却不应写“调查回答率65%”。
若业务必须知道回答率,就需要改变设计:先定义抽样框,为每个被抽中的单位生成唯一邀请标识,保存发送与退回状态,记录资格判断和最终去向。若项目本来就是自愿参与的非概率调查,则应说明招募渠道、回收窗口、筛选过程和最终样本,不必硬套一个无法成立的概率样本回答率。
损失发生在哪一层,补救动作就应落在哪一层
| 异常信号 | 先检查什么 | 不该立刻做什么 |
|---|---|---|
| 送达率低 | 名单时效、域名信誉、号码格式、重复记录 | 给可送达人群连续加提醒 |
| 送达高但进入低 | 邀请身份、用途说明、时长承诺、发送时段 | 删除筛选条件 |
| 进入高但合格低 | 渠道定向、目标总体与筛选题是否一致 | 回收后重新定义目标人群 |
| 合格但中断高 | 中断页面、移动端、问卷长度、敏感与高负担题 | 只增加样本量掩盖流失 |
| 完成高但有效低 | 激励来源、重复参与、逻辑冲突、质量规则 | 临时提高或降低剔除阈值 |
提醒也应由终态驱动。明确拒绝者不应像“尚未接触”一样反复追访;联系失败可以换时间或方式;中断者是否重邀要看同意范围与项目方案。每次修改邀请、激励、题目或渠道,都要记录生效时间和批次,否则回收改善无法归因。
日报与最终方法说明应保留同一组分母
在问卷派或外部样本渠道执行时,可以按来源、批次、设备和日期汇总唯一邀请、进入、资格结果、主体开始、完成、质量排除与有效答卷。平台图表用于监控,研究负责人仍要维护样本级终态账本,尤其是邀请前就存在的资格信息、退信、拒绝和资格未知;这些信息不一定都来自问卷页面。
每日监控至少同时显示人数和比例。例如“渠道甲:600个唯一邀请,540个成功送达,180个进入,120个合格开始,90个完成,84个有效”,并在旁边写清每一列分母。比例波动较大时先看绝对人数,避免十几个人的早期样本造成虚假趋势。不同渠道的抽样框和资格可观察程度不同,就不要只排一个“回收率排行榜”。
最终方法说明应让第三方能从处置表复算:目标总体和抽样框是什么;抽取、发送与回收日期;何谓完整或部分回答;确认不合格与资格未知各有多少;采用哪个回答率公式及资格估计依据;各漏斗指标的分子分母;质量排除发生在回答率计算前还是分析样本形成时。样本终态还应与调研数据代码本使用同一编码。
最后不要把高回答率写成“样本一定没有偏差”。Pew Research Center 的非响应研究说明,回答率本身不是偏差的可靠替代指标;关键在于响应者和未响应者是否在与研究结论相关的特征上系统性不同。回答率账本告诉你人在哪里流失,下一步还要用抽样框对照、分层响应率、跟访或敏感性分析判断这种流失是否改变结论。
