试投有100名有效进入筛选,其中12人符合资格,观测合格率是12%。要得到300份有效样本,若合格者完成率80%、完成后质量通过率95%,按点估计需要约3290次筛选进入。但12/100本身很不稳定:Wilson 95%区间约为7.0%至19.8%,对应的筛选需求约从1994次到5640次。
合格率低会提高成本,不只是因为“稀有人群单价高”,而是每份有效答卷之前有更多人花时间筛选、更多邀请与渠道容量被消耗、稀有配额更晚填满。可用的预算模型必须把触达、进入、资格判定、配额开放、主体完成和质量通过分开;只报一个合格率,会把覆盖、问卷负担和质量问题混成一个数字。
先统一分母:合格率不是市场渗透率
项目中的观测合格率通常可写为:
合格率 = 已确认符合资格人数 ÷ 已完成有效资格判定人数
分母应包含已确认合格和已确认不合格者,不应把打开后在关键资格题前退出、邀请未送达或从未打开的人直接算成不合格。这些人的资格未知。重复、机器人、测试数据等无效进入也应单列,而不是用来压低或抬高合格率。
12%只描述该邀请来源、筛选口径、回收时间和进入机制下的观测发生情况,不等于“市场上12%的人是目标用户”。样本库本身可能已富集某些品类用户,开放广告又可能被主题兴趣者主动点击;反过来,只用品牌客户名单会漏掉竞品和放弃者。来源改变,合格率就会改变。
一张处置表比一个百分比更能解释问题
| 最终状态 | 资格是否已知 | 进入合格率分母 | 运营意义 |
|---|---|---|---|
| 确认合格且配额开放 | 已知合格 | 是 | 进入主体问卷 |
| 确认合格但配额已满 | 已知合格 | 是,另标满额 | 反映真实资格,不是“不合格” |
| 确认不合格 | 已知不合格 | 是 | 按首个失败条件记录 |
| 资格判定前退出 | 未知 | 否 | 可能是负担、技术或资格差异 |
| 邀请未打开或无法触达 | 未知 | 否 | 属于触达与参与漏斗 |
| 重复、机器人或测试 | 无效 | 否 | 单独记录验证失败 |
AAPOR 的标准定义要求为样本单元记录完整处置,并区分资格已知、资格未知、回应、拒绝和未联系等状态。美国 Census Bureau 的相应要求也把样本分成合格、不合格与未知资格;只有在有可辩护依据时,才可估计未知者中可能合格的比例。
这一区分对在线项目同样重要。若系统在年龄题后发现年龄配额已满便立即结束,后面的购买行为没有被询问,此人只是“年龄格满且后续资格未知”,不能被记成行为不合格。否则不同配额关闭顺序会机械改变项目合格率。
从送达邀请到有效答卷,至少有六道门
规划时把漏斗写成乘法:
有效样本 = 送达邀请 × 进入率 × 可判定率 × 合格率 × 合格者完成率 × 质量通过率
- 送达邀请:扣除退信、无效号码和技术失败;
- 进入率:看到邀请后实际打开筛选,不等于回应率;
- 可判定率:走到足以确认合格或不合格的位置;
- 合格率:在可判定者中满足目标定义;
- 完成率:合格者开始后完成主体任务;
- 质量通过率:按预先规则保留为分析样本。
若只有筛选进入记录,就从进入量计算;若要购买名单或投放邀请,必须再纳入送达和进入。比如点估计需要3290次筛选进入,预计送达后的进入率为30%,则约需10967次送达邀请。把两者都叫“邀请量”会造成三倍以上的排期误解。
12/100试投:点估计3290次,风险情景接近5640次
以下是说明性虚构数据,不代表问卷派样本库、任何供应方或行业基准。目标为300份有效完成,试投对100个无效与重复已清除的筛选进入完成资格判定,12人合格。主体完成率预计80%,质量通过率预计95%。
点估计下,每次筛选进入成为有效样本的概率是0.12×0.80×0.95=0.0912,所需进入数为:
300÷0.0912=3289.5,向上取3290次。
但小试投不能支持“合格率精确等于12%”。使用适合二项比例的 Wilson 区间,12/100的95%区间约为7.0%至19.8%。保持完成和质量假设不变:
| 合格率情景 | 每次进入转为有效样本 | 300份所需筛选进入 |
|---|---|---|
| 较乐观19.8% | 19.8%×80%×95%=15.05% | 约1994 |
| 点估计12.0% | 12.0%×80%×95%=9.12% | 约3290 |
| 较保守7.0% | 7.0%×80%×95%=5.32% | 约5640 |
区间不是保证未来合格率落在其中;换来源、改筛选或进入者随时间变化都会让它失效。它的用途是把排期从单点承诺改成容量范围:先保障点估计资源,定义何时触发追加来源、延长期限或缩小次要配额。
多个资格条件不能随手相乘
团队知道30%的人购买过该品类、40%在最近三个月购买、50%参与决策,于是估算联合合格率为30%×40%×50%=6%。这只有在三个条件彼此独立、口径和来源一致时才成立,现实中通常并非如此。近期购买者可能更常参与决策,品类用户的角色分布也与全体样本不同。
应优先使用同一来源的联合分布或按正式逻辑试投,并记录逐步条件流失。筛选顺序还会影响观察:先问一个敏感或复杂条件导致退出,后续资格便未知。可在不提示合格答案的前提下,把高筛除、低负担条件放前面,敏感和耗时验证放在确有必要的位置。
合格率突然下降,先诊断哪一道门变了
| 现象 | 可能原因 | 先看证据 |
|---|---|---|
| 进入率下降 | 邀请主题、时机、渠道送达或激励吸引力 | 送达、打开、设备与来源 |
| 可判定率下降 | 筛选过长、敏感、技术错误或不兼容 | 逐题退出与错误日志 |
| 合格率下降 | 来源结构、时间窗、配额关闭或真实人群变化 | 逐条件筛除、来源和回收日 |
| 主体完成率下降 | 问卷长度、任务设备、内容相关性 | 合格后断点与时长 |
| 质量通过率下降 | 欺诈、诱导筛选、规则误伤或来源异常 | 具体规则、人工复核和来源差异 |
只看“有效成本上涨”可能会错误放宽资格。真正问题若是手机端上传失败,改目标人群既破坏研究,又不会修复体验;若是某年龄格已满导致大量合格者被挡,应该调整投放而不是宣布人群更稀有。
提高来源内合格率,不一定提高总体代表性
用历史行为标签预筛、在专业社群投放或从客户记录抽取,可以让进入者更富集,降低筛选损耗。但这改变的是来源内发生率,并可能漏掉未被标记、较少活跃或尚未加入社群的人。若研究要估计总体比例,需要说明选择概率、覆盖和加权;若只是招募符合条件者做概念比较,也要保留来源供敏感性检查。
合理降低成本的顺序是:
- 检查每个资格是否真的改变决策,删除装饰性标签;
- 用与目标总体一致的框架信息预筛,减少明显不合格接触;
- 缩短和预测试筛选,避免真实合格者在判定前退出;
- 为不同来源、设备和配额分别估计漏斗,不套一个平均值;
- 对低发生率人群采用多来源并去重,记录每个来源的覆盖边界;
- 核心资格不能为了报价变成泛兴趣,必要时调整样本量或决策范围。
筛掉的人也付出了时间,成本不能只算成功者
英国 Government Analysis Function 的受访负担指南会把建立资格所用的筛选时间纳入总体参与成本。商业研究也应计算所有进入者的时间,而不是只有300名完成者。如果3290人平均用两分钟判定,筛选本身已消耗约109.7人时;筛选冗长不仅增加平台和激励成本,也在稀有总体上反复消耗信任。
比较报价时,可要求所有供应方填写同一张成本账本:
- 报价单位是送达邀请、筛选进入、合格开始、主体完成还是质量通过;
- 筛除、资格未知、配额已满、技术退出和质量失败是否收费;
- 参与者激励、难配额加价、来源扩展、项目管理与税费是否包含;
- 质量替补的定义、数量上限、复核机制和交付时间;
- 问卷时长、开放题、音视频、文件上传和设备要求如何计入;
- 实际合格率偏离区间后,价格、周期和范围按什么规则重估。
“每份完成更便宜”若不包含筛选损耗和质量替补,可能比全包的有效样本单价更贵。反过来,供应方承诺固定低价也不证明人群充足;需要看到相同定义、相同来源和相同处置口径下的证据。
回收中按来源和配额更新预测,但不要追着结果改资格
软启动后建立每日漏斗:各来源送达、进入、可判定、合格、满额、完成、质量通过及累计速度。合格率用区间而非单点更新,最难配额单独预测完成日期。若切换来源,旧数据与新数据并列观察,避免来源变化与回收时间混在一起。
AAPOR 2025年关于未知资格的报告强调,估计未知案例中合格比例要依据可得的最佳科学信息,不能挑一个能美化率的数字。同理,不能把资格未判定者全算不合格来强调“人群稀缺”,也不能全删掉来向客户展示高合格率。方法说明中给出处置计数,读者才能复算。
问卷派可以配置筛选、配额和多渠道回收,并记录从进入到有效答卷的状态。项目团队仍需定义哪些状态属于资格未知或满额,确保供应方导出和内部看板口径一致;质量判断应使用预定规则和人工复核,不把报价压力转化为事后宽松清洗。
一段可用于排期和采购审批的结论
本案例可以写成:“100次有效资格判定中12人合格,点估计12%,Wilson 95%区间约7.0%至19.8%。在合格者完成80%、质量通过95%的假设下,300份有效样本需要约3290次筛选进入;按区间两端,容量情景约为1994至5640次,尚不含邀请进入率。项目先按点估计启动,并在累计300次资格判定后更新区间;若某来源低于预设下界,先检查处置和筛选断点,再按既定规则扩源。”
它不能写成:“市场合格率为12%,因此必然需要3290人。”把分母、区间、来源和触发规则同时写清,合格率才能真正用于成本与时间决策。
进一步规划可结合目标样本人群定义、样本配额策略、问卷时长与样本成本和问卷软启动监控。
资格处置、参与负担与样本质量依据
- AAPOR — Standard Definitions, 10th edition
- AAPOR — Estimating the Eligibility Status of Cases with Unknown Eligibility
- U.S. Census Bureau — Requirements for Calculating and Reporting Response Rates
- UK Government Analysis Function — Monitoring and reducing respondent burden
- ESOMAR/GRBN — Guideline on Online Sample Quality
- NIST/SEMATECH — Confidence intervals for a binomial proportion
