低质量和机器答卷怎么识别？单个注意力题抓不住全部问题

1000份完成答卷中，96份异常快、118份在长矩阵中低变异、82份没有通过注意题。若把任一信号都当作删除条件，大量真实但回答方式特殊的人会被误删；若只用注意题，认真迎合筛选的欺诈者又可能轻松通过。质量识别的对象不是“不像平均人”的答卷，而是没有为研究问题提供可信测量的记录。

可执行做法是先区分已经证实的无效、需要多信号复核的高风险、可以保留但用于敏感性分析的边界记录。规则在回收前定义，阈值按真实路径和设备校准，人工审查不知道主要结果方向，并保留原始数据、信号、处理原因和清洗版本。

“低质量”不是一个原因，至少要拆成五类

Curran 对无效自报数据的方法综述进一步区分语言或理解不足、故意误报与粗心投入不足。三类可能产生相似表面信号，却需要不同改进：翻译问题应改题，利益驱动的资格迎合要改招募与验证，后半段疲劳则要减负。

先建立信号字典，再决定硬失败和软复核

Meade 与 Craig 的两项研究比较了注意题、常规题一致性、多变量异常、响应时间和自报投入，发现不同指标识别不同的随机与非随机粗心模式，且效果受数据性质影响。不存在能在所有问卷中单独工作的“万能质量分”。

1000份案例：210份有信号，最后只排除65份

以下是说明性虚构数据，不代表问卷派、任何供应方或行业基准。规则和阈值在正式回收前通过软启动确定，主要业务结果在审查界面中被隐藏。

系统先确认28份硬无效：12份是同一受控邀请与参与者账号产生的重复提交，按预定规则保留最早一份有效记录；16份在服务器和客户端联合日志确认核心概念素材没有成功呈现，却完成了全部素材评价。这里不是仅凭相同IP或一次加载事件下结论。

剩余972份中，有210份至少触发一个软信号。各信号计数会重叠：异常快96份、长矩阵低变异118份、关键经历矛盾74份、开放文本明显无关53份、注意题失败82份。142份只触发一个信号，检查后全部保留并带标记；68份触发至少两个不同维度，进入双人复核。

主分析最终保留1000－28－37=935份。如果“触发任一软信号就删”，仅软信号便会删除210份，其中大多数没有得到多证据支持；如果只删注意题失败的82份，又会漏掉通过注意题的重复和迎合作答。

清洗不仅改变样本数，还可能改变结论方向

原始1000份中有540人支持新方案，比例54.0%。被排除的65份中有20人支持，因此主分析为(540－20)÷935=55.6%。8份技术边界记录中有4人支持，进一步排除后的敏感性版本为516÷927=55.7%。本例中清洗令比例上升约1.6个百分点，边界处理几乎不改变结论。

这不意味着清洗总会提高结果。低质量答卷可能机械同意，也可能随机稀释差异；在稀有人群中，少量伪造资格还可能大幅改变占比。报告应同时列出原始、预定主分析和关键替代规则，而不是只呈现最符合预期的一版。

时长阈值必须按真实可见路径计算

全卷中位时长的一半不是可靠通用线。只看到12题的人与触发60题的人不能同阈值，桌面键盘与手机开放输入也不同。更好的流程是：

1. 用目标用户预测试估计每种主要路径的阅读、判断和输入负担；
2. 从页面级时间剔除明显后台挂起，但保留原始值；
3. 分别观察路径、设备、语言与关键辅助技术用户的分布；
4. 把极短时长设为风险信号，再与内容和一致性组合；
5. 正式回收中监测分布漂移，改阈值须留下版本和理由。

一个专家可能迅速识别熟悉选项并给出准确故障描述；另一个人总时长正常，却让页面后台挂着，同时复制无关文本。总分钟数无法区分两者。

直线作答要先问量表是否给了真实变化机会

在五个都描述可靠性的正向题中全部选择“同意”，可能是稳定态度；在混合方向、多个不同体验的30行矩阵中无变化，才更值得核查。应结合最长同值串、个人内变异、反向或语义近似题一致性、作答时间和“不适用”使用情况，且反向题本身若难懂，也会制造假矛盾。

不要为了抓直线作答而堆更多重复或反向题。增加负担会产生新的粗心。优先缩短矩阵、让每行只测一个概念、提供合理不适用，并在认知预测试中验证参与者是否按设计理解量表。

一个注意力题既会漏报，也会误报

Pew Research Center 对多来源在线调查的研究中，用其他严重行为定义的可疑答卷有84%通过了标准指令式注意题；异常快速同样没有捕捉多数问题，IP单独检查也不足以找全重复。这说明激励驱动的参与者可能非常注意筛选和陷阱，只是不提供真实经历。

注意题可以是一个局部信号，但不应羞辱参与者或故意用复杂措辞设圈套。与研究内容相关的可验证经历、素材实际暴露、合理前后逻辑和开放原因通常提供更丰富证据。失败一次可以提醒或复核，是否排除取决于预定严重度和其他信号。

AI审开放文本时，要防止“写得不像标准答案”变成低质

“没用”“太贵”“卡在付款”可能很短，却完整回答了原因；非母语、口语、方言、错别字或辅助输入也不能自动等同乱码。AI可协助发现大规模重复、与题目无关的模板和跨答卷相似片段，但需要把原题、上下文和语言交给人工复核。

审查者不应看到受访者对主要方案的支持方向，也不应因负面、激烈或少数观点提高风险分。开放题质量标准是与问题相关、可理解且与路径相容，不是语气友好或文字长。

重复识别必须兼顾隐私和共享环境

CHERRIES 网络调查报告清单建议说明是否使用cookie、IP、日志或登录避免重复、限制周期，以及多次记录最终保留哪一份。它同时提示时长阈值和未完成处理也需要披露。今天的实践还应遵循数据最少化：只收研究与防欺诈所需信号，设定保存期和访问权限，哈希或指纹也不因为不可读就失去识别风险。

同IP可能是一家企业、校园、家庭或移动运营商出口；不同IP也可能是同一人切换网络。可靠判断通常需要邀请令牌、账户、时间、设备、答题相似、支付或供应方信息的合规组合，并提供争议复核。不能把使用隐私保护工具本身定为作弊。

上游预防比事后扩大黑名单更有效

• 邀请不公开所有合格答案，筛选使用中性且可交叉验证的近期行为；
• 减少无决策价值的长度和矩阵，避免真实参与者在后半段疲劳；
• 保证素材、分支、翻译、移动端和无障碍路径先通过测试；
• 激励与真实负担匹配，同时防止同一人重复领取；
• 按来源、配额、设备和回收时间监测信号，而不永久给渠道贴标签；
• 将规则验证在已知测试案例和人工审查样本上，估计误伤与漏报。

ESOMAR/GRBN 的在线样本质量指南把参与者验证、欺诈预防、答题投入、品类排除、样本选择、混源、权重、路由、画像和筛选放在同一体系。质量不是问卷结束后运行一个脚本，而是从样本来源到分析版本的全过程。

一份可复核的清洗报告应怎么写

问卷派可以记录页面时长、逻辑路径、素材暴露和开放回答，并把多项质量信号带入分析。自动规则负责标记和明确的技术处置，边界案例由人工按同一标准审查；原始、主分析和敏感性数据集保留版本，不直接覆盖原答卷。

本案例可报告：“1000份完成中，28份因验证重复或核心素材未展示而按预定硬规则排除。其余972份中210份至少触发一项软信号；142份单信号保留，68份多信号经不知道主要结果的双人复核后排除37份、保留31份。主分析935份，支持率55.6%，相对原始54.0%上升1.6点；再排除8份技术边界记录为55.7%，结论稳定。”

这样的报告让读者看见规则、重叠、人工判断和结果敏感度。只写“清洗后删除6.5%低质样本”既无法复核，也会把技术失败、真实少数和欺诈混成一个标签。

还可结合软启动监控提前发现信号，用调查数据清洗流程管理版本，并参考问卷时长与成本减少疲劳来源。

在线样本质量、粗心识别与报告依据

• ESOMAR/GRBN — Guideline on Online Sample Quality
• Meade & Craig — Identifying Careless Responses in Survey Data
• Curran — Methods for the Detection of Carelessly Invalid Responses
• Pew Research Center — Two common checks fail to catch most bogus cases
• Eysenbach — CHERRIES Checklist for Internet E-Surveys