“我总能快速找到问题原因——非常不同意/不同意/中立/同意/非常同意。”参与者真正形成的判断可能是“十次里大约六次能找到”,但题目又要求他判断自己是否同意“总能”这个绝对陈述。他必须先比较六次与“总是”的距离,再把这种距离翻译成同意程度。另一个人即使经历相同,也可能因为对“总能”更宽容而选择同意。
对新设计的事实、频率、强度、重要性、难易和质量评价,优先直接问目标维度,而不是先写一句带阈值的陈述再让人表态。例如改问“过去 30 天遇到任务失败时,您有多经常能在 5 分钟内找到原因?从来没有—总是”。项目特定选项不能自动消除社会赞许、记忆或题序影响,却能少做一次“把真实判断映射成同意”的转换。
默许不是“满意度偏高”的别名
默许反应,也称习惯性赞同,是参与者在不同内容上都更倾向于认可陈述。它与社会赞许不同:社会赞许取决于某个回答是否显得体面,默许则是对“同意”这个响应动作本身的倾向;它也不等于直线作答,一个人可以认真阅读后仍较常同意,也可以不认真地一路选择中点。
默许对结果的方向取决于陈述如何写。若所有正向句都以高分表示体验好,它可能抬高总分并制造题项间共同相关;若题组包含“流程经常让我困惑”等负向句,赞同反而表示体验差。不能看到高分就统一减一个“赞同偏差”,也不能凭一个人同意了三题就把整份答卷判为无效。
同意式题目还有一个独立问题:陈述里的阈值词。参与者认为客服“多数时候认真”,面对“客服总是认真”可能选不同意;分析者若把不同意解释为“认为客服不认真”,就把对“总是”的反对误读成对客服的负面判断。越是使用“完全、从不、足够、非常、应该”等词,内容判断与阈值判断越容易纠缠。
把每道陈述还原成它真正需要的回答轴
| 原同意式陈述 | 隐藏的判断维度 | 项目特定改写 |
|---|---|---|
| 我经常能找到需要的说明 | 频率 | 过去 30 天需要说明时,您有多经常能找到?从来没有—总是 |
| 退款说明非常完整 | 完整程度 | 最近一次退款中,说明在多大程度上包含您需要的信息?完全没有—全部包含 |
| 提交申请很容易 | 难易 | 完成最近一次申请有多困难或容易?非常困难—非常容易 |
| 进度提醒对我很重要 | 重要性 | 决定是否继续等待时,进度提醒有多重要?完全不重要—非常重要 |
| 客服值得信任 | 信任程度 | 基于最近一次接触,您在多大程度上信任客服提供的信息?完全不信任—完全信任 |
改写不是把句号换成问号。先确定对象、参考事件与时间,再选择受访者能判断的轴;答案两端必须与题干同维度,不知道、不适用和拒答另行编码。若陈述同时包含“容易且快速”“准确并值得信任”,应先拆开,因为一个同意答案无法说明参与者认可哪一部分。
为什么研究通常支持改写,但仍有反例
Saris、Revilla、Krosnick 与 Shaeffer 把随机分组实验与多特质多方法设计结合,在欧洲社会调查等代表性调查情境中比较同意/不同意和项目特定选项。跨主题、国家、模式和题序的总体结果是,项目特定形式通常有更高的测量质量;作者把同意式题目的较大方法效应解释为参与者采用了与实质内容无关、但各人相对稳定的作答方式,默许是可能机制之一。
这不是“同意题一律作废”的充分证据。Lelkes 与 Weiss 使用 2012 年美国全国选举研究的两波数据比较六个政治效能问题,两个格式的重测可靠性没有实质差异,对政治知识、活动等外部标准的关联也大体相近。作者因此提醒,项目特定选项不是解决默许的万能方案;但该研究只覆盖政治效能,不能证明所有构念都没有格式风险。
Dykema 等对二十项比较研究的梳理显示,更多研究支持项目特定题在效度、可靠性或不良响应效应上占优,但结果并不一致。一个重要原因是所谓“只改格式”的实验常同时改变回答轴、正负方向、单极/双极、选项数量和呈现顺序。观察到差异时,应明确究竟改了什么,而不是把所有变化归入一个“默许效应”。
负向句不能免费抵消赞同偏差
常见补救是把一半陈述反向,例如正向写“我能理解说明”,负向写“说明并非不难理解”,最后反向计分。这样可能让持续赞同者的总分回到中间,却没有恢复他本应处在量尺上的位置;双重否定还会让认真参与者因语言处理而答错。
Saris 等的实验中,包含“rarely”等否定方向的同意式题可靠性更低。Dykema 等也总结,反向项目可能降低理解、内部一致性和效度,并形成一个由措辞方向而非构念产生的方法因子。若成熟量表本来包含反向题,应按其验证与计分规则使用并重新核验目标人群;若是新问卷,不要为了“抓直线”临时制造拗口句。
更直接的做法是让项目内容本身覆盖构念的不同位置,同时用清晰问题询问相应频率或程度;质量诊断结合用时、不适用矛盾、开放证据和重测,而不是把对负向句的不同意见当作注意力失败。
一个带日志标准的随机改写实验
以下为说明性例子,不代表产品表现或行业基准。1,000 名近期遇到任务失败的用户被随机分成两组。旧版陈述是“任务失败时,我能快速找到原因”,使用五点同意量尺;新版直接问“过去 30 天任务失败时,您有多经常能在 5 分钟内找到原因”,使用从来没有到总是的五点频率量尺。两版都先确认失败事件,邀请、展示位置和样本来源相同。
旧版 500 人中 330 人选择同意或非常同意,占 66%;新版 500 人中 275 人选择经常或总是,占 55%,相差 11 个百分点。按两个独立比例的大样本近似,95% 区间约为 5.0 至 17.0 个百分点。这证明格式改写会形成趋势断点,却不能仅凭新版比例较低就宣布它更准确。
其中每组各有 200 人事先同意将自报与最小化后的故障日志匹配,并把“5 分钟内定位”定义为同一可复核事件。旧版顶部两档 132 人,其中 92 人符合日志标准;新版顶部两档 112 人,其中 96 人符合。对应正预测值约为 69.7% 与 85.7%。这个项目里,新问法与行为标准更一致,但日志也只记录系统事件,不能验证用户的全部主观体验;匹配子样本若与其余参与者不同,结果也不能无条件外推。
历史量表先桥接,不要静默替换
- 为每个旧陈述写出对象、时间、隐藏回答轴、阈值词和最终用途;无法确定轴的题先删或拆,不急着改选项。
- 在同一人群与时段随机分配旧版和新版,除目标格式外尽量保持点数、方向、题序和页面一致。
- 预先比较完整分布、关键类别、重测、外部标准、用时和理解,不只比较均值或 Cronbach’s alpha。
- 若新版更清楚但产生断点,固定新版并在报告中标明切换;不要用一次平均差机械修正所有历史题。
- 成熟量表需确认授权、原始验证人群和计分规则;改写后应视为新版本重新积累效度证据,不能继续沿用旧版名称和常模。
同意式题在询问规范立场时有时仍自然,例如“企业是否应该承担某项责任”;已有长期序列也可能值得保留。保留的理由应是构念与连续性,而不是矩阵复制方便。团队可同时建立新的项目特定序列,用重叠波次说明两条指标各自测什么。
问卷派可以承载项目特定等级题、矩阵、随机分版和分组分析,帮助团队比较改写前后;平台不会判断“同意”来自内容、阈值还是作答习惯。标签本身的设计可参考量表刻度标签方法,桥接随机化使用问卷随机分版与审计字段,多题得分不要只靠高 Cronbach’s alpha批准。最有用的问题不是“受访者是否同意这句话”,而是决策真正需要他对哪一种经历、频率或程度作出判断。
研究来源
- Saris、Revilla、Krosnick 与 Shaeffer:Comparing Questions with Agree/Disagree Response Options to Questions with Item-Specific Response Options(2010)
- Dykema 等:Towards a Reconsideration of the Use of Agree-Disagree Questions in Measuring Subjective Evaluations(2021)
- Lelkes 与 Weiss:Much Ado About Acquiescence(2015)
