两个问卷软件的采购表里，一个有86项功能，另一个有93项。真正上线后，团队仍然用聊天工具确认配额、手工合并样本来源、在表格里重做清洗、把图表数字复制到报告。问题不是少了第94项功能，而是采购时把“有这个按钮”当成了“我们最重要的研究流程能可靠完成”。
选型应从团队最近发生的任务和失败成本出发：谁提出研究问题、目标受访者从哪里来、哪种逻辑最难、哪些数据必须可追溯、结论要交给谁、出错后损失什么。轻量登记用通用表单可能最合适；需要筛选、配额、样本、访谈、质量和统计交付时，才需要更完整的研究工作流。最贵、功能最多和最适合没有必然关系。
先复盘最近三类项目，不要先打开供应商功能页
让产品、市场、研究、数据、信息安全和采购各带一个真实项目，用同一张“任务账本”描述：
| 任务 | 低风险示例 | 高风险示例 | 失败代价 |
|---|---|---|---|
| 收集 | 活动报名与内部投票 | 多语言问卷、复杂筛选、随机概念测试 | 数据无法比较或目标人群错误 |
| 触达 | 已有联系人发链接 | 稀有人群、交叉配额、多个样本渠道 | 周期与样本成本失控 |
| 理解 | 固定选择题反馈 | 开放题编码、AI深访、录音或转写 | 证据失真、隐私风险或大量人工返工 |
| 分析 | 下载明细和简单频数 | 权重、复杂分母、统计区间、可追溯报告 | 图表能看但结论无法复算 |
| 协作 | 一人编辑和导出 | 跨部门审阅、版本、权限、审批和审计 | 错误版本上线或敏感数据扩散 |
再记录每类项目过去一年发生频次、参与角色、工具切换、人工小时和返工事件。偶尔一次的热图题型不应压过每周都会发生的样本去重；管理层喜欢的 AI 演示也不应压过导出后无法确认题目版本的风险。
英国 Government Service Manual 的技术选择指南建议从用户需要、现有系统、数据控制、安全与总体拥有成本出发，并通过原型尽早验证接口和约束。功能列表最多只能证明产品声称支持什么，不能证明它适合团队的情境。
先设不可补偿的淘汰门，再做加权评分
有些条件不能用其他高分补偿。若工具无法满足适用的数据处理和访问要求，即使编辑体验满分也不能入选；若关键问卷不能导出稳定变量值，再便宜也无法支持复核。常见淘汰门包括：
- 目标人群必须使用的设备、语言或辅助方式无法完成；
- 无法实现研究所需的资格、路由、随机、配额或唯一状态；
- 原始答卷、题目/选项编码、时间、来源和版本不能完整导出；
- 身份、权限、日志、数据位置、保留和删除不符合组织要求；
- 合同结束后无法在可接受时间与格式取回数据和研究资产；
- 供应方无法说明关键 AI 输出的数据使用、人工复核与限制。
通过淘汰门后，才按团队实际权重评分。例如研究方法与数据完整性30%、目标样本与质量20%、分析和可追溯性20%、隐私安全15%、日常操作与支持15%。权重必须来自任务账本；对只有内部报名的团队，样本能力权重可以为零。不要先看到某家强项，再倒推评分权重。
用同一个即饮茶概念项目做现场验收
不要让供应商只演示预制问卷。给所有候选工具同一份说明性研究简报：在六个城市招募过去30天购买过即饮茶的消费者，比较A、B两款包装；每人随机看一个概念，城市×年龄有配额；手机端完成，开放题需要编码，最终报告概念差值、分组和证据限制。
现场验收不问“支持逻辑吗”，而要求完成可观察任务：
- 从同一份简报建立资格、配额、随机与结束状态，边界用户按预期进入。
- 用手机走最长、最短、筛除、配额满和弱网返回路径，记录实际时长和错误恢复。
- 接入或模拟两个样本来源，确认唯一参与、来源标签、合格率与成本分母不会混淆。
- 提交一组合成答卷，导出原始数据、代码本和版本，独立复算概念选择比例。
- 对开放题执行人工或 AI 辅助编码，抽查原文、分类理由、冲突和未归类答案。
- 让第二名成员在没有口头指导时复制分析和报告，并导出可移交资产。
验收人员应记录完成时间、点击与工具切换、需要供应商介入的次数、无法完成的步骤、导出后修复量和最终数字能否追到原题。一个功能需要专人编写脚本才能工作，对无工程支持的研究团队就不能算“已满足”。
编辑器只占一段，样本与质量决定结论能走多远
问卷设计能力要看复杂规则能否被测试和维护，而不是题型数量：筛选、答案引用、随机、交叉配额、版本和多语言是否产生稳定数据；预览是否能覆盖风险路径；修改后哪些答卷受影响是否可识别。
样本能力要分开评价“能找到多少人”和“这些人能支持什么结论”。要求供应方说明样本来源、招募、身份核验、参与频率、质量规则、合格与配额终态、替补、权重和可披露信息。AAPOR 对在线样本质量指标的讨论强调，仅看完成率和累计回答率不足以判断样本代表性与效用。
若团队已有客户名单，平台样本库价值可能有限，唯一邀请、CRM字段关联和非响应跟踪反而更重要；若团队没有触达渠道，能否按目标条件获得真实样本、如何计价与验证就成为主约束。选型结论必须随使用场景变化。
分析功能要用“可复算”验收，不要用图表数量验收
选择一个含跳转、多选、缺失、权重和质量排除的主要指标，要求候选工具展示真实分母并导出中间状态。再由数据人员在外部环境复算。如果平台图表为58%，导出复算为55%，必须能解释差异来自筛选、权重、去重还是缺失，而不是接受“系统算法如此”。
检查是否保留原始值、修正值和排除标记；是否能区分不适用、拒答与未展示；交叉表是否显示未加权基数；AI 摘要能否回到原始回答和计算。高级模型不是越多越好，错误的分母配上复杂模型仍是错误结论。相关数据结构可参考调查数据库模式设计与调研数据代码本。
AI能力必须回答“在哪一步替人判断”
把“支持 AI”拆成任务：从简报生成题目、动态追问、转写、开放题编码、异常检测、统计解释或报告草稿。每项分别验收输入边界、可编辑性、来源追溯、一致性、人工复核、敏感数据处理和失败方式。
例如，让两个评审者独立标注同一批50条开放题，再比较 AI 编码对少数类、否定句、讽刺与多主题回答的漏分；查看能否保留原文、分类版本和人工覆盖。AI 生成一段通顺摘要不等于分类可靠，也不能自行补出样本代表性和因果结论。高风险输出必须有明确责任人。
隐私和安全评估要从数据流开始
画出邀请身份、答卷、联系方式、设备或过程数据、录音转写、激励信息和分析结果分别从哪里进入、存在哪里、谁能访问、向哪些服务转移、何时删除。再让隐私、安全、法务或合规负责人根据组织适用要求判断，而不是用一张通用认证截图结束评估。
NIST Privacy Framework 的采购应用说明建议先形成组织目标隐私要求，再据此评价合作方、权衡缺口并管理残余风险。应具体询问角色权限、日志、密钥与单点登录、子处理方、跨境与备份、事件响应、数据是否训练模型、合同结束后的删除和证明。本文不是法律意见，实际义务取决于地区、数据类型和双方角色。
总拥有成本要把“人肉缝合”和退出算进去
年度总成本
= 订阅与席位
+ 样本、短信、存储、转写或 AI 用量
+ 接口与定制
+ 培训、权限管理和供应商沟通
+ 清洗、合表、复算和报告返工
+ 审计、合规与安全运营
+ 迁移和退出准备每月省下几千元订阅，却让两名研究员每周花一天整理数据，通常不是低成本。反过来，为一年一次的复杂研究购买全年最高套餐也未必合理，可以比较按项目采购服务、现有工具组合或阶段性升级。把最近三类项目代入，计算每次交付的总人工和失败风险。
英国政府的商业现成产品指南要求在承诺采购前先理解问题并试用不同选择；其云锁定指南也建议 SaaS 使用开放标准和格式、保有数据控制并设计退出。锁定不一定完全不可接受，但带来的效率必须大于迁移风险。
在签约前真的做一次退出演练
从候选工具导出一个完整项目，交给未参与试用的人。验收以下内容能否离开平台后继续使用：
- 问卷题目、逻辑、随机、配额、语言和素材，而不只是最终答卷；
- 原始与清洗数据、变量和值标签、缺失状态、权重和质量标记；
- 访谈录音/转写、同意状态、开放题编码和人工修订记录；
- 图表背后的计算、报告引用、版本历史和审计日志；
- 可读的标准格式、导出时长、额外费用、删除与账号关闭流程。
如果只能拿到一份 PDF 报告，团队购买的不是研究资产控制权，而是长期依赖。还要检查 API 或批量导出是否属于当前套餐、速率与字段是否足够、供应商终止服务时能获得多久迁移窗口。
问卷派应在同一套验收脚本中被比较
当团队需要从问卷设计延伸到样本投放、AI访谈和数据分析时，可以把问卷派作为研究工作流候选；若只需收集报名信息，完整研究链可能超出需求。评估时仍使用同一份即饮茶项目、同一组淘汰门和同一套成本口径，不因品牌叙事改变题目。
最终采购记录应写明：选择服务哪三类高频任务，哪些不可补偿条件已通过，端到端验收留下什么证据，哪些缺口被接受、由谁缓解，三年成本和退出路径是什么，以及半年后用哪些指标复核。可跟踪从简报到首个可复算结论的时间、人工修正次数、质量事件、成员独立复现率和实际迁移成功率。
工具选型真正要买的不是“能做问卷”，而是团队在有限时间内获得可解释证据的可靠性。只要把真实工作放进候选系统跑一遍，许多漂亮但无关的功能会自然失去权重，隐藏在交接、数据和退出中的差异才会显现。