AI 参与问卷生成、开放题编码、访谈追问或报告摘要时,它不只是一个“工具”,也是测量流程中的一个环节。模型、系统提示、检索库、安全策略或服务实现一旦变化,同一批输入就可能得到不同结果。判断这种变化是否构成“版本漂移”,不能靠一次升级前后的直观比较,也不能拿一张公开榜单代替自己的研究任务。可靠做法是把 AI 调用视为一次实验:冻结任务和运行条件,重复执行,按任务配对比较,并把关键安全失败与平均质量分开判断。
先把结论说清楚:一次结果变差,通常不足以证明模型退化;一次结果变好,也不足以证明升级有效。生成式模型本身有随机性,提示格式、参数、判定器与运行时间都会改变结果。美国国家标准与技术研究院的生成式 AI 风险管理框架把性能的时变性、模型微调、漂移与衰减列为需要持续监测的风险,并要求以接近实际使用条件的基准和门槛来评估系统。换言之,“版本号有没有变”只是触发审计的信号,真正要回答的是:在我们的任务上,结果分布有没有稳定改变,改变发生在哪里,是否越过使用门槛。
为什么“升级前 80 分、升级后 75 分”还不是证据
生成式评估不是只抽一次样的考试。Biderman 等基于长期维护语言模型评测框架的经验指出,模型对评测设置高度敏感;同一模型换一种提示格式,结果就可能明显变化,而最佳提示格式还会随模型而变。该文还提醒,单次运行的点估计会掩盖运行间的方差,发布结果时应同时报告多次运行或统计不确定性。这意味着,只看一次升级前后的两个百分比,无法判断差异来自版本,还是来自这一次恰好抽到的输出。
提示词也不是唯一变量。系统角色、答案格式、温度、最高输出长度、工具调用、检索资料、内容过滤器、批处理方式、服务端模型别名,都可能在不改变“产品名称”的情况下改变输出。NIST 的生成式 AI 文件明确提醒,第三方服务变化、微调、漂移和衰减都属于需要合同披露与持续监测的事项。因此,审计记录不能只写“使用了某模型”,还要保存足以重放当时任务的运行快照。
公开榜单也不能直接搬进项目结论。Singh 等在 2025 年对 Chatbot Arena 的研究中发现,私有变体、选择性公开分数和不同模型的抽样机会不对称,会使排行榜偏离无偏比较的条件;标准化 HELM 评测则强调同一场景、同一组指标和公开原始提示与输出,才能让比较可复核。榜单可以帮助发现候选变化,却不能证明你的编码、访谈或问卷任务也发生同样变化。
先冻结一组属于自己的任务,而不是临时找几个例子
版本漂移审计的核心资产,是升级前后始终不动的任务集。任务应来自真实业务流程,并把“常见情况”和“出错代价高的情况”分开抽样。一个可执行的默认结构是:约六成任务覆盖高频场景,约四分之一覆盖边界与歧义输入,约一成半是必须通过的安全或准确性关卡。这些比例是项目设计起点,不是普适常数;如果主要用途是开放题编码,就应增加反讽、多主题、混合语言和空回答;如果用于访谈追问,就应加入拒绝、情绪升高、事实不明和诱导性前提。任务集应与 数据版本与血缘 同步冻结,而不是每次重测临时换题。
每个任务还要固定判断标准。对结构化抽取,可以预先写明字段是否齐全、值是否正确、引用是否可追溯;对开放题编码,应固定代码本、允许一题多码的规则和“证据不足”的处理;对访谈提纲,则要分别判断是否追问到具体经历、是否重复用户原话、是否把猜测写成事实。若使用另一个模型作裁判,必须把裁判模型、提示、版本和判定样例一并冻结,并抽一批由人复核的样本。否则升级后的差异可能只是裁判换了标准。
| 快照字段 | 至少要记录什么 | 为什么重要 |
|---|---|---|
| 任务 | 输入原文、任务编号、适用场景、人工标准答案 | 保证前后比较的是同一批问题 |
| 模型 | 模型标识、调用日期、供应方公布的版本或端点、可观察到的变更说明 | 区分计划升级与别名静默变化 |
| 参数 | 系统提示、温度、输出上限、停止条件、工具与检索配置 | 排除运行条件改变造成的伪漂移 |
| 输出 | 原始回答、是否被安全策略拦截、耗时与错误码 | 支持人工复查和失败归因 |
| 裁判 | 自动判定器版本、提示、阈值;人工复核记录 | 避免评分规则与模型一起漂移 |
重复运行,但不要把重复输出当成更多受访者
同一道任务运行三次、五次或更多次,可以帮助估计生成方差,但这些重复不是三个、五个独立研究对象。分析单位仍应是任务。做法是先为每个任务汇总重复结果,例如计算通过率,或在奇数重复中用多数结果形成任务级标签;再对升级前后的同一任务做配对比较。若把 120 个任务的五次生成全部当作 600 个独立样本,会人为缩小标准误,把本来不稳定的差异写成“显著”。
Miller 关于语言模型评估统计设计的文章把评测问题类比为从未见总体中抽样的问题集合,建议对同一批问题做任务级配对差异分析,并在实验前根据最小有意义差异、噪声和功效规划任务量。这里的“样本量”首先是有代表性的任务数,其次才是每题重复次数。只增加同一道题的回答次数,不能弥补任务类型过于单一。
一个可复算的版本对照算例
假设一个开放题编码助手每季度重测一次。团队冻结了 120 道真实任务,每道在旧版和新版各运行三次,以三次多数结果作为该任务的通过或不通过。完全示意性的结果如下:两版都通过的 78 题;仅旧版通过的 24 题;仅新版通过的 10 题;两版都未通过的 8 题。
| 配对结果 | 任务数 | 解释 |
|---|---|---|
| 旧版、新版都通过 | 78 | 稳定通过 |
| 仅旧版通过 | 24 | 新版退步的候选证据 |
| 仅新版通过 | 10 | 新版改进的候选证据 |
| 两版都不通过 | 8 | 长期失败类型,需另做诊断 |
旧版通过率为 102 ÷ 120 = 85.0%,新版为 88 ÷ 120 = 73.3%,配对差为下降 11.7 个百分点。只看各自比例会把两组当成独立样本;按同一任务配对,真正提供方向信息的是 24 题变差与 10 题变好的不一致对。对这个示意表做精确 McNemar 检验,双侧 p 约为 0.024;这表示如果两版对本任务总体没有方向差异,出现如此偏向旧版的不一致结果并不常见。它仍不等于“新版在所有中文开放题上都更差”,结论范围只能停在这 120 个抽样任务及其覆盖的场景。
更重要的是继续分层。假设下降主要集中在含否定、多重意图或引用原文的任务上,而普通单主题编码基本稳定,那么可行动的结论是“新版对复杂语义编码的稳定性下降”,而不是笼统的“新版能力下降”。如果只有某一天的服务错误率升高,而输入输出评分没有稳定变化,则应先检查可用性、超时和重试,不要把它写成模型质量漂移。
把平均质量与关键失败分开做决定
版本发布不应只设一个平均分门槛。平均值可能保持不动,但关键对象的失败增加;也可能平均分稍降,却没有越过业务可接受线。下面这张分诊表更适合决定能否继续使用:
| 观察 | 优先解释 | 行动 |
|---|---|---|
| 总体差异落在重复运行波动内,关键失败未增加 | 没有稳定漂移证据 | 保留版本,继续定期监测 |
| 总体显著下降,但未越过预设的使用门槛 | 有变化,影响尚可控制 | 先小范围放量,增加复核与回滚开关 |
| 平均分稳定,但医疗、法律、金融、就业等高风险任务的错误增加 | 关键失败结构改变 | 停止相关场景自动使用,回到人工流程 |
| 正确率稳定,但同一输入多次结果差异明显扩大 | 稳定性下降 | 减少自动发布,增加重试或人工裁决 |
| 自动裁判与人裁判结论反向 | 裁判或标准发生漂移 | 暂停版本判断,先重标定判定标准 |
这套分诊的意义,是把“新版本好不好”改写成可核查的若干问题:平均质量是否跨过门槛,哪些任务类型变化,最坏失败是否仍可接受,重复运行是否稳定,人工复核与自动评分是否一致。对低风险写作辅助,一两个百分点的波动可能只值得记录;对访谈同意、敏感数据脱敏或医疗信息分流,同样的平均变化也要按关键失败重新评估。风险越高,越不能用一个总体分数覆盖局部失效。
一份可直接使用的漂移审计清单
- 先写使用契约:明确 AI 只做什么、哪些字段必须人工确认、哪些输出可直接进入下游。
- 冻结任务与标准:保留输入、代码本、判定说明和一组人工复核样本,避免升级后再改任务。
- 保存运行快照:记录模型标识、调用日期、参数、系统提示、工具、检索资料和错误码。
- 每题重复运行:重复用于估计生成方差,分析仍以任务为单位,不用重复数虚增有效样本量。
- 先看配对差异:报告新版变好、变差、共同通过和共同失败的任务数,再给总体差值与区间。
- 按场景分层:至少区分普通任务、边界任务和关键安全任务,不只报一个平均值。
- 预设发布门槛:在知道新结果前写明最小有意义差异、关键失败上限和回滚条件。
- 保留人工出口:高风险领域、低置信度输出、裁判冲突与异常错误必须有停止规则。
什么时候不该用这套方法
版本漂移审计比较的是“同一套 AI 任务在运行条件变化前后的结果”,不能直接回答产品改版是否提升用户体验,也不能替代真实受访者对问卷或访谈的感受。若研究问题涉及人群比例、治疗效果或用户满意度,仍需真实样本、合适的研究设计和用户结果指标。它也不能证明变化由某个内部参数直接造成;供应方可能同时调整后训练、安全策略、服务基础设施和模型路由。文章给出的是结果层面的监测与边界,不是对供应方实现细节的推测。
如果任务标准本身还不稳定,先做人工共识、代码本或预测试,比反复运行模型更重要。一个没有一致判定标准的评估,只会把测量设计问题包装成“模型不稳定”。同理,如果公开榜单位次已经发生大幅变化,可以把它当作重新审计的理由,但不能把榜单上的总体提升直接写成“我们的开放题编码也会提升”。
在问卷派这类研究流程中,AI 可以减少起草和初筛的工作量,但版本审计仍应围绕实际任务完成:固定编码样本、比对重复运行、按关键维度复核,再把结果交付给研究负责人决定是否放量。把模型版本纳入数据血缘,和记录问卷版本、清洗规则、权重与分析脚本一样,都是让研究结论能够回看、复算和解释的一部分;最终的方法披露也应沿用 调研方法说明 的可追溯写法。
方法与来源依据
本文引用的方法与风险要求来自:NIST AI 600-1 生成式 AI 风险框架(2024);Biderman 等的可复现语言模型评测经验研究(arXiv:2405.14782);Miller 的语言模型评估统计方法(arXiv:2411.00640);Singh 等关于排行榜选择偏差的研究(arXiv:2504.20879);Bommasani 等的 HELM 整体评测(DOI 10.1111/nyas.15007)。本文的 120 道任务与输出计数均为完全示意,不构成任何模型的经验基准;统计检验仅演示配对比较逻辑,实际项目应依据自己的任务分布、重复结构和最小有意义差异重新规划。
