指南数据管理记录链接数据质量行政记录测量误差

问卷自报和后台记录对不上,先分清是记录、链接还是人的问题

把问卷回答与后台或行政记录合并时,不一致有三种来源:记录的口径与覆盖、链接本身的漏配与错配、以及个体层面的真实差异与报告误差。本文给出一个可复算的 1,000 条记录算例、一张三层来源分诊表和四条决策规则,说明为什么先量化链接质量,再解释不一致率。

最近更新 2026年10月3日 17 分鐘 閱讀

把问卷回答和后台订单、考勤、发放或行政记录并在一起,几乎总会看到一部分对不上。这些不一致不能直接读成「受访者说了谎」,也不能默认「记录才是真的」。更常见的实际情况是:你手里的两套数据测的并不是同一件事,链接过程本身又制造了一部分分歧,只有剩下的那部分才可能与个体报告误差或真实变化有关。把这三层分开、逐层给出证据,比争论「谁更可信」更有用。

先做链接质量,再看不一致率:如果没有单独报告链接成功率、未匹配者的画像,以及错配与漏配的量级,那么你在样本里算出的「一致率」和「不一致率」都还不可解释。后台记录不是金标准——它同样会有口径、覆盖和时点问题;而概率式链接会把一部分本不匹配的记录算成匹配,从而把分歧「洗掉」。

下面讨论的是数据管理与测量的方法问题,不针对任何具体机构或个人。文中所有数字除特别标注来源外,都是为说明算法而构造的示意数据,不能当作经验基准,也不能用于推断任何真实的合规或违规比例。

把「不一致」拆成三层,先别急着下判断

面对一条「问卷说享受了、记录里没有」或「记录显示使用了、问卷说没有」的差异,先把问题定位到三层之一:记录侧、链接侧、个体侧。三层的证据不同,处理动作也不同。

来源层典型表现你需要出示的证据对应的处理
记录侧:口径与覆盖 记录测的是资格、申报或发放在某个时点是否入账,而不是本人是否知晓或是否实际获得;记录只覆盖登记在册、被系统正确记录的对象。 记录的定义文档、覆盖范围、时间戳字段、单位与币种。 先做概念对齐,必要时改口径或改结论措辞,而不是改数据。
链接侧:漏配与错配 同一个人被拆成两条记录,或两个不同的人被并成一条。 链接键、匹配规则与阈值,漏配与错配的估计或抽样人工复核。 量化并披露链接误差,做阈值敏感性分析。
个体侧:真实差异与报告误差 记录正确而受访者记错、归错时点或理解成另一件事;也存在记录滞后或漏登导致自报正确的情况。 问题的回忆期、构念定义、敏感程度,以及记录侧的登记时点。 先改题再考虑统计处理,并写明误差方向不定的部分。

这三层不是互斥的选项,而是必须依次排除的顺序。跳过前两层直接讨论「受访者是否诚实」,几乎一定会把口径问题和匹配问题算到个人头上。

第一层:记录测的是不是你问的那件事

口径对齐至少要做四件事:统一时间单位(自然月、账期还是自然年,跨期如何归集);统一对象单位(个人、户、企业单位还是门店);统一事件定义(「申报」与「享受」、「下单」与「完成」、「发放」与「到账」不是同一件事);统一时点(发生日、入账日与统计截止日可能落在不同期间)。任何一项没对齐,后续算出的不一致率都在混合不同的东西。

覆盖问题同样重要:后台或行政记录通常只包含登记在册、发生过特定动作、并被系统正确记录的对象。一个没有出现在记录里的人,不一定「没有发生这件事」,而可能是「没有进入这套系统」。把记录里的「无」直接读成「没有」,会把覆盖缺口误判成个体差异。

待遇、补贴与政策类数据是典型的例子:系统里有发放记录,不等于当事人知道、记得或理解了这件事;反过来,当事人说「没听说过」,也不能推翻记录里已经发生的发放。这两种说法测量的是不同的构念——一个是记录中的获得状态,一个是本人的知晓与感知——不应互相当作对错。真正需要研究「知晓」时,自报才是构念本身,记录只能用来核对是否发生过获得。

第二层:链接本身会制造看不见的分歧

链接(linkage)是把两套数据里属于同一个对象或同一个单位的记录认成同一条。用身份证号或单一主键精确匹配看起来省事,但在脱敏、重号、更名、跨系统编码口径不一致的情况下并不总可行;实践里更常见的是用姓名、生日、地区、手机号等组合做概率式匹配,给每一对候选记录一个「是同一个对象」的概率,再按阈值决定连不连。

概率式链接的代价是两类错误同时存在:漏配(真匹配被判为不匹配)和错配(真不匹配被判为匹配)。漏配会让本可对上的记录落到「未匹配」堆里;错配更隐蔽——它把两条本不相关的记录连在一起,在「是否一致」的统计里凭空生出差异,也可能反过来把差异抹平。美国国家卫生统计中心在把 2014 年「全国医院护理调查」与「全国死亡索引」做链接的研究中指出:概率式链接对每一对记录是连还是不连本身带有不确定性,而这种不确定性会继续传导到用链接数据算出的估计量上,他们因此用重采样来量化这种传导。对做调研的人,这句话的含义是:不能只报一个链接后的点数估计,还要报告该估计对链接决策的敏感程度。

错误类型怎么产生对结论的影响怎么检查
漏配 阈值过严、关键字段缺失或写错、跨系统编码不一致。 有效样本被低估;把「未匹配」误当成「不存在」。 对阈值宽严做敏感性分析;对未匹配样本抽样人工复核。
错配 阈值过松、组合字段区分度低(同名同生日)、地区或机构字段粒度过粗。 制造或抹平差异;系统性高估一致率。 估计错配率或抽小样本人工核验;报告链接前后的关键变量分布变化。

用一份 1,000 条记录的示意算例走一遍

下面是一次完全示意的链接,数字只为说明算法。1,000 名受访者的问卷对应 1,000 条后台记录:其中 900 对链接成功,100 对未匹配,链接率为 90%。在成功链接的 900 对里,字段与事件一致的 720 对、不一致的 180 对。只按链接样本计算,不一致率是 180 ÷ 900 = 20%。

但未匹配的 100 对究竟一致还是不一致,你并不知道。如果改用「未匹配一律按不一致处理」的保守口径,整体不一致率变成 (180 + 100) ÷ 1,000 = 28%,比 20% 高出 8 个百分点。同一批数据,换一个分母就差 8 个百分点——这就是为什么分母口径和未匹配者的处理方式必须先写清楚。

再看链接误差如何「洗掉」分歧。假设通过人工复核估计这 900 对里有 20 对是错配。错配的两条记录本就不该放在一起比较,它们被计入「一致」还是「不一致」都不代表真实情况;如果这 20 对恰好被算成了「一致」,那么真实一致对数应为 720 − 20 = 700,按可比较的记录数 900 计算,一致率是 700 ÷ 900 ≈ 77.8%,而不是 80%。误差不大,但方向是固定的:错配倾向于制造一致,让数据看起来比实际更干净。

最后看匹配偏倚。假设这 1,000 人里,某个关键特征(例如「过去一年迁移过住址」)的真实占比是 34%;在 900 个匹配成功者中占 30%,在 100 个未匹配者中占 45%。只分析匹配样本,你会把该特征低估 4 个百分点(30% 对 34%);若忽略未匹配者、直接宣称样本「代表全体」,偏差会更大。链接率越低、未匹配者的特征越特殊,这个偏倚越不可忽略。

匹配率只是入口,未匹配的人是结论的一部分

链接率高不等于没有偏倚:即便 95% 的记录都连上了,只要那 5% 在关键变量上系统性地不同,基于匹配样本的比较仍会偏移。正确做法是把未匹配者当成一类单独的样本处理,而不是当缺失值清掉。

  • 描述未匹配者。用问卷里本来就有的、不需要链接的人口与行为变量比较匹配组与未匹配组,而不是用只有记录才有的变量——后者对未匹配者根本不存在。
  • 至少汇报三种分母。只算匹配样本;把未匹配者按「不一致」处理的保守口径;把未匹配者作为独立分层的口径。三个结果并排给出,读者才能判断结论有多稳。
  • 对阈值做敏感性分析。改变匹配阈值,看结论方向是否稳定。如果结论随阈值翻转,那它首先是链接方法的产物,而不是被研究对象的事实。

用记录校验自报时的四条决策规则

情形该怎么处理报告里怎么写
记录是某事件「是否发生」的权威文件,但存在漏登。 用记录与自报的并集作上限、记录单独作下限,或用捕获—再捕获思路估计漏登;不要假装记录完备。 写明上下限各自的假设、并集口径会高估哪些情况、记录口径会低估哪些人。
研究目标本身就是「知晓、感知、理解」。 自报是构念本身,记录只用于核对「是否获得」,不能反过来用记录否定自报。 把「获得」与「知晓」分成两组变量分别报告,并说明二者不一致本身就是发现。
「不一致」是要解释的结果,例如申报是否规范、使用是否如实。 先估计错配率与漏配率,对不一致率做误差校正,或把链接不确定性纳入区间。 把未校正与校正后的数值并列,注明校正所依赖的错配率假设。
数据敏感:收入、健康、待遇、补贴。 优先考虑伦理、授权与再识别风险;能只用汇总数据回答的问题,不做个体级链接。 说明授权来源、粒度选择理由、数据保留期限与链接键的存放与销毁方式。

把链接过程写成别人能复核的一段说明

不管结论多简单,方法说明里应当能回答下面这些问题,才算可复核:

  • 链接键用了哪些字段,是精确匹配还是概率匹配,阈值是多少,为什么这么定;
  • 链接率是多少,未匹配者在可观察变量上的分布与匹配者差多少;
  • 对漏配与错配做过哪些检查,是否有抽样人工复核及其结果;
  • 两套数据的口径、覆盖范围与时点如何对齐,哪些不一致被判定为口径差异,依据是什么;
  • 保留与排除的分母分别是什么,敏感性分析给出了什么结果;
  • 谁授权了这次链接,数据保留多久,链接键存在何处、如何销毁。

什么时候不该做链接

  • 没有合法依据、授权或伦理审查支撑,尤其是跨机构的个体级匹配。
  • 样本太小,无法估计错配与漏配,链接误差比你要测的效应还大。
  • 记录的覆盖人群与调查总体严重错位,链接后的样本代表不了任何一个明确的总体。
  • 目标是用记录对具体个人做定性判断(是否违规、是否如实),这类结论超出调研证据的范围,应由相应的核查程序处理。

问卷派在这条链路里承担哪一段

在问卷派里,可以把「记录」与「自报」从设计阶段就分开:把「是否发生、是否获得」的行为题与「是否知晓、如何评价」的认知题放进不同题组,避免一个选项同时承担两种含义;用稳定的匿名编号而不是姓名字段作为后续链接键,导出时保留时间戳、来源与状态字段,方便与外部记录做口径对齐。

回收后,代码本要把链接键、缺失编码与派生规则写到可复算;清洗时按从原始答卷到分析数据集的顺序,把「未匹配」作为一个独立状态,而不是当成空白或零;缺失数据的处理要区分「没有这条记录」和「记录里字段为空」。如果链接后要做的是个体级合并,先按匿名与再识别的审计检查组合字段的风险,再决定是否需要更粗的粒度。最后把链接率、未匹配者描述与敏感性分析写进方法说明,让结论能追溯到具体口径。

需要说明的是,与外部系统的个体级匹配本身发生在平台之外:它需要数据授权、合规安排与对方系统的配合。问卷派能做的是把问卷侧的字段、口径与导出做好,让这段链接在平台之外可复核地完成,而不是替代授权与合规判断。

方法与来源依据