一项月度追踪把所有“功能使用次数”和“满意度”放进同一张散点图,发现使用越多的人满意度反而越低。团队因此准备限制该功能。这个结论混合了两个不同问题:长期来看,常用者与少用者是否不同;对同一个人来说,某月比自己平常多用时,满意度是否也改变。前者是人间关系,后者是人内关系,方向完全可能相反。
只要预测变量在时间和人之间都会变化,就应先把它拆成“个人长期均值”和“本期偏离个人均值”。个人均值回答谁通常用得更多;偏离值回答这一期相对本人常态多用或少用了多少。把两者同时放入与设计匹配的纵向模型,才能分别估计人间与人内关联。分解后的系数仍是观察关联,不会因为使用了多层模型或固定效应就自动成为因果效果。
四名用户、三个月:同一份数据得出相反关系
以下是为说明机制构造的极小数据,不用于统计推断。四名用户每月各测一次使用次数与满意度。用户 A、B、C、D 的长期平均使用次数依次为 2、4、6、8 次,平均满意度依次为 70、60、50、40 分。跨用户比较,每多 1 次长期平均使用,满意度平均低 5 分,即明显负向的人间关系。
但每个人的三个月都遵循另一种模式:低于本人常态 1 次时,满意度比个人均值低 4 分;处于常态时等于个人均值;高于常态 1 次时高 4 分。于是同一个人内部,每多于自己常态 1 次,满意度高 4 分,是正向的人内关系。
| 用户 | 个人平均使用 | 个人平均满意度 | 三个月的使用偏离 | 对应满意度偏离 |
|---|---|---|---|---|
| A | 2 | 70 | −1、0、+1 | −4、0、+4 |
| B | 4 | 60 | −1、0、+1 | −4、0、+4 |
| C | 6 | 50 | −1、0、+1 | −4、0、+4 |
| D | 8 | 40 | −1、0、+1 | −4、0、+4 |
若把 12 行直接做一次普通回归,人间差异可能主导结果,让“高使用伴随低满意”盖住每个人自己的正向波动。业务解释也不同:常用者长期更不满,可能因为他们任务更复杂、问题更多;同一个人在多用的月份更满意,可能因为当月需求被解决。数据没有矛盾,是未经分解的问题把两个层次压成了一个。
个人均值和偏离值怎样进入模型
对用户 i 在时间 t 的使用次数 Xit,先计算该用户所有纳入波次的平均值 X̄i,再计算偏离 Dit=Xit-X̄i。两者相加仍等于原值:
X_it = X̄_i + (X_it − X̄_i)
一个最小的两层表达可写为:
满意度_it = β0 + βB × 个人平均使用_i
+ βW × 本期使用偏离_it
+ 时间项 + 个人随机截距 + 误差
βB比较长期平均使用不同的人,βW比较同一个人在不同时间相对自己的变化。示意数据中 βB为每多 1 次约低 5 分,βW为每多 1 次约高 4 分。是否加入随机斜率、非线性、滞后项或测量误差模型,要由研究问题、波次数量、间隔和数据结构决定,不能把这一式子当成所有追踪数据的固定模板。
先确定“同时”还是“后来”的问题
当月使用与当月满意度的模型描述同期共变:它无法知道是使用改变满意度,满意度影响使用,还是当月服务事件同时改变两者。若理论问题是“本月增加使用是否预测下月满意度”,就应明确滞后窗口并保留时间顺序;但简单把结果向后移一期也不会自动解决混杂,且真正影响可能发生在当天、数周后或逐渐累积。
波次间隔必须贴合机制。每日体验问题用季度测量会漏掉短期波动,年度指标用每日追问则可能主要测到噪声。设计前应写出最短合理作用时间、可能持续多久、何时反向作用,并决定哪些变量需要同期测、哪些需要滞后。收集完再试很多滞后,只报告最显著的一版,会把偶然模式包装成时间机制。
人内分解排除了什么,又没有排除什么
同一个人与自己比较,会消去在观察期内不变且作用稳定的差异,例如出生年份、长期岗位或稳定倾向,因此比纯横截面比较少受这类混杂影响。Curran 与 Bauer 的综述将分离人内与人间成分视为纵向数据的重要优势,并说明未经处理的时间变化协变量可能同时承载两个层次的信息。
但随时间变化的第三变量仍然存在。比如严重工单当月既迫使用户多用功能,也压低满意度;促销活动既提高使用,也改善评价;产品版本、季节、价格和个人任务变化都可能成为混杂。Rohrer 与 Murayama强调,人内数据本身不足以支持因果推断:时间不变混杂减少后,时间变化混杂、反向因果、动态反馈和错误时间窗口仍需由设计与假设处理。
因此报告应写“在控制个人稳定差异和所列时间变量后,同一个人高于自身平均使用的月份伴随更高满意度”,而不是“多用一次使满意度提高 4 分”。若要估计产品干预效果,优先随机改变功能暴露、入口或提醒,并保留原分组;观察性追踪可用于缩小机制范围,不能替代反事实。
数据准备中最容易破坏分解的五件事
- 没有稳定的参与者标识:无法知道哪些行属于同一个人,也无法计算个人均值;标识必须合法、最小化并与身份信息分区。
- 只保留完成所有波次者:会把参与持续性变成新的筛选条件;应先描述每人的波次数、退出路径和缺失机制。
- 把总体均值中心化当成人内中心化:减去所有人的总平均只改变零点,没有移除人与人之间的长期差异。
- 忽略共同时间趋势:使用和满意度都随产品成熟上升时,偏离值仍可能共享月份趋势;模型需要恰当的日历时间、波次或事件项。
- 个人均值只有很少观测:两三次波动很大的测量形成的“长期均值”并不稳定,可能削弱人间效应;波次数与测量可靠性要进入不确定性和敏感性说明。
先画每个人的轨迹和个人均值分布,再看偏离值是否有足够变异。若绝大多数人的功能使用从未改变,数据几乎不能回答人内问题;增加样本人数不能替代同一人内部缺乏变化。若只有两个波次,可描述个体变化,却难以辨认非线性、滞后和个人均值稳定性。
一段不会混淆层次的结果写法
可以写:“研究追踪 480 名用户 6 个月,共取得 2,360 次有效测量。模型同时纳入个人平均使用次数和每月相对个人均值的偏离,并控制日历月与产品版本。长期平均每多使用 1 次的用户,其平均满意度低 1.8 分;同一用户某月比自身平均多使用 1 次时,满意度高 0.6 分。两项均为观察关联:复杂任务和当月服务事件仍可能造成时间变化混杂,因此不解释为功能使用的因果效果。”实际发布还应给出区间、样本流、缺失处理、测量版本和模型敏感性。
问卷派可按波次收集固定口径的使用体验与满意度,并导出带研究标识、时间和版本的长表;是否能合法连接同一参与者、如何处理退出和采用哪种纵向模型仍由研究团队决定。波次变化来源可先用面板条件效应诊断核查,数据结构与标识设计参考调查数据库结构,因果声明边界则结合探索、描述与因果研究。
