直接结论：统计显著性回答“在指定模型和零差异假设下，这组数据有多不相容”；效应量回答“观察到的差异有多大”；置信区间回答“在同一模型下，哪些差异大小仍与数据较相容”。三者都不直接回答“要不要上线”。决策还需要在看结果前定义最小有意义差异，结合成本、风险、样本代表性、测量误差和因果设计。大样本可以让无关紧要的小差异高度显著，小样本也可以让值得重视的大差异仍不确定。
p 值不是结论为真的概率
假设零假设为“A、B 两版在目标总体中的完成率完全相同”，p 值是在这一假设及抽样模型等条件成立时，得到当前或更极端数据的概率。它不是“零假设成立的概率”，也不是“结果由随机造成的概率”，更不是下一次研究复现的概率。p＝0.049与p＝0.051的证据强度非常接近，不能因为跨过0.05就把前者写成“有效”、后者写成“无效”。
p 值依赖完整模型：独立性、抽样或分配方式、变量编码、方差估计和预先指定的分析都可能影响它。问卷来自配额样本、聚类投放或带权样本时，按简单随机样本计算会给出错误标准误。题目引导、无应答偏差或数据清洗选择属于系统误差，增加样本量可以缩小抽样波动，却不会自动修复这些偏差。
算例一：20 万人把 1 个百分点变得非常显著
某登录流程实验中，A、B 两组各有100000名随机分配用户。A完成率75%，B为76%，绝对差为1个百分点，相对提升为（76%－75%）÷75%≈1.33%。按两组独立比例的常用大样本近似，差值标准误为√[75%×25%÷100000＋76%×24%÷100000]≈0.192个百分点，95%区间为1±1.96×0.192，即约0.62至1.38个百分点；z≈5.20，双侧p小于0.000001。
这组数据对“零差异”非常不相容，方向也很清楚，但不表示1个百分点足够重要。若团队事先规定只有提升至少3个百分点才值得承担迁移成本和潜在风险，那么整个区间都低于3个百分点：结果在统计上清晰，却没有达到预定业务门槛。若每天有千万次登录，1个百分点可能仍有巨大绝对价值；这说明重要性来自业务量级与损益，不来自p值标签。
算例二：500 人出现 8 个百分点，但方向仍不精确
另一项概念测试中，A、B 两组各250人，购买考虑率分别为50%与58%，绝对差8个百分点，相对提升16%。差值标准误约为√[50%×50%÷250＋58%×42%÷250]＝4.44个百分点，95%区间约为8±1.96×4.44，即－0.7至16.7个百分点，z≈1.80，双侧p约0.07。
把它写成“没有效果”是不对的：当前数据同时兼容轻微反向、低于3个百分点的无关紧要差异，也兼容很大的正向差异。正确决策可能是继续收集预先规划的新样本、检查关键人群与测量质量，而不是宣布胜负。与第一例对照可见，效应点估计更大不等于证据更精确，显著性更强也不等于效应更重要。
怎样读置信区间而不是只看是否跨零
频率学派95%置信区间的严格含义是：若按同一设计反复抽样并每次用同一方法构造区间，长期约95%的区间会覆盖真实参数。对已经计算出的这一个区间，不应简化为“真实值有95%概率落在其中”。更实用的阅读方式是把区间与零差异和业务门槛同时画在同一轴上，观察数据仍兼容哪些后果。
设最小有意义差异为±3个百分点，可以形成四种决策状态。区间完全落在－3至＋3之间，表示结果足够精确地接近无关紧要范围；区间跨零并越过＋3或－3，表示方向与重要性都不确定；区间排除零却仍跨过3，表示方向较清楚但是否值得行动仍不确定；区间完全位于＋3以上，才支持“正向且达到预设门槛”。这比“显著/不显著”二元着色保留了更多决策信息。
优先报告可解释的原尺度效应
比例题先报告百分比点差，再补相对比率；均值题先报告原量表分差；时间题可报告中位数差或适合分布的比率。标准化均值差、相关系数或优势比在跨量表比较和模型分析中有用，但读者不一定能直接映射到业务后果。所谓“小、中、大”的经验界线不能跨领域机械套用，同样0.4个标准差在安全事件、品牌态度和内部流程中的含义可能完全不同。
效应量也需要区间。B比A高8个百分点只是样本中的点估计，－0.7至16.7才展示当前精度。相对提升还会受基线影响：从1%升到2%是100%相对提升，却只有1个百分点绝对差；从50%升到55%只有10%相对提升，却是5个百分点绝对差。报告时并列绝对与相对尺度，可以减少夸张表述。
不显著不能证明相同
若研究目标是证明两个版本差异小到可以视为等效，应事先定义可接受区间并进行等效检验；若目标是证明新方案不比旧方案差超过某个程度，应采用非劣设计。普通检验未拒绝零差异，可能只是样本不足或测量噪声大。第二个算例的区间宽达17.4个百分点，显然无法支持“两个方案一样”。
同样，显著结果也不能证明因果。随机分配且执行良好的实验可以使差异更接近处理效应；横截面问卷中“高频用户更满意”可能来自选择、反向关系或共同原因。检验只量化特定估计量的随机不确定性，不会把相关关系升级为因果关系。
多重比较会制造可挑选的星号
如果在没有真实差异且各检验独立的简化情形下做20项检验，每项都用5%阈值，至少出现一项假阳性的概率为1－0.95²⁰≈64.2%，远高于5%。实际指标常有关联，数值会变化，但事后浏览几十个切片再只汇报最小p值，仍会夸大证据。应预先指定主要指标、比较与方向；探索项明确标记，并根据问题控制家族错误率或错误发现率，再用新样本验证。
选择性清洗、重复尝试不同分组、看到结果后改单侧检验，也属于分析自由度。分析计划、代码版本和全部主要结果应保留，即使结果不显著。透明报告不是附加美德，而是读者判断p值含义的前提。
从数据到行动的五栏判断表
每个主要结果用五栏即可完成决策：点估计；95%区间；最小有意义差异；主要成本与风险；下一步。第一例可记录“＋1.0个百分点，0.62至1.38，门槛＋3，迁移成本高，不上线”；第二例记录“＋8.0，－0.7至16.7，门槛＋3，方向不确定，按预定设计扩样”。若行动可逆、成本很低，即使证据较弱也可能值得小范围试行；若涉及医疗、金融或安全，通常需要更强设计、外部验证和领域审查。
计算前可先确定调查分析计划和样本量，用问卷结果置信区间检查精度，并通过交叉分析识别人群构成与多重比较风险。最终报告应把“观察到什么、仍兼容什么、达到什么门槛才行动”写在一起，而不是让一个星号承担全部解释。