正如蝴蝶效应理论所描述的那样，即使是微小的变化也可能在系统中引发巨大的连锁反应，而我们作为设计师，往往需要在复杂的产品生态中，探寻那些微小变化与最终显著成果之间的关联。
本文旨在探讨在众多可能的改进中，哪些是可能有效提升核心业绩指标的？如何洞察并定位那些能够实质性提升关键指标的产品痛点和机会点并进行长期有效监测？从而使设计师们更好地理解设计决策与业务结果之间的复杂联系。
一、工具和方法的探索
1. 工具/方法的分析与选取
探索业务的改进措施与核心指标变化之间的关系，可以考虑以下几种数据分析方法
- 实验设计（A/B 测试）：A/B 测试是评估产品变更效果的经典方法。通过将用户随机分配到控制组和实验组，可以比较不同设计或策略变化对核心业务指标（如转化率、用户留存率等）的影响。这种方法可以直接观察到特定变更对业务指标的影响，有助于做出基于数据的决策。
- 回归分析：如果数据中包含多个变量可能影响业务指标，回归分析可以帮助识别和量化这些变量对目标变量（如 NPS）的影响。线性回归、逻辑回归或多元回归等技术可以用于此目的。
- 时间序列分析：如果业务指标随时间变化，时间序列分析可以帮助识别趋势、季节性模式或周期变化。这对于理解长期策略如何影响业务指标特别有用。
- 用户反馈和定性分析：除了定量分析，收集和分析用户反馈，对于理解设计改变如何影响用户满意度和 NPS 也很重要。可以通过用户访谈、焦点小组或调查来收集这些数据。
但是实施 A/B 测试需要一定的技术支持和资源，且当时研究并不关注数据随时间变化而产生的影响，因此选择回归分析，去利用已有的数据分析并量化多个变量之间的关系就较为适合。
2. 相关分析的定义
那什么是回归分析呢？回归分析的主要作用是用来评估变量间的关系，同时建立一个用于预测或解释变量之间关系的模型。例如，线性回归分析可以用来预测一个变量（因变量）如何随另一个变量（自变量）的变化而变化。
而回归分析是相关分析的一种，是相关分析的变形。其中相关分析是统计学中用于评估两个或多个变量之间关系强度和方向的方法。它不仅可以检测变量间的关系是否存在，还可以评估这种关系的强度。最常用的相关分析方法是皮尔逊相关系数，它测量的是两个变量之间的线性相关性。
3. 相关分析应用场景
在互联网产品和服务领域，相关分析和回归分析被广泛用于理解用户行为、优化产品功能、提高用户体验和驱动业务增长。如对用户参与度与留存率分析，可以分析用户参与度（如页面浏览次数、app 内活动频率）与用户留存率之间的关系。这有助于识别哪些特定的用户行为与高用户忠诚度相关联。对 APP 设计与转化率分析，探讨网站设计元素（如布局、颜色方案、导航简易性）与用户转化率（如注册、购买）之间的关系，分析网站各个设计元素如何共同影响转化率，以指导网站优化。 在市场营销领域，可以分析广告投放效果，通过研究广告曝光次数与点击率或转化率之间的关联性，帮助评估广告投放的有效性，也可以预测在不同用户群体、不同平台上的广告投放效果，以优化广告策略和预算分配等等。然而，需要注意的是，数据的质量和分析方法的正确应用对于得到有价值的洞见至关重要。
二、分析方法的应用与实践
相关分析和回归分析方法在数据分析中应用比较普遍，但如何将分析方法和产品行为数据相关联应用较少。所以一方面需要探索适用线上产品分析的思路与方法，另一方面也需要验证这样的思路和方法的可靠性。
于是我们先尝试把它应用到解决某业务上的问题，一是看方法是否能跑得通，也就是能不能通过方法本身的校验，二是看通过分析结果能不能洞察到合理的结论，三是看得到的结论实际应用到设计中，是否能带来如预期一样的效果。
本部分的分享重点是通过案例说明回归分析和相关分析方法的应用过程及结果。因为业务信息不方便详细介绍，以下部分指标、数据等已处理过，非真实情况。
1. 观点预设
首先我们需要明确目标，这些可能来自业务目标或者遇到的困难、设计目标或者遇到的困难等等。
比如我们做的某业务的核心目标是提升 NPS、留存、连接转化率等指标。为了提升 NPS，上线了提升信息真实性的功能，设计的目标是提升用户对信息真实性的感知。但是问题是，导致 NPS 波动的原因非常多，且很复杂，无论提升了信息真实性，还是提升了用户对信息真实性的感知，都不能说明 NPS 是否提升，也不能说明 NPS 提升和这些有关。
再如，为了提升连接转化率，我们在核心路径大类-列表-详情做了非常多的努力，这里面哪些是切实有效能够提升连接转化率的，我们一般通过 A/B 测来评定。但是有很多设计点的改动较为细微，且不是所有的功能或者设计都有机会通过严格控制变量来获得验证结果，并且功能和界面都是比较主观的，没有最好的，总会有更好的方案。所以一方面有很多设计点可能是有提升空间的，但是没有办法发现，另外一方面总会出现一些争议，比如为了提升连接转化率，要不要把看起来没什么用处的图片放到描述后面。
2. 分析方案策划
确定了目标，我们需要研究和预测不同变量之间的关系,为后续产品优化提供支持？所以选定了相关分析、一元线性回归、多元线性回归，三个方法都能达到我们想要的效果。通过线性回归能了解变量间量化的关系，预测未来的变化趋势，即自变量提升 1%能导致因变量多大的变化。这个也可以应用在产品营销策略、定价策略等场景。相关分析能获得的信息相对少一些，但是也能定性的了解到两个变量之间是否显著正相关。
我们试验了相关分析、一元线性回归、多元线性回归三个不同的分析方法，因为线上产品变量之间耦合比较严重，且在进行分析过程中发现部分自变量之间共线性严重且残差存在自相关，不符合线性回归的数据要求。所以最后采用了相关分析，这个结果和一元线性回归的结果是一样的，能普遍适用到所有场景，能得到的结论也比较多。
3. 数据采集
和用户调研能收集到单一用户所有维度的信息，所以采用用户维度的信息进行分析不同，线上产品很难收集到单个用户所有的行为数据，所以我们采用了聚合数据，采用同一段时间内不同天的核心数据和预设相关的用户行为数据。比如近 30 天每天的 NPS 和为了提升真实性的模块的展现率、点击率，近 30 天每天的连接率和连接相关模块的展现率、点击率。（但这有一个风险点在于，这中数据处理方式的前提是我们假设时间对变量是没有任何影响的）
4. 数据分析
在试算后选取了相关分析的方法，然后就用 SPSS 交叉分析各用户行为和核心数据的相关性。这里我们分析了用户行为和所有核心指标的相关性，因为某个用户行为可能和 A 指标显著正相关，但是和 B 指标显著负相关，这里如果只看其中某个方面，就会获得错误的结论，之后所做的事情也都会白费。
5. 洞察
分析相关得到的结果是否符合预期，针对不符合预期的部分，分析原因、列出优化 todo，符合预期的看能否有应用场景。比如前面提到为了提升 NPS 做的相关功能模块，有一个模块的点击率和 NPS 显著负相关，这不符合我们设计的初衷，于是我们发现这个模块确实有设计不合理的部分，造成用户对要传达的信息有误解，所以在修正错误的信息传达方式后，我们发现这个模块的点击率变成了和 NPS 不相关了，虽然距离我们希望的和 NPS 正相关的结果还有距离，还需要继续改进，但是我们改进了对 NPS 有负向影响的因素，近期 NPS 的提升就是由很多个类似这样的改动，积累起来的。
6. 上线验证
应用相关分析/回归分析结论，设计优化方案，推动上线，验证猜测，同时验证相关分析方法有效性。
还是以某业务的应用为例，列举几个应用场景。
①验证设计方案对核心指标提升的作用，改善副作用部分：比如发现某模块和 NPS 显著负相关，走查发现该模块确实有表意问题，在改进后该模块和 NPS 变为不相关，减少一个 NPS 的负向影响因子。
也可以制定体验优化优先级，优先优化使用量较高且对核心指标呈副作用的模块：比如 A 模块使用率较高，和 NPS 显著正相关，但是和收入指标显著负相关，B 模块使用率较低，和 NPS 显著负相关，我们综合以上信息，给体验优化的优先级排序就是优先 A 模块，其次是 B 模块。
②验证点击率较高的功能，对核心指标的作用，放大其正向作用：比如发现图片展现率、点击率和连接转化率显著正相关，对图片模块进行走查发现可以提高图片展示效果，在改进后连接转化率明显提升。
③验证设定的几个满意度指标，和 NPS 是否正相关，是否值得持续监控：比如在这之前的几个满意度指标是根据用户调研、产品经验等主观信息总结归纳出来的，在回归分析后发现各个满意度指标和 NPS 都是显著正相关的，也验证了观测满意度变化趋势能解释部分情况下 NPS 的变化。
④确定因变量的影响因子，预测为了达成因变量的目标值，需要自变量增长多少：比如为了提升业务的 NPS，通过回归分析得到多个 NPS 影响因子（用户行为）和 NPS 的公式，从而得知，为了提升 NPS10%，需要提升 NPS 影响因子，也就是引导 10%k1 用户多做出某个或某些行为。
7. 注意事项
①在策划环节，根据目标和业务、产品的实际情况，需要选择合适的分析方法。
②数据采集需要注意：
- 数据质量：相关分析和回归分析的结果受到数据质量的影响。互联网数据通常是大规模、高维度的，但其中可能存在缺失值、异常值、重复值等问题。这些问题会影响相关性和回归模型的准确性和可靠性。eg.因单个用户行为不全，采用每天的用户行为数据
- 数据量：样本数据需大于等于 30 组；实操因时间太长可能会因业务改版波动较大
- 偏差问题：在互联网中，数据收集和采样的方式可能存在偏差。例如，用户行为数据可能受到用户自身行为偏好和行为模式的影响，导致相关性和回归模型的结果存在偏差。因此，在分析和解释结果时，需要考虑潜在的偏差问题。
③数据分析环节：在回归分析中，多个自变量之间可能存在高度相关性，即多重共线性。这会导致回归系数估计不准确，难以解释自变量对因变量的独立贡献。
④洞察环节：
因果关系：相关分析只能描述变量之间的关系，不能确定因果关系。在互联网中，变量之间的相关性可能是由于其他未观察到的因素所引起的。因此，在进行相关分析时，需要谨慎解释结果，避免将相关性误解为因果关系。
洞察与解释：我们在洞察的时候需要结合常识、经验去理解、解释分析的结果和上线验证的结果；同时也需要考虑互联网产品的特殊性，如页面层级结构关系等，可能会影响对结论的理解。
⑤所有数据分析仅是作为一种参考，不能迷信，最后确定的产品优化仍需结合实际情况综合看待。
三、未来展望
当然现有采用的研究方法还有很多不足，在数据层面上，我们可以结合用户反馈、访谈或案例研究，去提供定性的洞见，帮助理解数据背后的用户行为和偏好，同时收集更多元化的数据，包括不同用户群体、不同市场环境的数据，可以帮助验证研究结果的普适性；在机制层面，建立动态跟踪机制，持续监测改进措施对核心指标的影响，以便及时调整策略。
希望未来通过这些方法的应用和结合，可以更全面、深入地理解业务改进措施与核心指标之间的关系，从而为制定有效的业务策略提供更强的数据支持。
作者：58UXD
