01 1. 回归分析的定义与基本概念 本篇导读与核心速览 回归分析属于一种统计建模手段，其主要作用就是探究一个或者多个自变量（解释变量）同因变量（响应变量）之间的联系。其主要目的就是建立回归方程，用自变量已知的信息来预测或者解释因变量的变化。简单地说，回归分析就是研究“什么影响什么，影响有多大”。 相关工具
StatsX：专业在线 SPSS 数据分析平台
可选线性或逻辑回归，核对系数、p 值与拟合后再写回归结果。
打开 StatsX 回归分析的核心要素有：
自变量（Independent Variable）：也叫解释变量或者预测变量，是用来预测因变量变化的变量。在回归分析中，假定自变量的变动是造成因变量变动的原因。因变量（Dependent Variable）：也称为响应变量或者结果变量，是我们想要预测或者解释的变量。它是回归分析的目的。回归方程（Regression Equation）：描述自变量和因变量之间关系的数学表达式。在线性回归中一般用一条直线或者一个超平面来表示。残差（Residual）：实际观测值和回归方程预测值之间的差别。残差分析属于评价回归模型拟合好坏以及诊断模型问题的一种重要手段。 回归分析的本质就是用最小化残差来找到最好的回归方程。统计学家John Tukey认为残差图可以发现模型不能捕捉到的信号，残差分析对于模型诊断来说非常重要。
02 2. 回归分析的主要用途 回归分析的应用范围非常广，主要用途可以概括为以下四个方面
预测与预报 根据历史数据建立回归模型来预测未来数值。电商平台用历史销售数据建立回归模型来预测未来一周的销售额，进而改善库存管理。回归分析在预测领域中的应用价值在于，它可以量度出自变量对于因变量的影响，并且给出预测区间，给决策赋予量化的参照。
因果推断 探究变量之间的因果关系，即确定一个变量的变化是否以及如何引起另一个变量的变化。医学研究中用回归分析来评价某种药物剂量和患者血压下降的关系，进而推断药物的治疗效果。但是回归分析本身并不能直接证明因果关系，它只能揭示变量之间的相关性。严格的因果推断还要依靠实验设计或者专门的因果推断方法（工具变量法等）。
变量筛选 找出对因变量有显著影响的重要因素。企业在市场营销过程中会遇到各种各样的影响销量的因素，即广告投入、价格、促销活动、季节性等。利用回归分析可以找出对销量影响最大、统计上显著的因素，进而改善营销策略，把资源集中到最有效的地方。
趋势分析 找出数据中长期的趋势和模式。以金融领域为例，分析师可以用回归分析来研究股票价格和宏观经济指标（GDP增长率、利率等）之间的关系，进而发现市场长期趋势，为投资决策提供参考。回归分析应用场景中的趋势分析，一般要结合时间序列数据，还要考虑变量之间的滞后效应。
03 3. 常见的回归分析类型 回归分析不是单一的模型，而是一个包含许多方法的技术家族。了解不同的回归类型适用的场景，才能正确地使用回归分析。
回归类型因变量类型输出形式核心假设典型应用场景线性回归连续型数值预测线性关系、独立性、同方差性、正态性房价预测、销量预测逻辑回归二分类/多分类概率值对数几率线性、独立性客户流失预测、疾病诊断多项式回归连续型数值预测多项式关系（可转化为线性）生物生长曲线、非线性关系拟合岭回归连续型数值预测线性关系（通过L2正则化减小参数）高维数据、多重共线性严重Lasso回归连续型数值预测线性关系（通过L1正则化实现特征选择）特征选择、高维数据泊松回归计数型计数预测均值为方差事故次数、疾病发生次数分位数回归连续型条件分位数误差分布无需假设收入分布分析、风险度量Cox回归生存时间风险比比例风险假定医疗生存分析、产品寿命预测 常见回归分析类型分类图，展示线性回归、逻辑回归、多项式回归、岭回归等主要分支 根节点：回归分析一级分支：线性回归、逻辑回归、多项式回归、正则化回归、其他线性回归子分支：简单线性回归、多元线性回归逻辑回归子分支：二分类、多分类正则化子分支：岭回归、Lasso回归其他子分支：泊松回归、分位数回归、Cox回归
线性回归详解 线性回归属于回归分析中最基本、最常用的方法。其基本思想就是假定因变量和自变量之间存在线性关系，用最小二乘法来估计模型参数。
模型形式：
Y = β₀ + β₁X₁ + β₂X₂ + ... + βₚXₚ + ε
Y：因变量X₁, X₂, ..., Xₚ：自变量β₀：截距项β₁, β₂, ..., βₚ：回归系数，表示在其他自变量不变的情况下，对应自变量变化一个单位时，因变量的平均变化量ε：误差项，代表模型无法解释的随机偏差 最小二乘法是估计回归系数最常用的方法。其核心思想就是找到一组回归系数，使所有的观测点的真实值与模型预测值之间的残差平方和最小。从几何角度来说，就是找到一条直线（或者超平面），使所有的点到这条直线的垂直距离的平方和最小。从代数角度看，可以通过求解正规方程（XᵀX）β = XᵀY 来获得最小二乘解。
回归分析入门时，建议先掌握简单线性回归（只有一个自变量），这有助于理解核心概念。预测房价时可以先只考虑房屋面积这一个变量，建立模型Y=β₀+β₁*面积+ε。然后再加入卧室数量、房龄等变量，得到多元线性回归模型。
模型评估： 线性回归模型的评价指标主要有以下几种
评估指标含义取值范围使用说明R²（决定系数）表示模型解释的因变量变异程度0~1越接近1，模型拟合越好，但需注意过拟合调整R²对R²进行惩罚，考虑自变量个数0~1更适合多元回归，防止变量过多导致R²虚高F检验检验模型整体是否显著>0若p值小于0.05，说明至少有一个自变量对因变量有显著影响t检验检验单个回归系数是否显著>0若p值小于0.05，说明该自变量对因变量有显著影响残差分析诊断模型假设是否满足定性通过残差图检查是否存在异方差、非线性、异常值等问题 线性回归从数据收集到模型解释的完整流程图 数据收集