回归分析的基本概念
-
回归分析的定义
- 研究因变量（Y）与一个或多个自变量（X）之间关系的统计方法。
- 主要用于预测和解释变量间的依赖关系。
-
回归模型的分类
- 简单线性回归：仅包含一个自变量（Y = β₀ + β₁X + ε）。
- 多元线性回归：包含多个自变量（Y = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ + ε）。
- 非线性回归：变量间关系不符合线性假设（如多项式回归、指数回归）。
-
回归模型的假设
线性关系、误差项独立同分布（i.i.d.）、误差项均值为0、同方差性（Homoscedasticity）、无多重共线性（适用于多元回归）。
回归模型的参数估计
-
最小二乘法（OLS）
- 通过最小化残差平方和（RSS）估计回归系数。
- 公式：
[ \hat{\beta} = (X^T X)^{-1} X^T Y ]
-
回归系数的解释
- β₀（截距项）：当所有自变量为0时，因变量的期望值。
- β₁（斜率）：自变量每增加1单位，因变量的平均变化量。
-
拟合优度评估
- R²（决定系数）：解释回归模型对数据的拟合程度（0 ≤ R² ≤ 1）。
- 调整R²：考虑变量数量影响，防止过拟合。
- F检验：检验整体回归模型的显著性。
回归模型的检验与诊断
-
回归系数的显著性检验（t检验）
- 检验单个回归系数是否显著不为0。
- 假设：H₀: β = 0 vs. H₁: β ≠ 0。
-
残差分析
- 正态性检验（Q-Q图、Shapiro-Wilk检验）。
- 异方差检验（Breusch-Pagan检验、White检验）。
- 自相关检验（Durbin-Watson检验）。
-
多重共线性诊断
- 方差膨胀因子（VIF）：VIF > 10 表示严重共线性。
- 相关系数矩阵：检查自变量间的相关性。
回归分析的实际应用与常见问题
-
变量选择方法
- 逐步回归（前向选择、后向剔除）。
- Lasso回归（L1正则化）：适用于变量筛选。
- 岭回归（L2正则化）：适用于共线性数据。
-
异常值处理
- Cook距离：检测强影响点。
- 稳健回归（如Huber回归、RANSAC）。
-
模型优化与验证
- 交叉验证（K-Fold CV）：评估模型泛化能力。
- AIC/BIC准则：比较不同模型的优劣。
考试常见题型与解题技巧
-
计算题
- 计算回归系数、R²、置信区间等。
- 示例：给定数据，求OLS估计值并解释系数。
-
理论题
- 解释回归假设、检验方法、模型选择标准。
- 示例：为什么需要检验异方差？如何解决？
-
案例分析题
- 根据数据集建立回归模型，进行诊断和优化。
- 示例：某公司销售额预测，如何选择变量并优化模型？
学习资源推荐
-
经典教材
- 《计量经济学导论》伍德里奇
- 《应用回归分析》王燕
-
在线课程
- Coursera《Regression Models》
- 吴恩达《机器学习》（回归部分）
-
数据分析工具
- Python（statsmodels、scikit-learn）
- R（lm()、glm()函数）
回归分析是数据科学和统计学的核心技能，掌握其基本理论、参数估计、假设检验及模型优化方法至关重要，考试时需重点理解概念、熟练计算，并能够结合实际案例进行分析。
引用说明：本文参考了伍德里奇《计量经济学导论》、王燕《应用回归分析》等教材,并结合常见考试题型整理而成。
