一元线性回归模型与最小二乘法

1. 数学模型

$\{\begin{array}{l}Y=a+bx+ϵ\\ ϵ\sim N(0,{\sigma }^2)\end{array}$

• $x$：自变量（确定性变量）。
• $Y$：因变量（随机变量）。
• $a,b$：回归系数（待估参数）。
• $ϵ$：随机误差，满足独立、同分布、正态。

2. 最小二乘法 (Least Squares Estimation)

核心思想：寻找估计值 $\hat{a},\hat{b}$，使得观测值 $y_i$ 与回归值 ${\hat{y}}_i$ 的残差平方和最小。 $Q(a,b)={\sum }_{i=1}^n(y_i-a-b{x}_i{)}^2\to \min$

计算公式 (背诵区)

为了简化记忆，引入记号：

• $L_{xx}=\sum (x_i-\bar{x}{)}^2=\sum x_i^2-n{\bar{x}}^2$
• $L_{yy}=\sum (y_i-\bar{y}{)}^2=\sum y_i^2-n{\bar{y}}^2$
• $L_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y})=\sum x_i{y}_i-n\bar{x}\bar{y}$

估计量公式：

1. 斜率：$\hat{b}=\frac{L_{xy}}{L_{xx}}$
2. 截距：$\hat{a}=\bar{y}-\hat{b}\bar{x}$

   记忆技巧：回归直线一定经过样本中心 $(\bar{x},\bar{y})$。

3. 经验回归方程

$\hat{y}=\hat{a}+\hat{b}x$