【最小二乘法公式】最小二乘法是一种用于数据拟合的数学方法，广泛应用于回归分析、曲线拟合和参数估计中。其核心思想是通过最小化观测值与模型预测值之间的平方误差总和，找到最佳拟合参数。下面将对最小二乘法的基本公式进行总结，并以表格形式展示不同情况下的应用。
一、基本原理
最小二乘法的目标是找到一组参数，使得模型预测值与实际观测值之间的误差平方和最小。设观测数据为 $(x_i, y_i)$，模型函数为 $y = f(x; \theta)$，其中 $\theta$ 是待求参数，则目标函数为：
$$
S(\theta) = \sum_{i=1}^{n}(y_i - f(x_i; \theta))^2
$$
通过求导并令导数为零，可以得到最优参数的解。
二、线性最小二乘法（一元线性回归）
假设模型为：
$$
y = a x + b
$$
根据最小二乘法，参数 $a$ 和 $b$ 的计算公式如下：
| 公式 | 表达式 |
| 参数 $a$ | $a = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}$ |
| 参数 $b$ | $b = \frac{\sum y_i - a \sum x_i}{n}$ |
其中，$n$ 为数据点个数。
三、多项式最小二乘法
对于多项式模型：
$$
y = a_0 + a_1 x + a_2 x^2 + \cdots + a_m x^m
$$
可以通过构建正规方程组来求解系数 $a_0, a_1, \ldots, a_m$。正规方程组为：
$$
\begin{bmatrix}
n & \sum x_i & \sum x_i^2 & \cdots & \sum x_i^m \\
\sum x_i & \sum x_i^2 & \sum x_i^3 & \cdots & \sum x_i^{m+1} \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\sum x_i^m & \sum x_i^{m+1} & \sum x_i^{m+2} & \cdots & \sum x_i^{2m}
\end{bmatrix}
\begin{bmatrix}
a_0 \\
a_1 \\
\vdots \\
a_m
\end{bmatrix}
=
\begin{bmatrix}
\sum y_i \\
\sum x_i y_i \\
\vdots \\
\sum x_i^m y_i
\end{bmatrix}
$$
四、非线性最小二乘法
对于非线性模型 $y = f(x; \theta)$，通常采用迭代方法（如高斯-牛顿法或Levenberg-Marquardt算法）求解参数 $\theta$。其基本步骤如下：
1. 初始猜测 $\theta_0$
2. 计算残差向量 $r_i = y_i - f(x_i; \theta)$
3. 构建雅可比矩阵 $J$，其中 $J_{ij} = \frac{\partial f(x_i; \theta)}{\partial \theta_j}$
4. 解正规方程：$(J^T J)\Delta \theta = -J^T r$
5. 更新 $\theta = \theta + \Delta \theta$
6. 重复步骤2至5，直到收敛
五、总结表格
| 情况 | 模型形式 | 公式类型 | 是否需要迭代 |
| 一元线性回归 | $y = ax + b$ | 线性 | 否 |
| 多项式拟合 | $y = a_0 + a_1 x + \cdots + a_m x^m$ | 线性 | 否 |
| 非线性拟合 | $y = f(x; \theta)$ | 非线性 | 是 |
| 加权最小二乘 | $y = f(x; \theta)$ | 线性/非线性 | 可能是 |
通过以上内容可以看出，最小二乘法在不同场景下有不同的应用方式，但其核心思想始终是通过最小化误差平方和来获得最优拟合结果。掌握这些公式有助于在实际问题中更准确地进行数据分析和建模。
