|
|
|
@@ -124,12 +124,12 @@ $\begin{aligned} & \text{repeat until convergence:} \; \lbrace \newline \; & \th |
|
|
|
|
|
|
|
下表列出了正规方程法与梯度下降算法的对比 |
|
|
|
|
|
|
|
| 条件 | 梯度下降 | 正规方程 | |
|
|
|
| --------------- | ---- | ---------------------------------------- | |
|
|
|
| 是否需要选取 $\alpha$ | 需要 | 不需要 | |
|
|
|
| 是否需要迭代运算 | 需要 | 不需要 | |
|
|
|
| 特征量大[^1]时 | 适用 | 不适用,$(X^TX)^{-1}$ 复杂度 $O\left( {{n}^{3}} \right)$ | |
|
|
|
| 适用范围[^2] | 各类模型 | 只适用线性模型,且矩阵需可逆 | |
|
|
|
| 条件 | 梯度下降 | 正规方程 | |
|
|
|
| --------------- | ----------------------- | ---------------------------------------- | |
|
|
|
| 是否需要选取 $\alpha$ | 需要 | 不需要 | |
|
|
|
| 是否需要迭代运算 | 需要 | 不需要 | |
|
|
|
| 特征量大[^1]时 | 适用,$O\left(kn^2\right)$ | 不适用,$(X^TX)^{-1}$ 复杂度 $O\left( {{n}^{3}} \right)$ | |
|
|
|
| 适用范围[^2] | 各类模型 | 只适用线性模型,且矩阵需可逆 | |
|
|
|
|
|
|
|
[^1]: 一般来说,当 $n$ 超过 10000 时,对于正规方程而言,特征量较大。 |
|
|
|
[^2]: 梯度下降算法的普适性好,而对于特定的线性回归模型,正规方程是很好的替代品。 |
|
|
|
|