Browse Source

add complexity of GD

fetches/wuliline/master
scruel 8 years ago
parent
commit
33785f55e3
1 changed files with 6 additions and 6 deletions
  1. +6
    -6
      notes/week2.md

+ 6
- 6
notes/week2.md View File

@@ -124,12 +124,12 @@ $\begin{aligned} & \text{repeat until convergence:} \; \lbrace \newline \; & \th

下表列出了正规方程法与梯度下降算法的对比

| 条件 | 梯度下降 | 正规方程 |
| --------------- | ---- | ---------------------------------------- |
| 是否需要选取 $\alpha$ | 需要 | 不需要 |
| 是否需要迭代运算 | 需要 | 不需要 |
| 特征量大[^1]时 | 适用 | 不适用,$(X^TX)^{-1}$ 复杂度 $O\left( {{n}^{3}} \right)$ |
| 适用范围[^2] | 各类模型 | 只适用线性模型,且矩阵需可逆 |
| 条件 | 梯度下降 | 正规方程 |
| --------------- | ----------------------- | ---------------------------------------- |
| 是否需要选取 $\alpha$ | 需要 | 不需要 |
| 是否需要迭代运算 | 需要 | 不需要 |
| 特征量大[^1]时 | 适用,$O\left(kn^2\right)$ | 不适用,$(X^TX)^{-1}$ 复杂度 $O\left( {{n}^{3}} \right)$ |
| 适用范围[^2] | 各类模型 | 只适用线性模型,且矩阵需可逆 |

[^1]: 一般来说,当 $n$ 超过 10000 时,对于正规方程而言,特征量较大。
[^2]: 梯度下降算法的普适性好,而对于特定的线性回归模型,正规方程是很好的替代品。


Loading…
Cancel
Save