From 33785f55e3416fbaae597cdd69f00966ee8a4640 Mon Sep 17 00:00:00 2001 From: scruel Date: Tue, 9 Jan 2018 15:16:42 +0800 Subject: [PATCH] add complexity of GD --- notes/week2.md | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/notes/week2.md b/notes/week2.md index b637e38..4b7635f 100644 --- a/notes/week2.md +++ b/notes/week2.md @@ -124,12 +124,12 @@ $\begin{aligned} & \text{repeat until convergence:} \; \lbrace \newline \; & \th 下表列出了正规方程法与梯度下降算法的对比 -| 条件 | 梯度下降 | 正规方程 | -| --------------- | ---- | ---------------------------------------- | -| 是否需要选取 $\alpha$ | 需要 | 不需要 | -| 是否需要迭代运算 | 需要 | 不需要 | -| 特征量大[^1]时 | 适用 | 不适用，$(X^TX)^{-1}$ 复杂度 $O\left( {{n}^{3}} \right)$ | -| 适用范围[^2] | 各类模型 | 只适用线性模型，且矩阵需可逆 | +| 条件 | 梯度下降 | 正规方程 | +| --------------- | ----------------------- | ---------------------------------------- | +| 是否需要选取 $\alpha$ | 需要 | 不需要 | +| 是否需要迭代运算 | 需要 | 不需要 | +| 特征量大[^1]时 | 适用，$O\left(kn^2\right)$ | 不适用，$(X^TX)^{-1}$ 复杂度 $O\left( {{n}^{3}} \right)$ | +| 适用范围[^2] | 各类模型 | 只适用线性模型，且矩阵需可逆 | [^1]: 一般来说，当 $n$ 超过 10000 时，对于正规方程而言，特征量较大。 [^2]: 梯度下降算法的普适性好，而对于特定的线性回归模型，正规方程是很好的替代品。