|
|
|
@@ -89,7 +89,7 @@ $$ |
|
|
|
- 不易选取阈值 |
|
|
|
- 损失函数近乎直线时无法确定收敛情况 |
|
|
|
|
|
|
|
对于梯度下降，一般采用多次迭代收敛法来得出最小化损失函数的参数值，自动化测试收敛法（如设定 $J\left(\theta\right) < {10}^{-3}$ 为阈值）则几乎不会被使用。 |
|
|
|
对于梯度下降，一般采用多次迭代收敛法来得出最小化损失函数的参数值，自动化测试收敛法（如设定 $J\left(\theta\right) < {10}^{-3}$ 时判定收敛）则几乎不会被使用。 |
|
|
|
|
|
|
|
我们可以通过绘制**损失函数关于迭代次数的图像**，可视化梯度下降的执行过程，借助直观的图形来发现损失函数趋向于多少时能趋于收敛，依据图像变化情况，确定诸如学习速率的取值，迭代次数的大小等问题。 |
|
|
|
|
|
|
|
@@ -115,13 +115,13 @@ $$ |
|
|
|
|
|
|
|
 |
|
|
|
|
|
|
|
在使用多项式回归时，要记住非常有必要进行特征缩放，比如 $x_1$ 的范围为 1-1000，那么 $x_1^2$ 的范围则为 1- 1000000。 |
|
|
|
在使用多项式回归时，要记住非常有必要进行特征缩放，比如 $x_1$ 的范围为 1-1000，那么 $x_1^2$ 的范围则为 1- 1000000，不适用特征缩放的话，范围更有不一致，也更易影响效率。 |
|
|
|
|
|
|
|
## 4.6 正规方程(Normal Equation) |
|
|
|
|
|
|
|
对于一些线性回归问题来说，正规方程法给出了一个更好的解决问题的方式。 |
|
|
|
|
|
|
|
正规方程法，即令 $\frac{\partial}{\partial{\theta_{j}}}J\left( {\theta_{j}} \right)=0$ ，通过解析函数的方式直接计算得出参数向量的值 $\theta ={{\left( {X^T}X \right)}^{-1}}{X^{T}}y$ ，Octave 中为 `theta = inv(X'*X)*X'*y`。 |
|
|
|
正规方程法，即令 $\frac{\partial}{\partial{\theta_{j}}}J\left( {\theta_{j}} \right)=0$ ，通过解析函数的方式直接计算得出参数向量的值 $\theta ={{\left( {X^T}X \right)}^{-1}}{X^{T}}y$ ，Octave 中代码为 `theta = inv(X'*X)*X'*y`。 |
|
|
|
|
|
|
|
> ${X}^{-1}$: 矩阵 $X$ 的逆，在 Octave 中，`inv` 函数用于计算矩阵的逆，类似的还有 `pinv` 函数。 |
|
|
|
|
|
|
|
|
scruel