diff --git a/README.md b/README.md index 60c530b..020aed0 100644 --- a/README.md +++ b/README.md @@ -15,8 +15,6 @@ https://www.coursera.org/learn/machine-learning 2. 所有课后作业(assignments)都已提交并通过 Coursera 编程测验。仅供参考，请勿抄袭。 -[我(kechi)的知乎笔记文案](https://zhuanlan.zhihu.com/p/32781741) - For Andrew Ng's machine learning course on Coursera. Including assignments and notes, notes are WIP. @@ -58,6 +56,10 @@ You can read it by Typora or any other similar markdown editor. ## License +[本(ke)人(chi)的知乎笔记文案](https://zhuanlan.zhihu.com/p/32781741) + + + [![Creative Commons License](https://i.creativecommons.org/l/by-nc/4.0/88x31.png)][3] This work is licensed under a [Creative Commons Attribution-NonCommercial 4.0 International License][3]. diff --git a/image/20141213201613758.jpg b/image/20141213201613758.jpg new file mode 100644 index 0000000..6d95cb0 Binary files /dev/null and b/image/20141213201613758.jpg differ diff --git a/image/20180116_001543.png b/image/20180116_001543.png new file mode 100644 index 0000000..2eeda0f Binary files /dev/null and b/image/20180116_001543.png differ diff --git a/image/20180116_105545.png b/image/20180116_105545.png new file mode 100644 index 0000000..3fa3efe Binary files /dev/null and b/image/20180116_105545.png differ diff --git a/week2.html b/week2.html index 88b29c5..43d709b 100644 --- a/week2.html +++ b/week2.html @@ -220,8 +220,8 @@ header, .context-menu, .megamenu-content, footer { font-family: "Segoe UI", Aria -

4 多变量线性回归(Linear Regression with Multiple Variables)4.1 多特征(Multiple Features)4.2 多变量梯度下降(Gradient Descent for Multiple Variables)4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)4.5 特征和多项式回归(Features and Polynomial Regression)4.6 正规方程(Normal Equation)4.7 不可逆性正规方程(Normal Equation Noninvertibility)5 Octave/Matlab Tutorial5.1 Basic Operations5.2 Moving Data Around5.3 Computing on Data5.4 Plotting Data5.5 Control Statements: for, while, if statement5.6 向量化(Vectorization)5.x 常用函数整理

4 多变量线性回归(Linear Regression with Multiple Variables)

4.1 多特征(Multiple Features)

对于一个要度量的对象，一般来说会有不同维度的多个特征。比如之前的房屋价格预测例子中，除了房屋的面积大小，可能还有房屋的年限、房屋的层数等等其他特征：

这里由于特征不再只有一个，引入一些新的记号

: 特征的总数

: 代表样本矩阵中第 行，也就是第 个训练实例。

: 代表样本矩阵中第 行的第 列，也就是第 个训练实例的第 个特征。

参照上图，则有

多变量假设函数 表示为：

对于 ，和单特征中一样，我们将其看作基础数值。例如，房价的基础价格。

参数向量的维度为 ，在特征向量中添加 后，其维度也变为 ， 则运用线性代数，可简化 ：

: 矩阵的转置

: 某个样本的特征向量， 维特征量向量

: 为了计算方便我们会假设

注：该部分记号较多，记不住可随时回顾！

 

4.2 多变量梯度下降(Gradient Descent for Multiple Variables)

多变量损失函数类似于单变量损失函数，

即 ，其中 。

前文提到梯度下降对于最小化损失函数的通用性，则多变量梯度下降公式即

解出偏导得：

可展开为：

当然，同单变量梯度下降一样，计算时需要同时更新所有参数。

，则得到同时更新参数的向量化(Vectorization)实现：

: 训练集数据， 维矩阵（包含额外特征 ）

4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)

在应用梯度下降算法实践时，由于各特征值的范围不一，可能会影响损失函数收敛速度。

以房价预测问题为例，这里选取房屋面积大小和房间数量这两个特征。

下图中，左图是以原始数据绘制的损失函数轮廓图，右图为采用特征缩放（都除以最大值）后图像。左图中呈现的图像较扁，相对于使用特征缩放方法的右图，梯度下降算法需要更多次的迭代。

 

为了优化梯度下降的收敛速度，采用特征缩放的技巧，使各特征值的范围尽量一致。

除了以上图人工选择并除以一个参数的方式，均值归一化(Mean normalization)方法更为便捷，可采用它来对所有特征值统一缩放：

使得

对于特征的范围，并不一定需要使得 ，类似于 等也是可取的，而诸如 ，，就显得过大/过小了。

另外注意，一旦采用特征缩放，我们就需对所有的输入采用特征缩放，包括训练集、测试集、预测输入等。

4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)

通常，有两种方法来确定函数是否收敛

对于梯度下降，一般采用多次迭代收敛法来得出最小化损失函数的参数值，自动化测试收敛法（如设定 时判定收敛）则几乎不会被使用。

我们可以通过绘制损失函数关于迭代次数的图像，可视化梯度下降的执行过程，借助直观的图形来发现损失函数趋向于多少时能趋于收敛，依据图像变化情况，确定诸如学习速率的取值，迭代次数的大小等问题。

对于学习速率 ，一般上图展现的为适中情况，下图中，左图可能表明 过大，损失函数无法收敛，右图可能表明 过小，损失函数收敛的太慢。当然， 足够小时，损失函数在每轮迭代后一定会减少。

通过不断改变 值，绘制并观察图像，并以此来确定合适的学习速率。 尝试时可取 如

4.5 特征和多项式回归(Features and Polynomial Regression)

在特征选取时，我们也可以自己归纳总结，定义一个新的特征，用来取代或拆分旧的一个或多个特征。比如，对于房屋面积特征来说，我们可以将其拆分为长度和宽度两个特征，反之，我们也可以合并长度和宽度这两个特征为面积这一个特征。

线性回归只能以直线来对数据进行拟合，有时候需要使用曲线来对数据进行拟合，即多项式回归(Polynomial Regression)。

比如一个二次方模型：

或者三次方模型：

或者平方根模型：

在使用多项式回归时，要记住非常有必要进行特征缩放，比如 的范围为 1-1000，那么 的范围则为 1- 1000000，不适用特征缩放的话，范围更有不一致，也更易影响效率。

4.6 正规方程(Normal Equation)

对于一些线性回归问题来说，正规方程法给出了一个更好的解决问题的方式。

正规方程法，即令 ，通过解析函数的方式直接计算得出参数向量的值 ，Octave/Matlab 代码： theta = inv(X'*X)*X'*y。

: 矩阵 的逆，在 Octave 中，inv 函数用于计算矩阵的逆，类似的还有 pinv 函数。

X': 表示矩阵 X 的转置

下表列出了正规方程法与梯度下降算法的对比

条件梯度下降正规方程
是否需要选取 需要不需要
是否需要迭代运算需要不需要
特征量大1时适用，不适用， 复杂度
适用范围2各类模型只适用线性模型，且矩阵需可逆

正规方程法的推导过程：

​

展开上式可得

​

注意到 与 都为标量，实际上是等价的，则

​

接下来对 求偏导，根据矩阵的求导法则:

​

​

所以有:

​

​

令, 则有

4.7 不可逆性正规方程(Normal Equation Noninvertibility)

（本部分内容为选讲）

正规方程无法应用于不可逆的矩阵，发生这种问题的概率很小，通常由于

如果发现 的结果不可逆，可尝试：

对于这类不可逆的矩阵，我们称之为奇异矩阵或退化矩阵。

这种情况下，如果还想使用正规方程法，在Octave中，可以选用 pinv 函数，pinv 区别于 inv，pinv 函数被称为伪逆函数，在矩阵不可逆的时候，使用这个函数仍可正确地计算出 的值。

5 Octave/Matlab Tutorial

复习时可直接倍速回顾视频，笔记整理暂留。

5.1 Basic Operations

5.2 Moving Data Around

5.3 Computing on Data

5.4 Plotting Data

5.5 Control Statements: for, while, if statement

5.6 向量化(Vectorization)

5.x 常用函数整理

-
1 一般来说，当 超过 10000 时，对于正规方程而言，特征量较大。↩
+

4 多变量线性回归(Linear Regression with Multiple Variables)4.1 多特征(Multiple Features)4.2 多变量梯度下降(Gradient Descent for Multiple Variables)4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)4.5 特征和多项式回归(Features and Polynomial Regression)4.6 正规方程(Normal Equation)4.7 不可逆性正规方程(Normal Equation Noninvertibility)5 Octave/Matlab Tutorial5.1 Basic Operations5.2 Moving Data Around5.3 Computing on Data5.4 Plotting Data5.5 Control Statements: for, while, if statement5.6 向量化(Vectorization)5.x 常用函数整理

4 多变量线性回归(Linear Regression with Multiple Variables)

4.1 多特征(Multiple Features)

对于一个要度量的对象，一般来说会有不同维度的多个特征。比如之前的房屋价格预测例子中，除了房屋的面积大小，可能还有房屋的年限、房屋的层数等等其他特征：

这里由于特征不再只有一个，引入一些新的记号

: 特征的总数

: 代表样本矩阵中第 行，也就是第 个训练实例。

: 代表样本矩阵中第 行的第 列，也就是第 个训练实例的第 个特征。

参照上图，则有

多变量假设函数 表示为：

对于 ，和单特征中一样，我们将其看作基础数值。例如，房价的基础价格。

参数向量的维度为 ，在特征向量中添加 后，其维度也变为 ， 则运用线性代数，可简化 ：

: 矩阵的转置

: 某个样本的特征向量， 维特征量向量

: 为了计算方便我们会假设

注：该部分记号较多，记不住可随时回顾！

 

4.2 多变量梯度下降(Gradient Descent for Multiple Variables)

多变量损失函数类似于单变量损失函数，

即 ，其中 。

前文提到梯度下降对于最小化损失函数的通用性，则多变量梯度下降公式即

解出偏导得：

可展开为：

当然，同单变量梯度下降一样，计算时需要同时更新所有参数。

，则得到同时更新参数的向量化(Vectorization)实现：

: 训练集数据， 维矩阵（包含额外特征 ）

4.3 梯度下降实践1-特征值缩放(Gradient Descent in Practice I - Feature Scaling)

在应用梯度下降算法实践时，由于各特征值的范围不一，可能会影响损失函数收敛速度。

以房价预测问题为例，这里选取房屋面积大小和房间数量这两个特征。

下图中，左图是以原始数据绘制的损失函数轮廓图，右图为采用特征缩放（都除以最大值）后图像。左图中呈现的图像较扁，相对于使用特征缩放方法的右图，梯度下降算法需要更多次的迭代。

 

为了优化梯度下降的收敛速度，采用特征缩放的技巧，使各特征值的范围尽量一致。

除了以上图人工选择并除以一个参数的方式，均值归一化(Mean normalization)方法更为便捷，可采用它来对所有特征值统一缩放：

使得

对于特征的范围，并不一定需要使得 ，类似于 等也是可取的，而诸如 ，，就显得过大/过小了。

另外注意，一旦采用特征缩放，我们就需对所有的输入采用特征缩放，包括训练集、测试集、预测输入等。

4.4 梯度下降实践2-学习速率(Gradient Descent in Practice II - Learning Rate)

通常，有两种方法来确定函数是否收敛

  • 多次迭代收敛法

    • 无法确定需要多少次迭代
    • 较易绘制关于迭代次数的图像
    • 根据图像易预测所需的迭代次数

  • 自动化测试收敛法（比较阈值）

    • 不易选取阈值
    • 损失函数近乎直线时无法确定收敛情况

对于梯度下降，一般采用多次迭代收敛法来得出最小化损失函数的参数值，自动化测试收敛法（如设定 时判定收敛）则几乎不会被使用。

我们可以通过绘制损失函数关于迭代次数的图像，可视化梯度下降的执行过程，借助直观的图形来发现损失函数趋向于多少时能趋于收敛，依据图像变化情况，确定诸如学习速率的取值，迭代次数的大小等问题。

对于学习速率 ，一般上图展现的为适中情况，下图中，左图可能表明 过大，损失函数无法收敛，右图可能表明 过小，损失函数收敛的太慢。当然， 足够小时，损失函数在每轮迭代后一定会减少。

通过不断改变 值，绘制并观察图像，并以此来确定合适的学习速率。 尝试时可取 如

4.5 特征和多项式回归(Features and Polynomial Regression)

在特征选取时，我们也可以自己归纳总结，定义一个新的特征，用来取代或拆分旧的一个或多个特征。比如，对于房屋面积特征来说，我们可以将其拆分为长度和宽度两个特征，反之，我们也可以合并长度和宽度这两个特征为面积这一个特征。

线性回归只能以直线来对数据进行拟合，有时候需要使用曲线来对数据进行拟合，即多项式回归(Polynomial Regression)。

比如一个二次方模型：

或者三次方模型：

或者平方根模型：

在使用多项式回归时，要记住非常有必要进行特征缩放，比如 的范围为 1-1000，那么 的范围则为 1- 1000000，不适用特征缩放的话，范围更有不一致，也更易影响效率。

4.6 正规方程(Normal Equation)

对于一些线性回归问题来说，正规方程法给出了一个更好的解决问题的方式。

正规方程法，即令 ，通过解析函数的方式直接计算得出参数向量的值 ，Octave/Matlab 代码： theta = inv(X'*X)*X'*y。

: 矩阵 的逆，在 Octave 中，inv 函数用于计算矩阵的逆，类似的还有 pinv 函数。

X': 在 Octave 中表示矩阵 X 的转置，即

下表列出了正规方程法与梯度下降算法的对比

条件梯度下降正规方程
是否需要选取 需要不需要
是否需要迭代运算需要不需要
特征量大1时适用，不适用， 复杂度
适用范围2各类模型只适用线性模型，且矩阵需可逆

正规方程法的推导过程：

展开上式可得

注意到 与 都为标量，实际上是等价的，则

接下来对 求偏导，根据矩阵的求导法则:

所以有:

令, 则有

4.7 不可逆性正规方程(Normal Equation Noninvertibility)

（本部分内容为选讲）

正规方程无法应用于不可逆的矩阵，发生这种问题的概率很小，通常由于

  • 特征之间线性相关

    比如同时包含英寸的尺寸和米为单位的尺寸两个特征，它们是线性相关的

    即 。

  • 特征数量大于训练集的数量。

如果发现 的结果不可逆，可尝试：

  • 减少多余/重复特征
  • 增加训练集数量
  • 使用正则化（后文）

对于这类不可逆的矩阵，我们称之为奇异矩阵或退化矩阵。

这种情况下，如果还想使用正规方程法，在Octave中，可以选用 pinv 函数，pinv 区别于 inv，pinv 函数被称为伪逆函数，在矩阵不可逆的时候，使用这个函数仍可正确地计算出 的值。

5 Octave/Matlab Tutorial

复习时可直接倍速回顾视频，笔记整理暂留。

5.1 Basic Operations

5.2 Moving Data Around

5.3 Computing on Data

5.4 Plotting Data

5.5 Control Statements: for, while, if statement

5.6 向量化(Vectorization)

5.x 常用函数整理

+
1 一般来说，当 超过 10000 时，对于正规方程而言，特征量较大。↩
2 梯度下降算法的普适性好，而对于特定的线性回归模型，正规方程是很好的替代品。↩
\ No newline at end of file diff --git a/week2.md b/week2.md index 9795d38..2445adb 100644 --- a/week2.md +++ b/week2.md @@ -133,7 +133,7 @@ $$ > ${X}^{-1}$: 矩阵 $X$ 的逆，在 Octave 中，`inv` 函数用于计算矩阵的逆，类似的还有 `pinv` 函数。 > -> `X'`: 表示矩阵 X 的转置 +> `X'`: 在 Octave 中表示矩阵 X 的转置，即 $X^T$ 下表列出了正规方程法与梯度下降算法的对比 @@ -149,30 +149,28 @@ $$ **正规方程法的推导过程**： -​ $\begin{aligned} & J\left( \theta \right)=\frac{1}{2m}\sum\limits_{i=1}^{m}{{{\left( {h_{\theta}}\left( {x^{(i)}} \right)-{y^{(i)}} \right)}^{2}}}\newline \; & =\frac{1}{2m}||X\theta-y||^2 \newline \; & =\frac{1}{2m}(X\theta-y)^T(X\theta-y) &\newline \end{aligned}$ +$\begin{aligned} & J\left( \theta \right)=\frac{1}{2m}\sum\limits_{i=1}^{m}{{{\left( {h_{\theta}}\left( {x^{(i)}} \right)-{y^{(i)}} \right)}^{2}}}\newline \; & =\frac{1}{2m}||X\theta-y||^2 \newline \; & =\frac{1}{2m}(X\theta-y)^T(X\theta-y) &\newline \end{aligned}$ 展开上式可得 -​ $J(\theta )= \frac{1}{2m}\left( {{\theta }^{T}}{{X}^{T}}X\theta -{{\theta}^{T}}{{X}^{T}}y-{{y}^{T}}X\theta + {{y}^{T}}y \right)$ +$J(\theta )= \frac{1}{2m}\left( {{\theta }^{T}}{{X}^{T}}X\theta -{{\theta}^{T}}{{X}^{T}}y-{{y}^{T}}X\theta + {{y}^{T}}y \right)$ 注意到 ${{\theta}^{T}}{{X}^{T}}y$ 与 ${{y}^{T}}X\theta$ 都为标量，实际上是等价的，则 -​ $J(\theta) = \frac{1}{2m}[X^TX\theta-2\theta^TX^Ty+y^Ty]$ +$J(\theta) = \frac{1}{2m}[X^TX\theta-2\theta^TX^Ty+y^Ty]$ 接下来对$J(\theta )$ 求偏导，根据矩阵的求导法则: -​ $\frac{dX^TAX}{dX}=(A+A^\mathrm{T})X$ +$\frac{dX^TAX}{dX}=(A+A^\mathrm{T})X$ -​ $\frac{dX^TA}{dX}={A}$ +$\frac{dX^TA}{dX}={A}$ 所以有: -​ $\frac{\partial J\left( \theta \right)}{\partial \theta }=\frac{1}{2m}\left(2{{X}^{T}}X\theta -2{{X}^{T}}y \right)$ +$\frac{\partial J\left( \theta \right)}{\partial \theta }=\frac{1}{2m}\left(2{{X}^{T}}X\theta -2{{X}^{T}}y \right)={{X}^{T}}X\theta -{{X}^{T}}y$ -​ $={{X}^{T}}X\theta -{{X}^{T}}y$ - -令$\frac{\partial J\left( \theta \right)}{\partial \theta }=0$, 则有 +令$\frac{\partial J\left( \theta \right)}{\partial \theta }=0​$, 则有 $$ \theta ={{\left( {X^{T}}X \right)}^{-1}}{X^{T}}y $$ diff --git a/week4.html b/week4.html index 3b93ce4..d46cfa3 100644 --- a/week4.html +++ b/week4.html @@ -220,6 +220,6 @@ header, .context-menu, .megamenu-content, footer { font-family: "Segoe UI", Aria -

8 神经网络：表达(Neural Networks: Representation)8.1 非线性假设(Non-linear Hypotheses)8.2 神经网络和大脑(Neurons and the Brain)8.3 模型表示1(Model Representation I)8.4 模型表示2(Model Representation II)8.5 例子和直观理解1(Examples and Intuitions I)8.6 例子和直观理解2(Examples and Intuitions II)8.7 多类别分类(Multiclass Classification)

8 神经网络：表达(Neural Networks: Representation)

8.1 非线性假设(Non-linear Hypotheses)

理论上我们可以用多项式函数去近似任意函数，从而可得到任意问题的拟合曲线，即泰勒极数(Taylor series)。

在实际处理时，特征量通常会很多，如果再构造高阶多项式等，特征数量将会急剧增加，这使得线性模型的复杂度太高，可见并不合适。神经网络无需构造高阶多项式，在特征量很大时也可以处理的很好。

那特征能有多大呢？下面是一个计算机视觉中的例子：

如上图，如果选取一小块 像素的灰度图片（一个像素只有亮度一个值），选择每个像素点作为特征，则特征总量 （换成 RGB（一个像素有三个值），则 ），如果将其两两组合作为新特征，则特征数量将为 。

8.2 神经网络和大脑(Neurons and the Brain)

脑科学家通过对动物实验，发现大脑中专用于处理听觉信号的脑皮层也能处理其他诸如视觉等信号，即如果切断其与耳朵的联系，将其与眼睛相连，则这块负责听觉的脑皮层区域也能接受并处理视觉信号，从而学会“看”。脑科学家通过这类换源实验，就推论假设大脑的学习算法只有一种(“one learning algorithm” hypothesis)。那么如果能找出这种学习算法并应用于计算机中，那梦想中和人一样的人工智能就成真了。

神经网络就源于模拟人类大脑，但其需要的计算量很大。随着计算机硬件性能的提高，神经网络逐渐从衰落变为流行，如今已广泛地被应用在各行各业中。

下图是根据研究做的一些应用（有兴趣可回顾视频）：

BrainPort 系统：帮助失明人士通过摄像头以及舌尖感官“看”东西

触觉皮带：在朝北时蜂鸣器会发出声响，可使人拥有方向感（声音信号转换为方向信号）。

8.3 模型表示1(Model Representation I)

 

8.4 模型表示2(Model Representation II)

8.5 例子和直观理解1(Examples and Intuitions I)

8.6 例子和直观理解2(Examples and Intuitions II)

8.7 多类别分类(Multiclass Classification)

+

8 神经网络：表达(Neural Networks: Representation)8.1 非线性假设(Non-linear Hypotheses)8.2 神经网络和大脑(Neurons and the Brain)8.3 模型表示1(Model Representation I)8.4 模型表示2(Model Representation II)8.5 例子和直观理解1(Examples and Intuitions I)8.6 例子和直观理解2(Examples and Intuitions II)8.7 多类别分类(Multiclass Classification)

8 神经网络：表达(Neural Networks: Representation)

8.1 非线性假设(Non-linear Hypotheses)

理论上我们可以用多项式函数去近似任意函数，从而可得到任意问题的拟合曲线，即泰勒极数(Taylor series)。

在实际处理时，特征量通常会很多，如果再构造高阶多项式等，特征数量将会急剧增加，这使得线性模型的复杂度太高，可见并不合适。神经网络无需构造高阶多项式，在特征量很大时也可以处理的很好。

那特征能有多大呢？下面是一个计算机视觉中的例子：

如上图，如果选取一小块 像素的灰度图片（一个像素只有亮度一个值），选择每个像素点作为特征，则特征总量 （换成 RGB（一个像素有三个值），则 ），如果将其两两组合作为新特征，则特征数量将为 。

8.2 神经网络和大脑(Neurons and the Brain)

脑科学家通过对动物实验，发现大脑中专用于处理听觉信号的脑皮层也能处理其他诸如视觉等信号，即如果切断其与耳朵的联系，将其与眼睛相连，则这块负责听觉的脑皮层区域也能接受并处理视觉信号，从而学会“看”。脑科学家通过这类换源实验，就推论假设大脑的学习算法只有一种(“one learning algorithm” hypothesis)。那么如果能找出这种学习算法并应用于计算机中，那梦想中和人一样的人工智能就成真了。

神经网络就源于模拟人类大脑，但其需要的计算量很大。随着计算机硬件性能的提高，神经网络逐渐从衰落变为流行，如今已广泛地被应用在各行各业中。

下图是根据研究做的一些应用（有兴趣可回顾视频）：

BrainPort 系统：帮助失明人士通过摄像头以及舌尖感官“看”东西

触觉皮带：在朝北时蜂鸣器会发出声响，可使人拥有方向感（声音信号转换为方向信号）。

8.3 模型表示1(Model Representation I)

既然神经网络模仿的是大脑神经元，那就先看一下大脑的神经元长什么样吧：

来源: http://blog.csdn.net/zzwu/article/details/574931

想象一下印刷厂中流水线的工人（机器人也算哦），每个工人都有特定的任务，比如装订，塑封，贴防伪标识等等，工人们看到书本并处理完自己的任务后，就回放回传送带，紧接着传送带就传给下一个环节的工人，如此不断重复从而完成一个又一个环节，直到一本书印制完成。

那么类比一下，把上图中的细胞核(nucleus)类比成工人，轴突(axon)类比传送带，树突(dendrite)则比类比成工人的双眼。一个又一个细胞体，从树突接收需要处理的信息，对其进行处理后，再经由轴突通过电信号把处理完的信息传递出去，直到理解信息的内容。当然啦，我们大脑的实际上还要更为复杂，而且一个人的神经元数目就比地球上所有流水线的工人之和还要多呢~

人工神经网络中，树突对应输入(input)，细胞核对应激活单元(activation unit)，轴突对应输出(output)。

我们一般把神经网络划分为三部分（注意，不是只有三层！），即输入层(input layer)，隐藏层(hidden layer)和输出层(output layer)。

图中的一个圈表示神经网络中的一个激活单元，输入层对应输入单元，隐藏层对应中间单元，输出层则对应输出单元。中间激活单元应用激活函数(activation_function)处理数据。

下面列出一些已有概念在神经网络中的别称：

  • : 偏置单元(bias unit)，=1
  • : 权重(weight)，即参数。
  • 激活函数: ，即逻辑函数等。
  • 输入层: 对应于训练集中的特征 。
  • 输出层: 对应于训练集中的结果 。

: 第 层的第 个激活单元

: 从第 层映射到第 层时的权重矩阵。

: 从第 层的第 个单元映射到第 层的第 个单元的权重

注意：

  • 符号较多，记不住可随时回顾！
  • 每个单元会作用于下一层的所有单元（矩阵乘法运算）。
  • 如果第 层有 个单元，第 层有 个单元， 是一个 维的权重矩阵。即每一层的权重矩阵大小都是非固定的。
  • 其中， 来自于偏置单元，这样意味着输出层不包含偏置单元，输入层和隐藏层需要增加偏置单元。

 

依据本节所给模型，有：

8.4 模型表示2(Model Representation II)

神经网络中的符号较多，易乱，建议多看几遍多回顾。

对第 层的所有激活单元应用激活函数，从而得到第 层激活单元的值：

对第 层的所有激活单元应用激活函数，从而得到输出：

上面的计算过程被称为前向传播(Forward propagation)，即从输入层开始，一层一层地向下计算并传递结果。

 

再回顾一下逻辑回归：

是不是除了符号表示，其他都完全一样？其实神经网络就好似回归模型，只不过输入变成了中间单元 。中间单元从输入向量 开始，下一层的每个单元对所有输入的信息通过最优化算法不断迭代计算，每个单元因为包含了前一层的所有单元值，那么每个单元都能依赖于权重与输入得出关于输入向量的更多信息，就好像是在给假设函数加多项式。

中间单元就好像是包含了更多信息的升级版输入参数，使用包含更多信息的中间单元，也能产生更好地预测。

 

向量化实现

定义 ，，

，

则有

预测结果即

 

即有 ，

，，通过该式即可计算神经网络中每一层的值。

结果即

扩展到所有样本实例：

，这时 是一个 维向量。

: 训练集中的样本实例数量

: 第二层神经网络中激活单元的数量

 

当然，神经网络不仅限于三层，每层的激活单元数量也并不固定：

8.5 例子和直观理解1(Examples and Intuitions I)

8.6 例子和直观理解2(Examples and Intuitions II)

8.7 多类别分类(Multiclass Classification)

\ No newline at end of file diff --git a/week4.md b/week4.md index fae4e36..3f73455 100644 --- a/week4.md +++ b/week4.md @@ -32,10 +32,112 @@ BrainPort 系统：帮助失明人士通过摄像头以及舌尖感官“看” ## 8.3 模型表示1(Model Representation I) +既然神经网络模仿的是大脑神经元，那就先看一下大脑的神经元长什么样吧： +![来源: http://blog.csdn.net/zzwu/article/details/574931](image/20141213201613758.jpg) + +想象一下印刷厂中流水线的工人（机器人也算哦），每个工人都有特定的任务，比如装订，塑封，贴防伪标识等等，工人们看到书本并处理完自己的任务后，就回放回传送带，紧接着传送带就传给下一个环节的工人，如此不断重复从而完成一个又一个环节，直到一本书印制完成。 + +那么类比一下，把上图中的**细胞核(nucleus)**类比成工人，**轴突(axon)**类比传送带，**树突(dendrite)**则比类比成工人的双眼。一个又一个细胞体，从树突接收需要处理的信息，对其进行处理后，再经由轴突通过电信号把处理完的信息传递出去，直到理解信息的内容。当然啦，我们大脑的实际上还要更为复杂，而且一个人的神经元数目就比地球上所有流水线的工人之和还要多呢~ + +人工神经网络中，树突对应**输入(input)**，细胞核对应**激活单元(activation unit)**，轴突对应**输出(output)**。 + +我们一般把神经网络划分为三部分（注意，不是只有三层！），即输入层(input layer)，隐藏层(hidden layer)和输出层(output layer)。 + +![](image/20180116_001543.png) + +图中的一个圈表示神经网络中的一个激活单元，输入层对应输入单元，隐藏层对应中间单元，输出层则对应输出单元。中间激活单元应用**激活函数**([activation_function](https://en.wikipedia.org/wiki/Activation_function))处理数据。 + +下面列出一些已有概念在神经网络中的别称： + +- $x_0$: 偏置单元(bias unit)，$x_0$=1 +- $\theta$: 权重(weight)，即参数。 +- 激活函数: $g​$，即逻辑函数等。 +- 输入层: 对应于训练集中的特征 $x$。 +- 输出层: 对应于训练集中的结果 $y$。 + +>$a^{(j)}_i$: 第 $j$ 层的第 $i$ 个激活单元 +> +>$\Theta^{(j)}$: 从第 $j$ 层映射到第 $j+1$ 层时的权重矩阵。 +> +>$\Theta^{(j)}_{v,u}$: 从第 $j$ 层的第 $u$ 个单元映射到第 $j+1$ 层的第 $v$ 个单元的权重 + +注意： + +- 符号较多，记不住可随时回顾！ +- **每个单元会作用于下一层的所有单元**（矩阵乘法运算）。 +- 如果第 $j$ 层有 $s_j$ 个单元，第 $j+1$ 层有 $s_{j+1}$ 个单元，$\Theta^{(j)}$ 是一个 $s_{j+1} \times (s_j+1)$ 维的权重矩阵。即每一层的权重矩阵大小都是非固定的。 +- 其中，$+1$ 来自于偏置单元，这样意味着输出层不包含偏置单元，输入层和隐藏层需要增加偏置单元。 + + + + +依据本节所给模型，有： + +$Size(\Theta^{(1)})=s_{j+1} \times (s_j + 1) = 3 \times 4$ + +$Size(\Theta^{(2)})=s_{j+1} \times (s_j + 1) = 1 \times 4$ ## 8.4 模型表示2(Model Representation II) +> 神经网络中的符号较多，易乱，建议多看几遍多回顾。 + +![](image/20180116_001543.png) + +对第 $1$ 层的所有激活单元应用激活函数，从而得到第 $2$ 层激活单元的值： + +$\begin{align*} a_1^{(2)} = g(\Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3) \newline a_2^{(2)} = g(\Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3) \newline a_3^{(2)} = g(\Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3) \newline \end{align*}$ + +对第 $2$ 层的所有激活单元应用激活函数，从而得到输出： + +$h_\Theta(x) = a_1^{(3)} = g(\Theta_{10}^{(2)}a_0^{(2)} + \Theta_{11}^{(2)}a_1^{(2)} + \Theta_{12}^{(2)}a_2^{(2)} + \Theta_{13}^{(2)}a_3^{(2)})$ + +上面的计算过程被称为**前向传播(Forward propagation)**，即从输入层开始，一层一层地向下计算并传递结果。 + + + +再回顾一下逻辑回归： + +${h_\theta}\left( x \right)=g\left( {\theta_0}+{\theta_1}{x_1}+{\theta_{2}}{x_{2}}+{\theta_{3}}x_{1}^{2} \right)$ + +是不是除了符号表示，其他都完全一样？其实神经网络就好似回归模型，只不过输入变成了中间单元 $a_1^{(j)}, a_2^{(j)}, \dots, a_n^{(j)}$。中间单元从输入向量 $x$ 开始，下一层的每个单元对所有输入的信息通过最优化算法不断迭代计算，每个单元因为包含了前一层的所有单元值，那么每个单元都能依赖于权重与输入得出关于输入向量的更多信息，就好像是在给假设函数加多项式。 + +中间单元就好像是包含了更多信息的升级版输入参数，使用包含更多信息的中间单元，也能产生更好地预测。 + + + +**向量化实现** + +定义 $a^{(1)}=x=\left[ \begin{matrix}x_0\\ x_1 \\ x_2 \\ x_3 \end{matrix} \right]$，$\Theta^{(1)}=\left[\begin{matrix}\Theta^{(1)}_{10}& \Theta^{(1)}_{11}& \Theta^{(1)}_{12}& \Theta^{(1)}_{13}\\ \Theta^{(1)}_{20}& \Theta^{(1)}_{21}& \Theta^{(1)}_{22}& \Theta^{(1)}_{23}\\ \Theta^{(1)}_{30}& \Theta^{(1)}_{31}& \Theta^{(1)}_{32} & \Theta^{(1)}_{33}\end{matrix}\right]$， + +$\begin{align*}a_1^{(2)} = g(z_1^{(2)}) \newline a_2^{(2)} = g(z_2^{(2)}) \newline a_3^{(2)} = g(z_3^{(2)}) \newline \end{align*}$，$z^{(2)}=\left[ \begin{matrix}z_1^{(2)}\\ z_1^{(2)} \\ z_1^{(2)}\end{matrix} \right]$ + +则有 $a^{(2)}= g(\Theta^{(1)}a^{(1)})=g(z^{(2)})$ + +预测结果即 $h_\Theta(x) = a^{(3)} = g(\Theta^{(2)}a^{(2)}) = g(z^{(3)})$ + + + +即有 $z^{(j)}_i = \Theta^{(j-1)}_{i,0}a^{(j-1)}_{0}+ \Theta^{(j-1)}_{i,1}a^{(j-1)}_{1}+\dots+ \Theta^{(j-1)}_{i,n}a^{(j-1)}_{n}$， + + $z^{(j)} = \Theta^{(j-1)}a^{(j-1)}$，$a^{(j)} = g(z^{(j)})$，通过该式即可计算神经网络中每一层的值。 + +结果即 $h_\Theta(x) = a^{(j)} = g(\Theta^{(j-1)}a^{(j-1)}) = g(z^{(j)})$ + +扩展到所有样本实例： + +${{z}^{\left( 2 \right)}}={{\Theta }^{\left( 1 \right)}} {{X}^{T}}$，这时 $z^{(2)}$ 是一个 $s_2 \times m$ 维向量。 + +> $m$: 训练集中的样本实例数量 +> +> $s_2$: 第二层神经网络中激活单元的数量 + + + +当然，神经网络不仅限于三层，每层的激活单元数量也并不固定： + +![](image/20180116_105545.png) + ## 8.5 例子和直观理解1(Examples and Intuitions I) ## 8.6 例子和直观理解2(Examples and Intuitions II)