mindspore2022/docs/api/api_python/nn/mindspore.nn.LARS.rst

mindspore.nn.LARS
==================

.. py:class:: mindspore.nn.LARS(*args, **kwargs)

    使用LARSUpdate算子实现LARS算法。

    LARS算法采用大量的优化技术。详见论文 `LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS <https://arxiv.org/abs/1708.03888>`_。

    更新公式如下：

    .. math::

        \begin{array}{ll} \\
            \lambda  = \frac{\theta  \text{ * } || \omega  ||  } \\
                            {|| g_{t} || \text{ + } \delta \text{ * } || \omega  || }  \\
            \lambda  =
            \begin{cases}
                \min(\frac{\lambda}{\alpha }, 1)
                    & \text{ if } clip = True \\
                \lambda
                    & \text{ otherwise }
            \end{cases}\\
            g_{t+1} = \lambda * (g_{t} + \delta * \omega)
        \end{array}

    :math:`\theta` 表示 `coefficient` ，:math:`\omega` 表示网络参数，:math:`g` 表示 `gradients`，:math:`t` 表示当前step，:math:`\delta` 表示 `optimizer` 配置的 `weight_decay` ，:math:`\alpha` 表示 `optimizer` 配置的 `learning_rate` ，:math:`clip` 表示 `use_clip`。


    **参数：**

    - **optimizer** (Optimizer) - 待封装和修改梯度的MindSpore优化器。
    - **epsilon** (float) - 将添加到分母中，提高数值稳定性。默认值：1e-05。
    - **coefficient** (float) - 计算局部学习速率的信任系数。默认值：0.001。
    - **use_clip** (bool) - 计算局部学习速率时是否裁剪。默认值：False。
    - **lars_filter** (Function) - 用于指定使用LARS算法的网络参数。默认值：lambda x: 'LayerNorm' not in x.name and 'bias' not in x.name。

    **输入：**

    - **gradients** (tuple[Tensor]) - 优化器中 `params` 的梯度，shape与优化器中的 `params` 相同。


    **输出：**

    Union[Tensor[bool], tuple[Parameter]]，取决于 `optimizer` 的输出。

    **支持平台：**

    ``Ascend`` ``CPU``

    **样例：**

    >>> net = Net()
    >>> loss = nn.SoftmaxCrossEntropyWithLogits()
    >>> opt = nn.Momentum(net.trainable_params(), 0.1, 0.9)
    >>> opt_lars = nn.LARS(opt, epsilon=1e-08, coefficient=0.02)
    >>> model = Model(net, loss_fn=loss, optimizer=opt_lars, metrics=None)