You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

mindspore.FixedLossScaleManager.txt 2.3 kB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455
  1. Class mindspore.FixedLossScaleManager(loss_scale=128.0, drop_overflow_update=True)
  2. 梯度放大系数不变的管理器,继承自:class:`mindspore.LossScaleManager`。
  3. 参数:
  4. loss_scale (float):梯度放大系数。注:如果将`drop_overflow_update`设为False,则定义优化器时需要将优化器的`loss_scale`设为相同的值。默认值:128.0。
  5. drop_overflow_update (bool):出现溢出时,是否执行优化器。如果值为True,则出现溢出时不会执行优化器。默认值:True。
  6. 样例:
  7. >>> from mindspore import Model, nn, FixedLossScaleManager
  8. >>>
  9. >>> net = Net()
  10. >>> # 1) 如果存在溢出,则不执行参数更新
  11. >>> loss_scale_manager = FixedLossScaleManager()
  12. >>> optim = nn.Momentum(params=net.trainable_params(), learning_rate=0.1, momentum=0.9)
  13. >>> model = Model(net, loss_scale_manager=loss_scale_manager, optimizer=optim)
  14. >>>
  15. >>> # 2) 即使发生溢出,也执行参数更新
  16. >>> loss_scale = 1024.0
  17. >>> loss_scale_manager = FixedLossScaleManager(loss_scale, False)
  18. >>> optim = nn.Momentum(params=net.trainable_params(), learning_rate=0.1, momentum=0.9, loss_scale=loss_scale)
  19. >>> model = Model(net, loss_scale_manager=loss_scale_manager, optimizer=optim)
  20. get_drop_overflow_update()
  21. 返回`drop_overflow_update`,该值表示是否在发生溢出时放弃本轮参数更新。
  22. 返回:
  23. bool, `drop_overflow_update`的值。
  24. get_loss_scale()
  25. 获取loss scale值。
  26. 返回:
  27. bool,`loss_scale`的值。
  28. get_update_cell()
  29. 返回用于更新`loss_scale`值的`Cell`实例,该实例将在:class:`mindspore.TrainOneStepWithLossScaleCell`中执行。
  30. 返回:
  31. None或`Cell`。当`drop_overflow_update`为True时,返回:class:`mindspore.FixedLossScaleUpdateCell`实例,当`drop_overflow_update`为False时,返回None。
  32. update_loss_scale(overflow)
  33. 更新loss scale值。类:class:`mindspore.FixedLossScaleManager`中,该方法不执行任何操作。
  34. 参数:
  35. overflow (bool):表示是否溢出。