You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

mindspore.nn.FastGelu.rst 1.2 kB

1234567891011121314151617181920212223242526272829303132333435363738394041
  1. mindspore.nn.FastGelu
  2. ======================
  3. .. py:class:: mindspore.nn.FastGelu
  4. 快速高斯误差线性单元激活函数(Fast Gaussian Error Linear Units activation function)。
  5. 对输入的每个元素计算FastGelu。
  6. FastGelu定义如下:
  7. .. math::
  8. FastGelu(x_i) = \frac {x_i} {1 + \exp(-1.702 * \left| x_i \right|)} *
  9. \exp(0.851 * (x_i - \left| x_i \right|))
  10. 其中 :math:`x_i` 是输入的元素。
  11. **输入:**
  12. - **x** (Tensor) - 用于计算FastGelu的Tensor。数据类型为float16或float32。shape为 :math:`(N,*)` ,其中 :math:`*` 表示任意的附加维度数。
  13. **输出:**
  14. Tensor,具有与 `x` 相同的数据类型和shape。
  15. **异常:**
  16. - **TypeError** - `x` 的数据类型既不是float16也不是float32。
  17. **支持平台:**
  18. ``Ascend``
  19. **样例:**
  20. >>> x = Tensor(np.array([[-1.0, 4.0, -8.0], [2.0, -5.0, 9.0]]), mindspore.float32)
  21. >>> fast_gelu = nn.FastGelu()
  22. >>> output = fast_gelu(x)
  23. >>> print(output)
  24. [[-1.5418735e-01 3.9921875e+00 -9.7473649e-06]
  25. [ 1.9375000e+00 -1.0052517e-03 8.9824219e+00]]