zzy34407230
/
mindspore2022
Not watched
1
0
Fork 0
Code
Releases 22 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: b3bf1a0fcb
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'b3bf1a0fcb'
${ noResults }
mindspore2022/tests/st/initializer/test_initializer.py

315 lines
20 kB
Raw Blame History 

  1. # Copyright 2021 Huawei Technologies Co., Ltd

  2. #

  3. # Licensed under the Apache License, Version 2.0 (the "License");

  4. # you may not use this file except in compliance with the License.

  5. # You may obtain a copy of the License at

  6. #

  7. # http://www.apache.org/licenses/LICENSE-2.0

  8. #

  9. # Unless required by applicable law or agreed to in writing, software

  10. # distributed under the License is distributed on an "AS IS" BASIS,

  11. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  12. # See the License for the specific language governing permissions and

  13. # limitations under the License.

  14. # ============================================================================

  15. 

  16. import mindspore

  17. from mindspore.common.initializer import initializer, Identity, Dirac, Sparse, VarianceScaling, Orthogonal

  18. import numpy as np

  19. 

  20. 

  21. def test_sparse():

  22.     """

  23.     Feature: Test sparse initializer.

  24.     Description: Initialize a 2 dimension sparse matrix to fill the input tensor.

  25.     Expectation: The Tensor is initialized with a 2 dimension sparse matrix.

  26.     """

  27.     tensor1 = initializer(Sparse(sparsity=0.1, sigma=0.01), [5, 8], mindspore.float32)

  28.     tensor1.init_data()

  29. 

  30. 

  31. def test_orthogonal():

  32.     """

  33.     Feature: Test orthogonal initializer.

  34.     Description: Initialize a (semi) orthogonal matrix to fill the input tensor.

  35.     Expectation: The Tensor is initialized with values from orthogonal matrix.

  36.     """

  37.     tensor1 = initializer(Orthogonal(gain=2.), [2, 3, 4], mindspore.float32)

  38.     tensor2 = initializer('orthogonal', [2, 3, 4], mindspore.float32)

  39.     tensor1.init_data()

  40.     tensor2.init_data()

  41. 

  42. 

  43. def test_variancescaling():

  44.     """

  45.     Feature: Test varianceScaling initializer.

  46.     Description: Randomly initialize an array with scaling to fill the input tensor.

  47.     Expectation: The Tensor is initialized successfully.

  48.     """

  49.     tensor1 = initializer('varianceScaling', [2, 3], mindspore.float32)

  50.     tensor2 = initializer(VarianceScaling(scale=1.0, mode='fan_out', distribution='untruncated_normal'), [2, 3],

  51.                           mindspore.float32)

  52.     tensor3 = initializer(VarianceScaling(scale=2.0, mode='fan_in', distribution='truncated_normal'), [2, 3],

  53.                           mindspore.float32)

  54.     tensor4 = initializer(VarianceScaling(scale=3.0, mode='fan_avg', distribution='uniform'), [2, 3],

  55.                           mindspore.float32)

  56.     tensor1.init_data()

  57.     tensor2.init_data()

  58.     tensor3.init_data()

  59.     tensor4.init_data()

  60. 

  61. 

  62. def test_identity():

  63.     """

  64.     Feature: Test identity initializer.

  65.     Description: Initialize an identity matrix to fill a Tensor.

  66.     Expectation: The Tensor is initialized with identity matrix.

  67.     """

  68.     tensor1 = initializer(Identity(), [3, 3], mindspore.float32)

  69.     tensor2 = initializer('identity', [3, 4], mindspore.float32)

  70.     tensor3 = initializer('identity', [4, 3], mindspore.float32)

  71.     expect1 = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1]], dtype=np.float32)

  72.     expect2 = np.array([[1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0]], dtype=np.float32)

  73.     expect3 = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [0, 0, 0]], dtype=np.float32)

  74.     assert (tensor1.asnumpy() == expect1).all()

  75.     assert (tensor2.asnumpy() == expect2).all()

  76.     assert (tensor3.asnumpy() == expect3).all()

  77. 

  78. 

  79. def test_dirac():

  80.     """

  81.     Feature: Test dirac initializer.

  82.     Description: Initialize input tensor with the Dirac delta function.

  83.     Expectation: The Tensor is correctly initialized.

  84.     """

  85.     tensor3_1 = initializer(Dirac(groups=1), [6, 2, 3], mindspore.float32)

  86.     tensor3_2 = initializer(Dirac(groups=2), [6, 2, 3], mindspore.float32)

  87.     tensor3_3 = initializer(Dirac(groups=3), [6, 2, 3], mindspore.float32)

  88. 

  89.     tensor4_1 = initializer(Dirac(groups=1), [6, 4, 3, 3], mindspore.float32)

  90.     tensor4_2 = initializer(Dirac(groups=2), [6, 4, 3, 3], mindspore.float32)

  91.     tensor4_3 = initializer(Dirac(groups=3), [6, 4, 3, 3], mindspore.float32)

  92. 

  93.     tensor5_1 = initializer(Dirac(groups=1), [6, 2, 3, 3, 3], mindspore.float32)

  94.     tensor5_2 = initializer(Dirac(groups=2), [6, 2, 3, 3, 3], mindspore.float32)

  95.     tensor5_3 = initializer(Dirac(groups=3), [6, 2, 3, 3, 3], mindspore.float32)

  96. 

  97.     expectation3_1 = np.array([[[0., 1., 0.], [0., 0., 0.]],

  98.                                [[0., 0., 0.], [0., 1., 0.]],

  99.                                [[0., 0., 0.], [0., 0., 0.]],

  100.                                [[0., 0., 0.], [0., 0., 0.]],

  101.                                [[0., 0., 0.], [0., 0., 0.]],

  102.                                [[0., 0., 0.], [0., 0., 0.]]], dtype=np.float32)

  103. 

  104.     expectation3_2 = np.array([[[0., 1., 0.], [0., 0., 0.]],

  105.                                [[0., 0., 0.], [0., 1., 0.]],

  106.                                [[0., 0., 0.], [0., 0., 0.]],

  107.                                [[0., 1., 0.], [0., 0., 0.]],

  108.                                [[0., 0., 0.], [0., 1., 0.]],

  109.                                [[0., 0., 0.], [0., 0., 0.]]], dtype=np.float32)

  110. 

  111.     expectation3_3 = np.array([[[0., 1., 0.], [0., 0., 0.]],

  112.                                [[0., 0., 0.], [0., 1., 0.]],

  113.                                [[0., 1., 0.], [0., 0., 0.]],

  114.                                [[0., 0., 0.], [0., 1., 0.]],

  115.                                [[0., 1., 0.], [0., 0., 0.]],

  116.                                [[0., 0., 0.], [0., 1., 0.]]], dtype=np.float32)

  117. 

  118.     expectation4_1 = np.array([[[[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  119.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  120.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  121.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  122.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  123.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  124.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  125.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  126.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  127.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  128.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  129.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  130.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  131.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  132.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  133.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]]],

  134.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  135.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  136.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  137.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  138.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  139.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  140.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  141.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]], dtype=np.float32)

  142. 

  143.     expectation4_2 = np.array([[[[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  144.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  145.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  146.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  147.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  148.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  149.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  150.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  151.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  152.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  153.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  154.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  155.                                [[[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  156.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  157.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  158.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  159.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  160.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  161.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  162.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  163.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  164.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  165.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  166.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]], dtype=np.float32)

  167. 

  168.     expectation4_3 = np.array([[[[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  169.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  170.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  171.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  172.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  173.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  174.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  175.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  176.                                [[[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  177.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  178.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  179.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  180.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  181.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  182.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  183.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  184.                                [[[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  185.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  186.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  187.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  188.                                [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  189.                                 [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  190.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  191.                                 [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]], dtype=np.float32)

  192. 

  193.     expectation5_1 = np.array([[[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  194.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  195.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  196.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  197.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  198.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  199.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  200.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  201.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  202.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  203.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  204.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  205.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  206.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  207.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  208.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  209.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  210.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  211.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  212.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  213.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  214.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  215.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  216.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  217.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  218.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  219.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  220.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  221.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  222.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  223.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  224.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  225.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  226.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  227.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  228.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]]], dtype=np.float32)

  229. 

  230.     expectation5_2 = np.array([[[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  231.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  232.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  233.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  234.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  235.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  236.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  237.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  238.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  239.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  240.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  241.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  242.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  243.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  244.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  245.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  246.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  247.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  248.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  249.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  250.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  251.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  252.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  253.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  254.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  255.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  256.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  257.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  258.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  259.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  260.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  261.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  262.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  263.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  264.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  265.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]]], dtype=np.float32)

  266. 

  267.     expectation5_3 = np.array([[[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  268.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  269.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  270.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  271.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  272.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  273.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  274.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  275.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  276.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  277.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  278.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  279.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  280.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  281.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  282.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  283.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  284.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  285.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  286.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  287.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  288.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  289.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  290.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  291.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  292.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  293.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  294.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  295.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  296.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]],

  297.                                [[[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  298.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  299.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]],

  300.                                 [[[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]],

  301.                                  [[0., 0., 0.], [0., 1., 0.], [0., 0., 0.]],

  302.                                  [[0., 0., 0.], [0., 0., 0.], [0., 0., 0.]]]]], dtype=np.float32)

  303. 

  304.     assert (tensor3_1.asnumpy() == expectation3_1).all()

  305.     assert (tensor3_2.asnumpy() == expectation3_2).all()

  306.     assert (tensor3_3.asnumpy() == expectation3_3).all()

  307. 

  308.     assert (tensor4_1.asnumpy() == expectation4_1).all()

  309.     assert (tensor4_2.asnumpy() == expectation4_2).all()

  310.     assert (tensor4_3.asnumpy() == expectation4_3).all()

  311. 

  312.     assert (tensor5_1.asnumpy() == expectation5_1).all()

  313.     assert (tensor5_2.asnumpy() == expectation5_2).all()

  314.     assert (tensor5_3.asnumpy() == expectation5_3).all()