Add support for no pipeline accugradient

Add delay tag for fusion op

Optimizer the visite order

add mirror for mini step control

Move the group to attributes

Add gradient_shard control for the mini step

Fix code stype

Fix ut description

Add interface

修改：     ops/operations/_inner_ops.py
	修改：     ops/operations/_quant_ops.py
	修改：     ops/operations/array_ops.py
	修改：     ops/operations/comm_ops.py
	修改：     ops/operations/math_ops.py
	修改：     ops/operations/quantum_ops.py
	修改：     ops/operations/rl_ops.py
	修改：     ops/operations/sponge_ops.py
	修改：     ops/operations/sponge_update_ops.py
	修改：     train/__init__.py
	修改：     common/tensor.py
	修改：     train/serialization.py
	修改：     ccsrc/pipeline/jit/parse/parse.h
	修改：     explainer/benchmark/_attribution/metric.py
	修改：     ops/composite/multitype_ops/_constexpr_utils.py
	修改：     ops/operations/comm_ops.py

	修改：     RELEASE.md
	修改：     mindspore/_extends/parse/standard_method.py
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/concat_offset_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/dynamic_shape_cpu_kernel.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/reshape_info.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/tile_info.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/transpose_info.cc
	修改：     mindspore/ccsrc/frontend/parallel/strategy.h
	修改：     mindspore/common/tensor.py
	修改：     mindspore/core/abstract/prim_arrays.cc
	修改：     mindspore/core/abstract/prim_nn.cc
	修改：     mindspore/core/ops/conv2d.cc
	修改：     mindspore/core/ops/logical_and.h
	修改：     mindspore/core/ops/logical_not.h
	修改：     mindspore/core/ops/logical_or.h
	修改：     mindspore/core/ops/reduce_all.h
	修改：     mindspore/core/ops/reduce_any.h
	修改：     mindspore/lite/src/runtime/kernel/arm/fp32_grad/sgd.cc
	修改：     mindspore/nn/layer/quant.py
	修改：     mindspore/nn/optim/sgd.py
	修改：     mindspore/nn/sparse/sparse.py
	修改：     mindspore/numpy/array_creations.py
	修改：     mindspore/numpy/array_ops.py
	修改：     mindspore/numpy/logic_ops.py
	修改：     mindspore/numpy/math_ops.py
	修改：     mindspore/ops/operations/_inner_ops.py
	修改：     mindspore/ops/operations/array_ops.py
	修改：     mindspore/ops/operations/rl_ops.py
	修改：     mindspore/train/_utils.py
	修改：     tests/ut/python/model/test_lenet_core_after_exception.py

	修改：     mindspore/_extends/parse/standard_method.py
	修改：     mindspore/ops/operations/rl_ops.py

	修改：     mindspore/core/abstract/prim_nn.cc
	修改：     mindspore/core/ops/conv2d.cc

	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/ctcloss_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/fl/fused_pull_weight_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/fl/fused_push_weight_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/mkldnn/conv2d_grad_filter_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/mkldnn/conv2d_grad_input_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/ps/sparse_apply_ftrl_ps_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/ps/sparse_apply_lazy_adam_ps_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/rolling_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/scatter_arithmetic_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/split_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/update_cache_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/gpu/arrays/split_gpu_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/gpu/math/broadcast_gpu_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/gpu/nn/conv2d_grad_input_gpu_kernel.h
	修改：     mindspore/ccsrc/fl/server/server.cc
	修改：     mindspore/ccsrc/frontend/optimizer/ad/kpynative.cc
	修改：     mindspore/ccsrc/frontend/optimizer/irpass/incorporate_getitem.h
	修改：     mindspore/ccsrc/frontend/optimizer/irpass/inline.h
	修改：     mindspore/ccsrc/minddata/dataset/core/device_tensor.cc
	修改：     mindspore/ccsrc/minddata/dataset/core/tensor.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/datasetops/source/emnist_op.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/datasetops/source/mnist_op.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/datasetops/source/qmnist_op.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/ir/datasetops/dataset_node.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/opt/pre/epoch_ctrl_pass.cc
	修改：     mindspore/ccsrc/minddata/dataset/kernels/image/lite_image_utils.cc
	修改：     mindspore/ccsrc/pipeline/jit/action.cc
	修改：     mindspore/ccsrc/pipeline/jit/static_analysis/evaluator.cc
	修改：     mindspore/ccsrc/runtime/device/ascend/executor/tiling/op_tiling_adapter.cc
	修改：     mindspore/compression/quant/quant_utils.py
	修改：     mindspore/core/abstract/prim_nn.cc
	修改：     mindspore/dataset/engine/validators.py
	修改：     mindspore/lite/micro/coder/opcoders/nnacl/fp32/affine_fp32_coder.cc
	修改：     mindspore/lite/micro/coder/opcoders/nnacl/int8/affine_int8_coder.cc
	修改：     mindspore/lite/src/runtime/kernel/ascend310/src/custom_kernel.cc
	修改：     mindspore/lite/src/runtime/kernel/opencl/kernel/matmul.cc
	修改：     mindspore/lite/src/runtime/kernel/opencl/kernel/strassen.cc
	修改：     mindspore/lite/tools/common/graph_util.h
	修改：     mindspore/lite/tools/optimizer/fisson/fisson_util.cc
	修改：     mindspore/ops/composite/math_ops.py
	修改：     mindspore/ops/operations/_inner_ops.py
	修改：     mindspore/ops/operations/array_ops.py
	修改：     mindspore/ops/operations/math_ops.py
	修改：     mindspore/ops/operations/other_ops.py

	修改：     mindspore/boost/boost_cell_wrapper.py
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/update_cache_cpu_kernel.cc
	修改：     mindspore/ccsrc/common/trans.cc
	修改：     mindspore/ccsrc/frontend/parallel/cache_embedding/cache_embedding.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/gather_info.cc
	修改：     mindspore/lite/src/common/log_util.h
	修改：     mindspore/nn/wrap/loss_scale.py
	修改：     mindspore/parallel/nn/moe.py
	修改：     tests/mindspore_test_framework/mindspore_test.py

	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/split_cpu_kernel.cc
	修改：     mindspore/lite/tools/common/graph_util.h

	修改：     mindspore/ccsrc/frontend/parallel/ops_info/gather_info.cc

	修改：     mindspore/core/ops/conv2d.cc

	修改：     tests/ut/python/model/test_lenet_core_after_exception.py

Merge pull request !23069 from huchunmei/master

This reverts commit b09d411dc4.

add AlltoAll and NeighborExchange as interface

Signed-off-by: zhoufeng <zhoufeng54@huawei.com>

From: @gong_zi_yan
Reviewed-by: 
Signed-off-by:

From: @jojobugfree
Reviewed-by: @kisnwang,@zhoufeng54,@chujinjin
Signed-off-by: @chujinjin

From: @lijiaqi0612
Reviewed-by: @youui,@liangchenghui
Signed-off-by: @liangchenghui

From: @JunYuLiu
Reviewed-by: 
Signed-off-by:

From: @yao_yf
Reviewed-by: @stsuteng,@kisnwang
Signed-off-by: @stsuteng

From: @huangxinjing
Reviewed-by: 
Signed-off-by:

From: @yao_yf
Reviewed-by: 
Signed-off-by: