Merge pull request !26977 from huangxinjing/fix_coo_and_api

However, to be forward compatitable, it is suitable to keep 'auto_parallel_search_mode' available. This PR recovers the 'auto_parallel_search_mode' interface and adds a warning when using this old interface.

This PR also deals with other codestyle things.

Merge pull request !26807 from Xiaoda/113-auto-parallel-search-mode-changes-to-search-mode

2) 'sharding_propagation' moves to 'search_mode';

Merge pull request !26556 from lilei/modify_parallel_API_note

Merge pull request !26730 from Xiaoda/109-change-moe-transpose-for-performance

Merge pull request !26006 from yao_yf/add_transformer_slice_activation_config

slice recompute activation

Merge pull request !26039 from huangxinjing/fix_linear_merger_error

Add support for no pipeline accugradient

Add delay tag for fusion op

Optimizer the visite order

add mirror for mini step control

Move the group to attributes

Add gradient_shard control for the mini step

Fix code stype

Fix ut description

Add interface

Merge pull request !25708 from huangxinjing/add_mode_check

Merge pull request !25719 from huangxinjing/add_device_number_check

Add parallel mode check

Merge pull request !25406 from Cononlly/gpu-moe

fix matmul name

Merge pull request !25176 from huangxinjing/origin/master

Merge pull request !25088 from zhunaipan/master

修改：     ops/operations/_inner_ops.py
	修改：     ops/operations/_quant_ops.py
	修改：     ops/operations/array_ops.py
	修改：     ops/operations/comm_ops.py
	修改：     ops/operations/math_ops.py
	修改：     ops/operations/quantum_ops.py
	修改：     ops/operations/rl_ops.py
	修改：     ops/operations/sponge_ops.py
	修改：     ops/operations/sponge_update_ops.py
	修改：     train/__init__.py
	修改：     common/tensor.py
	修改：     train/serialization.py
	修改：     ccsrc/pipeline/jit/parse/parse.h
	修改：     explainer/benchmark/_attribution/metric.py
	修改：     ops/composite/multitype_ops/_constexpr_utils.py
	修改：     ops/operations/comm_ops.py

	修改：     RELEASE.md
	修改：     mindspore/_extends/parse/standard_method.py
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/concat_offset_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/dynamic_shape_cpu_kernel.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/reshape_info.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/tile_info.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/transpose_info.cc
	修改：     mindspore/ccsrc/frontend/parallel/strategy.h
	修改：     mindspore/common/tensor.py
	修改：     mindspore/core/abstract/prim_arrays.cc
	修改：     mindspore/core/abstract/prim_nn.cc
	修改：     mindspore/core/ops/conv2d.cc
	修改：     mindspore/core/ops/logical_and.h
	修改：     mindspore/core/ops/logical_not.h
	修改：     mindspore/core/ops/logical_or.h
	修改：     mindspore/core/ops/reduce_all.h
	修改：     mindspore/core/ops/reduce_any.h
	修改：     mindspore/lite/src/runtime/kernel/arm/fp32_grad/sgd.cc
	修改：     mindspore/nn/layer/quant.py
	修改：     mindspore/nn/optim/sgd.py
	修改：     mindspore/nn/sparse/sparse.py
	修改：     mindspore/numpy/array_creations.py
	修改：     mindspore/numpy/array_ops.py
	修改：     mindspore/numpy/logic_ops.py
	修改：     mindspore/numpy/math_ops.py
	修改：     mindspore/ops/operations/_inner_ops.py
	修改：     mindspore/ops/operations/array_ops.py
	修改：     mindspore/ops/operations/rl_ops.py
	修改：     mindspore/train/_utils.py
	修改：     tests/ut/python/model/test_lenet_core_after_exception.py

	修改：     mindspore/_extends/parse/standard_method.py
	修改：     mindspore/ops/operations/rl_ops.py

	修改：     mindspore/core/abstract/prim_nn.cc
	修改：     mindspore/core/ops/conv2d.cc

	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/ctcloss_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/fl/fused_pull_weight_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/fl/fused_push_weight_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/mkldnn/conv2d_grad_filter_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/mkldnn/conv2d_grad_input_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/ps/sparse_apply_ftrl_ps_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/ps/sparse_apply_lazy_adam_ps_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/rolling_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/scatter_arithmetic_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/split_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/update_cache_cpu_kernel.cc
	修改：     mindspore/ccsrc/backend/kernel_compiler/gpu/arrays/split_gpu_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/gpu/math/broadcast_gpu_kernel.h
	修改：     mindspore/ccsrc/backend/kernel_compiler/gpu/nn/conv2d_grad_input_gpu_kernel.h
	修改：     mindspore/ccsrc/fl/server/server.cc
	修改：     mindspore/ccsrc/frontend/optimizer/ad/kpynative.cc
	修改：     mindspore/ccsrc/frontend/optimizer/irpass/incorporate_getitem.h
	修改：     mindspore/ccsrc/frontend/optimizer/irpass/inline.h
	修改：     mindspore/ccsrc/minddata/dataset/core/device_tensor.cc
	修改：     mindspore/ccsrc/minddata/dataset/core/tensor.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/datasetops/source/emnist_op.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/datasetops/source/mnist_op.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/datasetops/source/qmnist_op.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/ir/datasetops/dataset_node.cc
	修改：     mindspore/ccsrc/minddata/dataset/engine/opt/pre/epoch_ctrl_pass.cc
	修改：     mindspore/ccsrc/minddata/dataset/kernels/image/lite_image_utils.cc
	修改：     mindspore/ccsrc/pipeline/jit/action.cc
	修改：     mindspore/ccsrc/pipeline/jit/static_analysis/evaluator.cc
	修改：     mindspore/ccsrc/runtime/device/ascend/executor/tiling/op_tiling_adapter.cc
	修改：     mindspore/compression/quant/quant_utils.py
	修改：     mindspore/core/abstract/prim_nn.cc
	修改：     mindspore/dataset/engine/validators.py
	修改：     mindspore/lite/micro/coder/opcoders/nnacl/fp32/affine_fp32_coder.cc
	修改：     mindspore/lite/micro/coder/opcoders/nnacl/int8/affine_int8_coder.cc
	修改：     mindspore/lite/src/runtime/kernel/ascend310/src/custom_kernel.cc
	修改：     mindspore/lite/src/runtime/kernel/opencl/kernel/matmul.cc
	修改：     mindspore/lite/src/runtime/kernel/opencl/kernel/strassen.cc
	修改：     mindspore/lite/tools/common/graph_util.h
	修改：     mindspore/lite/tools/optimizer/fisson/fisson_util.cc
	修改：     mindspore/ops/composite/math_ops.py
	修改：     mindspore/ops/operations/_inner_ops.py
	修改：     mindspore/ops/operations/array_ops.py
	修改：     mindspore/ops/operations/math_ops.py
	修改：     mindspore/ops/operations/other_ops.py

	修改：     mindspore/boost/boost_cell_wrapper.py
	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/update_cache_cpu_kernel.cc
	修改：     mindspore/ccsrc/common/trans.cc
	修改：     mindspore/ccsrc/frontend/parallel/cache_embedding/cache_embedding.cc
	修改：     mindspore/ccsrc/frontend/parallel/ops_info/gather_info.cc
	修改：     mindspore/lite/src/common/log_util.h
	修改：     mindspore/nn/wrap/loss_scale.py
	修改：     mindspore/parallel/nn/moe.py
	修改：     tests/mindspore_test_framework/mindspore_test.py

	修改：     mindspore/ccsrc/backend/kernel_compiler/cpu/split_cpu_kernel.cc
	修改：     mindspore/lite/tools/common/graph_util.h

	修改：     mindspore/ccsrc/frontend/parallel/ops_info/gather_info.cc

	修改：     mindspore/core/ops/conv2d.cc

	修改：     tests/ut/python/model/test_lenet_core_after_exception.py

Merge pull request !24665 from Xiaoda/95-add-comments-of-parallel-interfaces

Merge pull request !24486 from lilei/code_docs_modify_parallel_note

Add if else for past none

Add layer norm judge

Fix layer norm name error

Fix input tyoe check

Fix ut test

Add 3d supports

Merge pull request !23596 from Xiaoda/89-moe-adaption

Merge pull request !23517 from yao_yf/parallel_opt_recompute_pass_warning_fix

fix pangu error

fix leakyrelu error