You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

README_CN.md 14 kB

5 years ago
5 years ago
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295
  1. ![MindSpore标志](https://gitee.com/mindspore/mindspore/raw/master/docs/MindSpore-logo.png "MindSpore logo")
  2. [![PyPI - Python Version](https://img.shields.io/pypi/pyversions/mindspore.svg)](https://pypi.org/project/mindspore)
  3. [![PyPI](https://badge.fury.io/py/mindspore.svg)](https://badge.fury.io/py/mindspore)
  4. [![Downloads](https://pepy.tech/badge/mindspore)](https://pepy.tech/project/mindspore)
  5. [![DockerHub](https://img.shields.io/docker/pulls/mindspore/mindspore-cpu.svg)](https://hub.docker.com/r/mindspore/mindspore-cpu)
  6. [![LICENSE](https://img.shields.io/github/license/mindspore-ai/mindspore.svg?style=flat-square)](https://github.com/mindspore-ai/mindspore/blob/master/LICENSE)
  7. [![Slack](https://img.shields.io/badge/slack-chat-green.svg?logo=slack)](https://join.slack.com/t/mindspore/shared_invite/zt-dgk65rli-3ex4xvS4wHX7UDmsQmfu8w)
  8. [![PRs Welcome](https://img.shields.io/badge/PRs-welcome-brightgreen.svg?style=flat-square)](https://gitee.com/mindspore/mindspore/pulls)
  9. [View English](./README.md)
  10. <!-- TOC -->
  11. - [MindSpore介绍](#mindspore介绍)
  12. - [自动微分](#自动微分)
  13. - [自动并行](#自动并行)
  14. - [安装](#安装)
  15. - [pip方式安装](#pip方式安装)
  16. - [源码编译方式安装](#源码编译方式安装)
  17. - [Docker镜像](#docker镜像)
  18. - [快速入门](#快速入门)
  19. - [文档](#文档)
  20. - [社区](#社区)
  21. - [治理](#治理)
  22. - [交流](#交流)
  23. - [贡献](#贡献)
  24. - [分支维护策略](#分支维护策略)
  25. - [现有分支维护状态](#现有分支维护状态)
  26. - [版本说明](#版本说明)
  27. - [许可证](#许可证)
  28. <!-- /TOC -->
  29. ## MindSpore介绍
  30. MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。
  31. MindSpore提供了友好的设计和高效的执行,旨在提升数据科学家和算法工程师的开发体验,并为Ascend AI处理器提供原生支持,以及软硬件协同优化。
  32. 同时,MindSpore作为全球AI开源社区,致力于进一步开发和丰富AI软硬件应用生态。
  33. <img src="https://gitee.com/mindspore/mindspore/raw/master/docs/MindSpore-architecture.png" alt="MindSpore Architecture" width="600"/>
  34. 欲了解更多详情,请查看我们的[总体架构](https://www.mindspore.cn/doc/note/zh-CN/master/design/mindspore/architecture.html)。
  35. ### 自动微分
  36. 当前主流深度学习框架中有三种自动微分技术:
  37. - **基于静态计算图的转换**:编译时将网络转换为静态数据流图,将链式法则应用于数据流图,实现自动微分。
  38. - **基于动态计算图的转换**:记录算子过载正向执行时网络的运行轨迹,对动态生成的数据流图应用链式法则,实现自动微分。
  39. - **基于源码的转换**:该技术是从功能编程框架演进而来,以即时编译(Just-in-time Compilation,JIT)的形式对中间表达式(程序在编译过程中的表达式)进行自动差分转换,支持复杂的控制流场景、高阶函数和闭包。
  40. TensorFlow早期采用的是静态计算图,PyTorch采用的是动态计算图。静态映射可以利用静态编译技术来优化网络性能,但是构建网络或调试网络非常复杂。动态图的使用非常方便,但很难实现性能的极限优化。
  41. MindSpore找到了另一种方法,即基于源代码转换的自动微分。一方面,它支持自动控制流的自动微分,因此像PyTorch这样的模型构建非常方便。另一方面,MindSpore可以对神经网络进行静态编译优化,以获得更好的性能。
  42. <img src="https://gitee.com/mindspore/mindspore/raw/master/docs/Automatic-differentiation.png" alt="Automatic Differentiation" width="600"/>
  43. MindSpore自动微分的实现可以理解为程序本身的符号微分。MindSpore IR是一个函数中间表达式,它与基础代数中的复合函数具有直观的对应关系。复合函数的公式由任意可推导的基础函数组成。MindSpore IR中的每个原语操作都可以对应基础代数中的基本功能,从而可以建立更复杂的流控制。
  44. ### 自动并行
  45. MindSpore自动并行的目的是构建数据并行、模型并行和混合并行相结合的训练方法。该方法能够自动选择开销最小的模型切分策略,实现自动分布并行训练。
  46. <img src="https://gitee.com/mindspore/mindspore/raw/master/docs/Automatic-parallel.png" alt="Automatic Parallel" width="600"/>
  47. 目前MindSpore采用的是算子切分的细粒度并行策略,即图中的每个算子被切分为一个集群,完成并行操作。在此期间的切分策略可能非常复杂,但是作为一名Python开发者,您无需关注底层实现,只要顶层API计算是有效的即可。
  48. ## 安装
  49. ### pip方式安装
  50. MindSpore提供跨多个后端的构建选项:
  51. | 硬件平台 | 操作系统 | 状态 |
  52. | :------------ | :-------------- | :--- |
  53. | Ascend 910 | Ubuntu-x86 | ✔️ |
  54. | | Ubuntu-aarch64 | ✔️ |
  55. | | EulerOS-aarch64 | ✔️ |
  56. | | CentOS-x86 | ✔️ |
  57. | | CentOS-aarch64 | ✔️ |
  58. | GPU CUDA 10.1 | Ubuntu-x86 | ✔️ |
  59. | CPU | Ubuntu-x86 | ✔️ |
  60. | | Ubuntu-aarch64 | ✔️ |
  61. | | Windows-x86 | ✔️ |
  62. 使用`pip`命令安装,以`CPU`和`Ubuntu-x86`build版本为例:
  63. 1. 请从[MindSpore下载页面](https://www.mindspore.cn/versions)下载并安装whl包。
  64. ```bash
  65. pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.2.0-rc1/MindSpore/cpu/ubuntu_x86/mindspore-1.2.0rc1-cp37-cp37m-linux_x86_64.whl
  66. ```
  67. 2. 执行以下命令,验证安装结果。
  68. ```python
  69. import numpy as np
  70. import mindspore.context as context
  71. import mindspore.nn as nn
  72. from mindspore import Tensor
  73. from mindspore.ops import operations as P
  74. context.set_context(mode=context.GRAPH_MODE, device_target="CPU")
  75. class Mul(nn.Cell):
  76. def __init__(self):
  77. super(Mul, self).__init__()
  78. self.mul = P.Mul()
  79. def construct(self, x, y):
  80. return self.mul(x, y)
  81. x = Tensor(np.array([1.0, 2.0, 3.0]).astype(np.float32))
  82. y = Tensor(np.array([4.0, 5.0, 6.0]).astype(np.float32))
  83. mul = Mul()
  84. print(mul(x, y))
  85. ```
  86. ```text
  87. [ 4. 10. 18.]
  88. ```
  89. 使用pip方式,在不同的环境安装MindSpore,可参考以下文档。
  90. - [Ascend环境使用pip方式安装MindSpore](https://gitee.com/mindspore/docs/blob/master/install/mindspore_ascend_install_pip.md)
  91. - [GPU环境使用pip方式安装MindSpore](https://gitee.com/mindspore/docs/blob/master/install/mindspore_gpu_install_pip.md)
  92. - [CPU环境使用pip方式安装MindSpore](https://gitee.com/mindspore/docs/blob/master/install/mindspore_cpu_install_pip.md)
  93. ### 源码编译方式安装
  94. 使用源码编译方式,在不同的环境安装MindSpore,可参考以下文档。
  95. - [Ascend环境使用源码编译方式安装MindSpore](https://gitee.com/mindspore/docs/blob/master/install/mindspore_ascend_install_source.md)
  96. - [GPU环境使用源码编译方式安装MindSpore](https://gitee.com/mindspore/docs/blob/master/install/mindspore_gpu_install_source.md)
  97. - [CPU环境使用源码编译方式安装MindSpore](https://gitee.com/mindspore/docs/blob/master/install/mindspore_cpu_install_source.md)
  98. ### Docker镜像
  99. MindSpore的Docker镜像托管在[Docker Hub](https://hub.docker.com/r/mindspore)上。
  100. 目前容器化构建选项支持情况如下:
  101. | 硬件平台 | Docker镜像仓库 | 标签 | 说明 |
  102. | :----- | :------------------------ | :----------------------- | :--------------------------------------- |
  103. | CPU | `mindspore/mindspore-cpu` | `x.y.z` | 已经预安装MindSpore `x.y.z` CPU版本的生产环境。 |
  104. | | | `devel` | 提供开发环境从源头构建MindSpore(`CPU`后端)。安装详情请参考<https://www.mindspore.cn/install> 。 |
  105. | | | `runtime` | 提供运行时环境安装MindSpore二进制包(`CPU`后端)。 |
  106. | GPU | `mindspore/mindspore-gpu` | `x.y.z` | 已经预安装MindSpore `x.y.z` GPU版本的生产环境。 |
  107. | | | `devel` | 提供开发环境从源头构建MindSpore(`GPU CUDA10.1`后端)。安装详情请参考<https://www.mindspore.cn/install> 。 |
  108. | | | `runtime` | 提供运行时环境安装MindSpore二进制包(`GPU CUDA10.1`后端)。 |
  109. | Ascend | <center>&mdash;</center> | <center>&mdash;</center> | 即将推出,敬请期待。 |
  110. > **注意:** 不建议从源头构建GPU `devel` Docker镜像后直接安装whl包。我们强烈建议您在GPU `runtime` Docker镜像中传输并安装whl包。
  111. - CPU
  112. 对于`CPU`后端,可以直接使用以下命令获取并运行最新的稳定镜像:
  113. ```bash
  114. docker pull mindspore/mindspore-cpu:1.1.0
  115. docker run -it mindspore/mindspore-cpu:1.1.0 /bin/bash
  116. ```
  117. - GPU
  118. 对于`GPU`后端,请确保`nvidia-container-toolkit`已经提前安装,以下是`Ubuntu`用户安装指南:
  119. ```bash
  120. DISTRIBUTION=$(. /etc/os-release; echo $ID$VERSION_ID)
  121. curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
  122. curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list
  123. sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit nvidia-docker2
  124. sudo systemctl restart docker
  125. ```
  126. 编辑文件 daemon.json:
  127. ```bash
  128. $ vim /etc/docker/daemon.json
  129. {
  130. "runtimes": {
  131. "nvidia": {
  132. "path": "nvidia-container-runtime",
  133. "runtimeArgs": []
  134. }
  135. }
  136. }
  137. ```
  138. 再次重启docker:
  139. ```bash
  140. sudo systemctl daemon-reload
  141. sudo systemctl restart docker
  142. ```
  143. 使用以下命令获取并运行最新的稳定镜像:
  144. ```bash
  145. docker pull mindspore/mindspore-gpu:1.1.0
  146. docker run -it -v /dev/shm:/dev/shm --runtime=nvidia --privileged=true mindspore/mindspore-gpu:1.1.0 /bin/bash
  147. ```
  148. 要测试Docker是否正常工作,请运行下面的Python代码并检查输出:
  149. ```python
  150. import numpy as np
  151. import mindspore.context as context
  152. from mindspore import Tensor
  153. from mindspore.ops import functional as F
  154. context.set_context(mode=context.PYNATIVE_MODE, device_target="GPU")
  155. x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
  156. y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
  157. print(F.tensor_add(x, y))
  158. ```
  159. ```text
  160. [[[ 2. 2. 2. 2.],
  161. [ 2. 2. 2. 2.],
  162. [ 2. 2. 2. 2.]],
  163. [[ 2. 2. 2. 2.],
  164. [ 2. 2. 2. 2.],
  165. [ 2. 2. 2. 2.]],
  166. [[ 2. 2. 2. 2.],
  167. [ 2. 2. 2. 2.],
  168. [ 2. 2. 2. 2.]]]
  169. ```
  170. 如果您想了解更多关于MindSpore Docker镜像的构建过程,请查看[docker](https://gitee.com/mindspore/mindspore/blob/master/docker/README.md) repo了解详细信息。
  171. ## 快速入门
  172. 参考[快速入门](https://www.mindspore.cn/tutorial/training/zh-CN/master/quick_start/quick_start.html)实现图片分类。
  173. ## 文档
  174. 有关安装指南、教程和API的更多详细信息,请参阅[用户文档](https://gitee.com/mindspore/docs)。
  175. ## 社区
  176. ### 治理
  177. 查看MindSpore如何进行[开放治理](https://gitee.com/mindspore/community/blob/master/governance.md)。
  178. ### 交流
  179. - [MindSpore Slack](https://join.slack.com/t/mindspore/shared_invite/zt-dgk65rli-3ex4xvS4wHX7UDmsQmfu8w) 开发者交流平台。
  180. - `#mindspore`IRC频道(仅用于会议记录)
  181. - 视频会议:待定
  182. - 邮件列表:<https://mailweb.mindspore.cn/postorius/lists>
  183. ## 贡献
  184. 欢迎参与贡献。更多详情,请参阅我们的[贡献者Wiki](https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md)。
  185. ## 分支维护策略
  186. MindSpore的版本分支有以下几种维护阶段:
  187. | **状态** | **持续时间** | **说明** |
  188. |-------------|---------------|--------------------------------------------------|
  189. | Planning | 1 - 3 months | 特性规划。 |
  190. | Development | 3 months | 特性开发。 |
  191. | Maintained | 6 - 12 months | 允许所有问题修复的合入,并发布版本。 |
  192. | Unmaintained| 0 - 3 months | 允许所有问题修复的合入,无专人维护,不再发布版本。 |
  193. | End Of Life (EOL) | N/A | 不再接受修改合入该分支。 |
  194. ## 现有分支维护状态
  195. | **分支名** | **当前状态** | **上线时间** | **后续状态** | **EOL 日期** |
  196. |--------|--------------|----------------------|-----------------------------------|------------|
  197. | **r1.2** | Maintained | 2021-04-15 | Unmaintained <br> 2021-10-15 estimated | |
  198. | **r1.1** | Maintained | 2020-12-31 | Unmaintained <br> 2021-06-30 estimated | |
  199. | **r1.0** | Maintained | 2020-09-24 | Unmaintained <br> 2021-03-30 estimated | |
  200. | **r0.7** | Unmaintained | 2020-08-31 | End Of Life <br> 2021-02-28 estimated | |
  201. | **r0.6** | End Of Life | 2020-07-31 | | 2020-12-30 |
  202. | **r0.5** | Maintained | 2020-06-30 | Unmaintained <br> 2021-06-30 estimated | |
  203. | **r0.3** | End Of Life | 2020-05-31 | | 2020-09-30 |
  204. | **r0.2** | End Of Life | 2020-04-30 | | 2020-08-31 |
  205. | **r0.1** | End Of Life | 2020-03-28 | | 2020-06-30 |
  206. ## 版本说明
  207. 版本说明请参阅[RELEASE](https://gitee.com/mindspore/mindspore/blob/master/RELEASE.md)。
  208. ## 许可证
  209. [Apache License 2.0](https://gitee.com/mindspore/mindspore#/mindspore/mindspore/blob/master/LICENSE)