zzy34407230
/
mindspore2022
Not watched
1
0
Fork 0
Code
Releases 22 Wiki evaluate Activity
Issues 0 Pull Requests 0 Datasets Model Cloudbrain HPC
You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
Tree: d608ffdaf2
Branches Tags
${ item.name }
Create branch ${ searchTerm }
from 'd608ffdaf2'
${ noResults }
mindspore2022/docs/api/api_python/mindspore.dataset.rst

111 lines
3.1 kB
Raw Blame History 

  1. mindspore.dataset

  2. =================

  3. 

  4. 该模块提供了加载和处理各种通用数据集的API，如MNIST、CIFAR-10、CIFAR-100、VOC、COCO、ImageNet、CelebA、CLUE等，

  5. 也支持加载业界标准格式的数据集，包括MindRecord、TFRecord、Manifest等。此外，用户还可以使用此模块定义和加载自己的数据集。

  6. 

  7. 该模块还提供了在加载时进行数据采样的API，如SequentialSample、RandomSampler、DistributedSampler等。

  8. 

  9. 大多数数据集可以通过指定参数 `cache` 启用缓存服务，以提升整体数据处理效率。

  10. 请注意Windows平台上还不支持缓存服务，因此在Windows上加载和处理数据时，请勿使用。更多介绍和限制，

  11. 请参考 `Single-Node Tensor Cache <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/cache.html>`_。

  12. 

  13. 在API示例中，常用的模块导入方法如下：

  14. 

  15. .. code-block::

  16. 

  17.     import mindspore.dataset as ds

  18.     from mindspore.dataset.transforms import c_transforms

  19. 

  20. 常用数据集术语说明如下：

  21. 

  22. - Dataset，所有数据集的基类，提供了数据处理方法来帮助预处理数据。

  23. - SourceDataset，一个抽象类，表示数据集管道的来源，从文件和数据库等数据源生成数据。

  24. - MappableDataset，一个抽象类，表示支持随机访问的源数据集。

  25. - Iterator，用于枚举元素的数据集迭代器的基类。

  26. 

  27. 视觉

  28. -----

  29. 

  30. .. cnmsautosummary::

  31.     :toctree: dataset

  32. 

  33.     mindspore.dataset.CelebADataset

  34.     mindspore.dataset.Cifar10Dataset

  35.     mindspore.dataset.Cifar100Dataset

  36.     mindspore.dataset.CocoDataset

  37.     mindspore.dataset.ImageFolderDataset

  38.     mindspore.dataset.ManifestDataset

  39.     mindspore.dataset.MnistDataset

  40.     mindspore.dataset.VOCDataset

  41. 

  42. 文本

  43. ----

  44. 

  45. .. cnmsautosummary::

  46.     :toctree: dataset

  47. 

  48.     mindspore.dataset.CLUEDataset

  49.     mindspore.dataset.TextFileDataset

  50. 

  51. 标准格式

  52. --------

  53. 

  54. .. cnmsautosummary::

  55.     :toctree: dataset

  56. 

  57.     mindspore.dataset.CSVDataset

  58.     mindspore.dataset.MindDataset

  59.     mindspore.dataset.TFRecordDataset

  60. 

  61. 用户自定义

  62. ----------

  63. 

  64. .. cnmsautosummary::

  65.     :toctree: dataset

  66. 

  67.     mindspore.dataset.GeneratorDataset

  68.     mindspore.dataset.NumpySlicesDataset

  69.     mindspore.dataset.PaddedDataset

  70. 

  71. 图

  72. ---

  73. 

  74. .. cnmsautosummary::

  75.     :toctree: dataset

  76.     

  77.     mindspore.dataset.GraphData

  78. 

  79. 

  80. 采样器

  81. -------

  82. 

  83. .. cnmsautosummary::

  84.     :toctree: dataset

  85. 

  86.     mindspore.dataset.DistributedSampler

  87.     mindspore.dataset.PKSampler

  88.     mindspore.dataset.RandomSampler

  89.     mindspore.dataset.SequentialSampler

  90.     mindspore.dataset.SubsetRandomSampler

  91.     mindspore.dataset.SubsetSampler

  92.     mindspore.dataset.WeightedRandomSampler

  93. 

  94. 

  95. 其他

  96. -----

  97. 

  98. .. cnmsautosummary::

  99.     :toctree: dataset

  100. 

  101.     mindspore.dataset.DatasetCache

  102.     mindspore.dataset.DSCallback

  103.     mindspore.dataset.Schema

  104.     mindspore.dataset.WaitedDSCallback

  105.     mindspore.dataset.compare

  106.     mindspore.dataset.deserialize

  107.     mindspore.dataset.serialize

  108.     mindspore.dataset.show

  109.     mindspore.dataset.utils.imshow_det_bbox

  110.     mindspore.dataset.zip