mindspore2022/docs/api/api_python/dataset/mindspore.dataset.DistributedSampler.rst

mindspore.dataset.DistributedSampler
====================================

.. py:class:: mindspore.dataset.DistributedSampler(num_shards, shard_id, shuffle=True, num_samples=None, offset=-1)

    分布式采样器，将数据集进行分片用于分布式训练。

    **参数：**

    - **num_shards** (int)：数据集分片数量。
    - **shard_id** (int)：当前分片的分片ID，应在[0, num_shards-1]范围内。
    - **shuffle** (bool, optional)：如果为True，则索引将被打乱（默认为True）。
    - **num_samples** (int, optional)：要采样的样本数（默认为None，对所有元素进行采样）。
    - **offset** (int, optional)：将数据集中的元素发送到的起始分片ID，不应超过 `num_shards` 。仅当ConcatDataset以DistributedSampler为采样器时，此参数才有效。此参数影响每个分片的样本数（默认为-1，每个分片具有相同的样本数）。
            

    **样例：**

    >>> # 创建一个分布式采样器，共10个分片。当前分片为分片5。
    >>> sampler = ds.DistributedSampler(10, 5)
    >>> dataset = ds.ImageFolderDataset(image_folder_dataset_dir,
    ...                                 num_parallel_workers=8,
    ...                                 sampler=sampler)

    **异常：**

    - **TypeError**：`num_shards` 不是整数值。
    - **TypeError**：`shard_id` 不是整数值。
    - **TypeError**：`shuffle` 不是Boolean值。
    - **TypeError**：`num_samples` 不是整数值。
    - **TypeError**：`offset` 不是整数值。
    - **ValueError**：`num_samples` 为负值。
    - **RuntimeError**：`num_shards` 不是正值。
    - **RuntimeError**：`shard_id` 小于0或大于等于 `num_shards` 。
    - **RuntimeError**：`offset` 大于 `num_shards` 。

    .. include:: mindspore.dataset.BuiltinSampler.rst