You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

mindspore.DatasetHelper.txt 2.3 kB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657
  1. Class mindspore.DatasetHelper(dataset, dataset_sink_mode=True, sink_size=-1, epoch_num=1)
  2. DatasetHelper是一个处理MindData数据集的类,提供数据集信息。
  3. 根据不同的上下文,改变数据集的迭代,在不同的上下文中使用相同的迭代。
  4. 注:
  5. DatasetHelper的迭代将提供一个epoch的数据。
  6. 参数:
  7. dataset (Dataset):训练数据集迭代器。数据集可以由数据集生成器API在:class:`mindspore.dataset`中生成,例如:class:`mindspore.dataset.ImageFolderDataset`。
  8. dataset_sink_mode (bool):如果值为True,使用:class:`mindspore.ops.GetNext`在设备(Device)上通过数据通道中获取数据,否则在主机直接遍历数据集获取数据。默认值:True。
  9. sink_size (int):控制每个下沉中的数据量。
  10. 如果`sink_size`为-1,则下沉每个epoch的完整数据集。
  11. 如果`sink_size`大于0,则下沉每个epoch的`sink_size`数据。
  12. 默认值:-1。
  13. epoch_num (int):控制待发送的epoch数据量。默认值:1。
  14. 样例:
  15. >>> from mindspore import DatasetHelper
  16. >>>
  17. >>> train_dataset = create_custom_dataset()
  18. >>> set_helper = DatasetHelper(train_dataset, dataset_sink_mode=False)
  19. >>> # DatasetHelper对象是可迭代的
  20. >>> for next_element in set_helper:
  21. ... next_element
  22. continue_send()
  23. 在epoch开始时继续向设备发送数据。
  24. dynamic_min_max_shapes()
  25. 返回动态数据的形状(shape)范围(最小形状(shape),最大形状(shape))。
  26. get_data_info()
  27. 下沉模式下,获取当前批次数据的类型和形状(shape)。
  28. 通常在数据形状(shape)动态变化的场景使用。
  29. 样例:
  30. >>> from mindspore import DatasetHelper
  31. >>>
  32. >>> train_dataset = create_custom_dataset()
  33. >>> dataset_helper = DatasetHelper(train_dataset, dataset_sink_mode=True)
  34. >>>
  35. >>> types, shapes = dataset_helper.get_data_info()
  36. release()
  37. 释放数据下沉资源。
  38. sink_size()
  39. 获取每次迭代的`sink_size`。
  40. stop_send()
  41. 停止发送数据下沉数据。
  42. types_shapes()
  43. 从当前配置中的数据集获取类型和形状(shape)。