You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

README.md 1.5 kB

2 years ago
2 years ago
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354
  1. # 如何在启智平台上进行模型训练—GPU示例
  2. ## 1.启智集群和智算集群的GPU训练样例
  3. ###### 启智集群的示例代码:
  4. - 训练示例请参考示例中[train_npu.py](./train_npu.py)的代码注释
  5. ## 2. 在openi上获取数据集,预训练模型,输出路径
  6. 安装openi包
  7. ```
  8. pip install -U openi
  9. ```
  10. 使用openi包
  11. ```
  12. #导入包
  13. from openi.context import prepare, upload_openi
  14. #初始化导入数据集和预训练模型到容器内
  15. openi_context = prepare()
  16. #获取数据集路径,预训练模型路径,输出路径
  17. dataset_path = openi_context.dataset_path
  18. pretrain_model_path = openi_context.pretrain_model_path
  19. output_path = openi_context.output_path
  20. #回传结果到openi
  21. upload_openi()
  22. ```
  23. ## 3.[创建GPU训练示例任务界面教程](./Example_Picture/快速创建GPU训练任务.md)
  24. ## 4.FAQ
  25. ### 4.1 关于启智平台公共库[openi](https://openi.pcl.ac.cn/OpenIOSSG/openi-pypi):
  26. 主要使用的方法有以下几个:
  27. ```
  28. prepare 准备数据集,模型,输出路径
  29. upload_openi 将训练镜像的输出结果拷贝回启智平台
  30. obs_copy_file 通过mox拷贝文件
  31. obs_copy_folder 通过mox拷贝文件夹
  32. ```
  33. ### 4.2 解决参数报错问题:
  34. 请在代码中加入 `args, unknown = parser.parse_known_args()`,可忽略掉 `--ckpt_url`,`--data_url`, `--multi_date_url`等参数报错问题
  35. ## 对于示例代码有任何问题,欢迎在本项目中提issue。

No Description