|
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354 |
- # 如何在启智平台上进行模型训练—GPU示例
-
- ## 1.启智集群和智算集群的GPU训练样例
-
- ###### 启智集群的示例代码:
-
- - 训练示例请参考示例中[train_npu.py](./train_npu.py)的代码注释
-
- ## 2. 在openi上获取数据集,预训练模型,输出路径
-
- 安装openi包
-
- ```
- pip install -U openi
- ```
-
- 使用openi包
-
- ```
- #导入包
- from openi.context import prepare, upload_openi
-
- #初始化导入数据集和预训练模型到容器内
- openi_context = prepare()
-
- #获取数据集路径,预训练模型路径,输出路径
- dataset_path = openi_context.dataset_path
- pretrain_model_path = openi_context.pretrain_model_path
- output_path = openi_context.output_path
-
- #回传结果到openi
- upload_openi()
- ```
-
- ## 3.[创建GPU训练示例任务界面教程](./Example_Picture/快速创建GPU训练任务.md)
-
- ## 4.FAQ
-
- ### 4.1 关于启智平台公共库[openi](https://openi.pcl.ac.cn/OpenIOSSG/openi-pypi):
-
- 主要使用的方法有以下几个:
-
- ```
- prepare 准备数据集,模型,输出路径
- upload_openi 将训练镜像的输出结果拷贝回启智平台
- obs_copy_file 通过mox拷贝文件
- obs_copy_folder 通过mox拷贝文件夹
- ```
-
- ### 4.2 解决参数报错问题:
-
- 请在代码中加入 `args, unknown = parser.parse_known_args()`,可忽略掉 `--ckpt_url`,`--data_url`, `--multi_date_url`等参数报错问题
-
- ## 对于示例代码有任何问题,欢迎在本项目中提issue。
|