OpenI_Cloudbrain_Example/npu_mnist_example

• 如何在启智平台上进行模型训练—NPU_手写数字识别示例
• • 1.启智集群和智算集群的NPU训练样例
  • • • • • 启智集群的示例代码：
  • 2. 在云脑上获取数据集，预训练模型，输出路径
  • 3.创建NPU训练示例任务界面教程
  • 4.FAQ
  • • 4.1 关于公共库c2net：
    • 4.2 解决参数报错问题：
    • 4.3 多卡训练任务如何只让数据集只拷贝一次
  • 对于示例代码有任何问题，欢迎在本项目中提issue。

如何在启智平台上进行模型训练—NPU_手写数字识别示例

1.启智集群和智算集群的NPU训练样例

启智集群的示例代码：

• 训练任务单卡示例请参考示例中train.py的代码注释
• 训练任务多卡示例请参考示例中train_multi_card.py的代码注释
• 训练任务示例请参考示例中inference.py的代码注释
• 启智集群训练任务已经将ImageNet-1k数据集挂载到训练镜像，具体使用方法请参考示例中read_imagenet.py的代码注释

2. 在云脑上获取数据集，预训练模型，输出路径

使用c2net包

#导入包
from c2net.context import prepare, upload_openi

#初始化导入数据集和预训练模型到容器内
c2net_context = prepare()

#获取代码路径，数据集路径，预训练模型路径，输出路径
code_path = c2net_context.code_path
dataset_path = c2net_context.dataset_path
pretrain_model_path = c2net_context.pretrain_model_path
output_path = c2net_context.output_path

#回传结果到openi
upload_output()

3.创建NPU训练示例任务界面教程

4.FAQ

4.1 关于公共库c2net：

主要使用的方法有以下几个：

prepare                                            准备数据集，模型，输出路径
c2net.context.upload_output                        将训练镜像的输出结果拷贝回启智平台
c2net.context.moxing_helper.obs_copy_file          通过mox拷贝文件
c2net.context.moxing_helper.obs_copy_folder 	   通过mox拷贝文件夹

4.2 解决参数报错问题：

请在代码中加入 args, unknown = parser.parse_known_args()，可忽略掉 --ckpt_url，--data_url, --multi_date_url等参数报错问题

4.3 多卡训练任务如何只让数据集只拷贝一次

使用缓存文件和local_rank%8作为判断，若第0卡拷贝完成，则其它卡不拷贝，并在第0卡拷贝数据完成后才执行之后的代码

if local_rank%8==0:
    这里省略下载数据的代码...
    f = open("/cache/download_input.txt", 'w')  
    f.close()
    try:
        if os.path.exists("/cache/download_input.txt"):
            print("download_input succeed")
    except Exception as e:
        print("download_input failed")
while not os.path.exists("/cache/download_input.txt"):
    time.sleep(1) 

对于示例代码有任何问题，欢迎在本项目中提issue。