zhouneng
5 years ago
2 changed files with 105 additions and 86 deletions
Split View
Diff Options
-
+67 -51model_zoo/official/cv/cnnctc/README_CN.md
-
+38 -35model_zoo/official/cv/resnet50_quant/README_CN.md
+ 67
- 51
model_zoo/official/cv/cnnctc/README_CN.md
View File
| @@ -11,18 +11,18 @@ | |||
| - [环境要求](#环境要求) | |||
| - [快速入门](#快速入门) | |||
| - [脚本说明](#脚本说明) | |||
| - [脚本及样例代码](#脚本及样例代码) | |||
| - [脚本参数](#脚本参数) | |||
| - [训练过程](#训练过程) | |||
| - [脚本及样例代码](#脚本及样例代码) | |||
| - [脚本参数](#脚本参数) | |||
| - [训练过程](#训练过程) | |||
| - [训练](#训练) | |||
| - [训练结果](#训练结果) | |||
| - [评估过程](#评估过程) | |||
| - [评估过程](#评估过程) | |||
| - [评估](#评估) | |||
| - [模型描述](#模型描述) | |||
| - [性能](#性能) | |||
| - [性能](#性能) | |||
| - [训练性能](#训练性能) | |||
| - [评估性能](#评估性能) | |||
| - [用法](#用法) | |||
| - [用法](#用法) | |||
| - [推理](#推理) | |||
| - [在预训练模型上继续训练](#在预训练模型上继续训练) | |||
| - [ModelZoo主页](#modelzoo主页) | |||
| @@ -30,6 +30,7 @@ | |||
| <!-- /TOC --> | |||
| # CNN+CTC描述 | |||
| 本文描述了对场景文本识别（STR）的三个主要贡献。 | |||
| 首先检查训练和评估数据集不一致的内容，以及导致的性能差距。 | |||
| 再引入一个统一的四阶段STR框架，目前大多数STR模型都能够适应这个框架。 | |||
| @@ -40,6 +41,7 @@ | |||
| [论文](https://arxiv.org/abs/1904.01906)： J. Baek, G. Kim, J. Lee, S. Park, D. Han, S. Yun, S. J. Oh, and H. Lee, “What is wrong with scene text recognition model comparisons? dataset and model analysis,” ArXiv, vol. abs/1904.01906, 2019. | |||
| # 模型架构 | |||
| 示例：在MindSpore上使用MJSynth和SynthText数据集训练CNN+CTC模型进行文本识别。 | |||
| # 数据集 | |||
| @@ -47,14 +49,18 @@ | |||
| [MJSynth](https://www.robots.ox.ac.uk/~vgg/data/text/)和[SynthText](https://github.com/ankush-me/SynthText)数据集用于模型训练。[The IIIT 5K-word dataset](https://cvit.iiit.ac.in/research/projects/cvit-projects/the-iiit-5k-word-dataset)数据集用于评估。 | |||
| - 步骤1： | |||
| 所有数据集均经过预处理，以.lmdb格式存储，点击[**此处**](https://drive.google.com/drive/folders/192UfE9agQUMNq6AgU3_E05_FcPZK4hyt)可下载。 | |||
| - 步骤2： | |||
| 解压下载的文件，重命名MJSynth数据集为MJ，SynthText数据集为ST，IIIT数据集为IIIT。 | |||
| - 步骤3： | |||
| 将上述三个数据集移至`cnctc_data`文件夹中，结构如下： | |||
| ``` | |||
| ```python | |||
| |--- CNNCTC/ | |||
| |--- cnnctc_data/ | |||
| |--- ST/ | |||
| @@ -66,13 +72,15 @@ | |||
| |--- IIIT/ | |||
| data.mdb | |||
| lock.mdb | |||
| ...... | |||
| ``` | |||
| - 步骤4： | |||
| 预处理数据集： | |||
| ``` | |||
| ```shell | |||
| python src/preprocess_dataset.py | |||
| ``` | |||
| @@ -87,22 +95,24 @@ python src/preprocess_dataset.py | |||
| # 环境要求 | |||
| - 硬件（Ascend） | |||
| - 准备Ascend或GPU处理器搭建硬件环境。如需试用昇腾处理器，请发送[申请表](https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/file/other/Ascend%20Model%20Zoo%E4%BD%93%E9%AA%8C%E8%B5%84%E6%BA%90%E7%94%B3%E8%AF%B7%E8%A1%A8.docx)至ascend@huawei.com，审核通过即可获得资源。 | |||
| - 硬件(Ascend) | |||
| - 准备Ascend或GPU处理器搭建硬件环境。如需试用昇腾处理器，请发送[申请表](https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/file/other/Ascend%20Model%20Zoo%E4%BD%93%E9%AA%8C%E8%B5%84%E6%BA%90%E7%94%B3%E8%AF%B7%E8%A1%A8.docx)至ascend@huawei.com，审核通过即可获得资源。 | |||
| - 框架 | |||
| - [MindSpore](https://www.mindspore.cn/install) | |||
| - 如需查看详情，请参见如下资源： | |||
| - [MindSpore教程](https://www.mindspore.cn/tutorial/zh-CN/master/index.html) | |||
| - [MindSpore API](https://www.mindspore.cn/api/zh-CN/master/index.html) | |||
| - [MindSpore Python API](https://www.mindspore.cn/doc/api_python/zh-CN/master/index.html) | |||
| # 快速入门 | |||
| - 安装依赖： | |||
| ``` | |||
| ```python | |||
| pip install lmdb | |||
| pip install Pillow | |||
| pip install tqdm | |||
| @@ -111,19 +121,19 @@ pip install six | |||
| - 单机训练： | |||
| ``` | |||
| ```shell | |||
| bash scripts/run_standalone_train_ascend.sh $PRETRAINED_CKPT | |||
| ``` | |||
| - 分布式训练： | |||
| ``` | |||
| ```shell | |||
| bash scripts/run_distribute_train_ascend.sh $RANK_TABLE_FILE $PRETRAINED_CKPT | |||
| ``` | |||
| - 评估： | |||
| ``` | |||
| ```shell | |||
| bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| ``` | |||
| @@ -132,7 +142,8 @@ bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| ## 脚本及样例代码 | |||
| 完整代码结构如下： | |||
| ``` | |||
| ```python | |||
| |--- CNNCTC/ | |||
| |---README.md // CNN+CTC相关描述 | |||
| |---train.py // 训练脚本 | |||
| @@ -154,37 +165,40 @@ bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| ``` | |||
| ## 脚本参数 | |||
| 在`config.py`中可以同时配置训练参数和评估参数。 | |||
| 参数： | |||
| * `--CHARACTER`：字符标签。 | |||
| * `--NUM_CLASS`：类别数，包含所有字符标签和CTCLoss的<blank>标签。 | |||
| * `--HIDDEN_SIZE`：模型隐藏大小。 | |||
| * `--FINAL_FEATURE_WIDTH`：特性的数量。 | |||
| * `--IMG_H`：输入图像高度。 | |||
| * `--IMG_W`：输入图像宽度。 | |||
| * `--TRAIN_DATASET_PATH`：训练数据集的路径。 | |||
| * `--TRAIN_DATASET_INDEX_PATH`：决定顺序的训练数据集索引文件的路径。 | |||
| * `--TRAIN_BATCH_SIZE`：训练批次大小。在批次大小和索引文件中，必须确保输入数据是固定的形状。 | |||
| * `--TRAIN_DATASET_SIZE`：训练数据集大小。 | |||
| * `--TEST_DATASET_PATH`：测试数据集的路径。 | |||
| * `--TEST_BATCH_SIZE`：测试批次大小。 | |||
| * `--TRAIN_EPOCHS`：总训练轮次。 | |||
| * `--CKPT_PATH`：模型检查点文件路径，可用于恢复训练和评估。 | |||
| * `--SAVE_PATH`：模型检查点文件保存路径。 | |||
| * `--LR`：单机训练学习率。 | |||
| * `--LR_PARA`：分布式训练学习率。 | |||
| * `--Momentum`：动量。 | |||
| * `--LOSS_SCALE`：损失放大，避免梯度下溢。 | |||
| * `--SAVE_CKPT_PER_N_STEP`：每N步保存模型检查点文件。 | |||
| * `--KEEP_CKPT_MAX_NUM`：模型检查点文件保存数量上限。 | |||
| - `--CHARACTER`：字符标签。 | |||
| - `--NUM_CLASS`：类别数，包含所有字符标签和CTCLoss的<blank>标签。 | |||
| - `--HIDDEN_SIZE`：模型隐藏大小。 | |||
| - `--FINAL_FEATURE_WIDTH`：特性的数量。 | |||
| - `--IMG_H`：输入图像高度。 | |||
| - `--IMG_W`：输入图像宽度。 | |||
| - `--TRAIN_DATASET_PATH`：训练数据集的路径。 | |||
| - `--TRAIN_DATASET_INDEX_PATH`：决定顺序的训练数据集索引文件的路径。 | |||
| - `--TRAIN_BATCH_SIZE`：训练批次大小。在批次大小和索引文件中，必须确保输入数据是固定的形状。 | |||
| - `--TRAIN_DATASET_SIZE`：训练数据集大小。 | |||
| - `--TEST_DATASET_PATH`：测试数据集的路径。 | |||
| - `--TEST_BATCH_SIZE`：测试批次大小。 | |||
| - `--TRAIN_EPOCHS`：总训练轮次。 | |||
| - `--CKPT_PATH`：模型检查点文件路径，可用于恢复训练和评估。 | |||
| - `--SAVE_PATH`：模型检查点文件保存路径。 | |||
| - `--LR`：单机训练学习率。 | |||
| - `--LR_PARA`：分布式训练学习率。 | |||
| - `--Momentum`：动量。 | |||
| - `--LOSS_SCALE`：损失放大，避免梯度下溢。 | |||
| - `--SAVE_CKPT_PER_N_STEP`：每N步保存模型检查点文件。 | |||
| - `--KEEP_CKPT_MAX_NUM`：模型检查点文件保存数量上限。 | |||
| ## 训练过程 | |||
| ### 训练 | |||
| - 单机训练： | |||
| ``` | |||
| ```shell | |||
| bash scripts/run_standalone_train_ascend.sh $PRETRAINED_CKPT | |||
| ``` | |||
| @@ -193,22 +207,22 @@ bash scripts/run_standalone_train_ascend.sh $PRETRAINED_CKPT | |||
| `$PRETRAINED_CKPT`为模型检查点的路径，**可选**。如果值为none，模型将从头开始训练。 | |||
| - 分布式训练： | |||
| ``` | |||
| ```shell | |||
| bash scripts/run_distribute_train_ascend.sh $RANK_TABLE_FILE $PRETRAINED_CKPT | |||
| ``` | |||
| 结果和检查点分别写入设备`i`的`./train_parallel_{i}`文件夹。 | |||
| 日志可以在`./train_parallel_{i}/log_{i}.log`中找到，损失值记录在`./train_parallel_{i}/loss.log`中。 | |||
| 结果和检查点分别写入设备`i`的`./train_parallel_{i}`文件夹。 | |||
| 日志可以在`./train_parallel_{i}/log_{i}.log`中找到，损失值记录在`./train_parallel_{i}/loss.log`中。 | |||
| 在Ascend上运行分布式任务时需要`$RANK_TABLE_FILE`。 | |||
| 在Ascend上运行分布式任务时需要`$RANK_TABLE_FILE`。 | |||
| `$PATH_TO_CHECKPOINT`为模型检查点的路径，**可选**。如果值为none，模型将从头开始训练。 | |||
| ### 训练结果 | |||
| 训练结果保存在示例路径中，文件夹名称以“train”或“train_parallel”开头。您可在此路径下的日志中找到检查点文件以及结果，如下所示。 | |||
| ``` | |||
| ```python | |||
| # 分布式训练结果（8P） | |||
| epoch: 1 step: 1 , loss is 76.25, average time per step is 0.335177839748392712 | |||
| epoch: 1 step: 2 , loss is 73.46875, average time per step is 0.36798572540283203 | |||
| @@ -235,7 +249,7 @@ epoch: 1 step: 8698 , loss is 9.708542263610315, average time per step is 0.3184 | |||
| - 评估： | |||
| ``` | |||
| ```shell | |||
| bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| ``` | |||
| @@ -260,7 +274,7 @@ bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| | 速度 | 1卡：300毫秒/步；8卡：310毫秒/步 | | |||
| | 总时间 | 1卡：18小时；8卡：2.3小时 | | |||
| | 参数(M) | 177 | | |||
| | 脚本 | https://gitee.com/mindspore/mindspore/tree/master/model_zoo/office/cv/cnnctc | | |||
| | 脚本 | <https://gitee.com/mindspore/mindspore/tree/master/model_zoo/official/cv/cnnctc> | | |||
| ### 评估性能 | |||
| @@ -277,13 +291,14 @@ bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| | 推理模型 | 675M（.ckpt文件） | | |||
| ## 用法 | |||
| ### 推理 | |||
| 如果您需要在GPU、Ascend 910、Ascend 310等多个硬件平台上使用训练好的模型进行推理，请参考此[链接](https://www.mindspore.cn/tutory/zh-CN/master/advanced_use/network_migration.html)。以下为简单示例： | |||
| - Ascend处理器环境运行 | |||
| ``` | |||
| ```python | |||
| # 设置上下文 | |||
| context.set_context(mode=context.GRAPH_HOME, device_target=cfg.device_target) | |||
| context.set_context(device_id=cfg.device_id) | |||
| @@ -314,7 +329,7 @@ bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| - Ascend处理器环境运行 | |||
| ``` | |||
| ```python | |||
| # 加载数据集 | |||
| dataset = create_dataset(cfg.data_path, 1) | |||
| batch_num = dataset.get_dataset_size() | |||
| @@ -349,4 +364,5 @@ bash scripts/run_eval_ascend.sh $TRAINED_CKPT | |||
| ``` | |||
| # ModelZoo主页 | |||
| 请浏览官网[主页](https://gitee.com/mindspore/mindspore/tree/master/model_zoo)。 | |||
+ 38
- 35
model_zoo/official/cv/resnet50_quant/README_CN.md
View File
| @@ -1,4 +1,5 @@ | |||
| # 目录 | |||
| <!-- TOC --> | |||
| - [目录](#目录) | |||
| @@ -6,25 +7,25 @@ | |||
| - [模型架构](#模型架构) | |||
| - [数据集](#数据集) | |||
| - [特性](#特性) | |||
| - [混合精度](#混合精度) | |||
| - [混合精度](#混合精度) | |||
| - [环境要求](#环境要求) | |||
| - [脚本说明](#脚本说明) | |||
| - [脚本和样例代码](#脚本和样例代码) | |||
| - [脚本参数](#脚本参数) | |||
| - [训练过程](#训练过程) | |||
| - [用法](#用法) | |||
| - [启动](#启动) | |||
| - [结果](#结果) | |||
| - [评估过程](#评估过程) | |||
| - [用法](#用法-1) | |||
| - [启动](#启动-1) | |||
| - [结果](#结果-1) | |||
| - [脚本说明](#脚本说明) | |||
| - [脚本和样例代码](#脚本和样例代码) | |||
| - [脚本参数](#脚本参数) | |||
| - [训练过程](#训练过程) | |||
| - [用法](#用法) | |||
| - [启动](#启动) | |||
| - [结果](#结果) | |||
| - [评估过程](#评估过程) | |||
| - [用法](#用法-1) | |||
| - [启动](#启动-1) | |||
| - [结果](#结果-1) | |||
| - [模型描述](#模型描述) | |||
| - [性能](#性能) | |||
| - [训练性能](#训练性能) | |||
| - [评估性能](#评估性能) | |||
| - [随机情况说明](#随机情况说明) | |||
| - [ModelZoo主页](#modelzoo主页) | |||
| - [性能](#性能) | |||
| - [训练性能](#训练性能) | |||
| - [评估性能](#评估性能) | |||
| - [随机情况说明](#随机情况说明) | |||
| - [ModelZoo主页](#modelzoo主页) | |||
| <!-- /TOC --> | |||
| @@ -35,6 +36,7 @@ ResNet-50是一个50层的卷积神经网络，可以将ImageNet图像分成1000 | |||
| [论文](https://arxiv.org/abs/1512.03385)： Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun."Deep Residual Learning for Image Recognition."： He, Kaiming , et al. "Deep Residual Learning for Image Recognition." IEEE Conference on Computer Vision & Pattern Recognition IEEE Computer Society, 2016. | |||
| 此为ResNet-50的量化分析网络。 | |||
| ## 模型架构 | |||
| ResNet-50总体网络架构如下： | |||
| @@ -45,12 +47,12 @@ ResNet-50总体网络架构如下： | |||
| 使用的数据集：[imagenet](http://www.image-net.org/) | |||
| -数据集大小：125G，共1000个类、1.2万张彩色图像 | |||
| - 训练集：120G，共1.2万张图像 | |||
| - 测试集：5G，共5万张图像 | |||
| -数据格式：RGB | |||
| * 注：数据在src/dataset.py中处理。 | |||
| - 数据集大小：125G，共1000个类、1.2万张彩色图像 | |||
| - 训练集：120G，共1.2万张图像 | |||
| - 测试集：5G，共5万张图像 | |||
| - 数据格式：RGB | |||
| - 注：数据在src/dataset.py中处理。 | |||
| ## 特性 | |||
| @@ -62,15 +64,16 @@ ResNet-50总体网络架构如下： | |||
| # 环境要求 | |||
| - 硬件：昇腾处理器（Ascend） | |||
| - 使用昇腾处理器来搭建硬件环境。如需试用昇腾处理器，请发送[申请表](https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/file/other/Ascend%20Model%20Zoo%E4%BD%93%E9%AA%8C%E8%B5%84%E6%BA%90%E7%94%B3%E8%AF%B7%E8%A1%A8.docx)至ascend@huawei.com，审核通过即可获得资源。 | |||
| - 使用昇腾处理器来搭建硬件环境。如需试用昇腾处理器，请发送[申请表](https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/file/other/Ascend%20Model%20Zoo%E4%BD%93%E9%AA%8C%E8%B5%84%E6%BA%90%E7%94%B3%E8%AF%B7%E8%A1%A8.docx)至ascend@huawei.com，审核通过即可获得资源。 | |||
| - 框架 | |||
| - [MindSpore](https://www.mindspore.cn/install) | |||
| -如需查看详情，请参见如下资源： | |||
| - 如需查看详情，请参见如下资源： | |||
| - [MindSpore教程](https://www.mindspore.cn/tutorial/training/en/master/index.html) | |||
| - [MindSpore Python API](https://www.mindspore.cn/doc/api_python/en/master/index.html) | |||
| - [MindSpore Python API](https://www.mindspore.cn/doc/api_python/en/master/index.html) | |||
| ## 脚本说明 | |||
| @@ -127,18 +130,19 @@ ResNet-50总体网络架构如下： | |||
| ### 用法 | |||
| - 晟腾（Ascend）: sh run_train.sh Ascend [RANK_TABLE_FILE] [DATASET_PATH] [PRETRAINED_CKPT_PATH]\（可选） | |||
| ### 启动 | |||
| ``` | |||
| ```python | |||
| # 训练示例 | |||
| Ascend:bash run_train.sh Ascend ~/hccl_4p_0123_x.x.x.json ~/imagenet/train/ | |||
| Ascend:bash run_train.sh Ascend ~/hccl_4p_0123_x.x.x.json ~/imagenet/train/ | |||
| ``` | |||
| ### 结果 | |||
| 训练结果保存在示例路径中。检查点默认保存在`./train/device$i/`，训练日志重定向到`./train/device$i/train.log`，内容如下： | |||
| 训练结果保存在示例路径中。检查点默认保存在`./train/device$i/`，训练日志重定向到`./train/device$i/train.log`，内容如下： | |||
| ``` | |||
| ```python | |||
| epoch: 1 step: 5004, loss is 4.8995576 | |||
| epoch: 2 step: 5004, loss is 3.9235563 | |||
| epoch: 3 step: 5004, loss is 3.833077 | |||
| @@ -156,7 +160,7 @@ epoch: 5 step: 5004, loss is 3.1978393 | |||
| ### 启动 | |||
| ``` | |||
| ```shell | |||
| # 推理示例 | |||
| shell: | |||
| Ascend: sh run_infer.sh Ascend ~/imagenet/val/ ~/train/Resnet50-30_5004.ckpt | |||
| @@ -168,7 +172,7 @@ epoch: 5 step: 5004, loss is 3.1978393 | |||
| 推理结果保存在示例路径中，可以在`./eval/infer.log`中找到如下结果： | |||
| ``` | |||
| ```python | |||
| result:{'acc'：0.76576314102564111} | |||
| ``` | |||
| @@ -193,8 +197,8 @@ result:{'acc'：0.76576314102564111} | |||
| | 准确率 | | |||
| | 总时长 | 16h | | |||
| | 参数(M) | batch_size=32, epoch=30 | | |||
| | 微调检查点 | | |||
| | 推理模型 | | |||
| | 微调检查点 | | |||
| | 推理模型 | | |||
| ### 评估性能 | |||
| @@ -214,9 +218,8 @@ result:{'acc'：0.76576314102564111} | |||
| ## 随机情况说明 | |||
| [dataset.py](http://dataset.py/)中设置了“create_dataset”函数内的种子，同时还使用了train.py中的随机种子 | |||
| dataset.py中设置了“create_dataset”函数内的种子，同时还使用了train.py中的随机种子。 | |||
| ## ModelZoo主页 | |||
| 请浏览官网[主页](https://gitee.com/mindspore/mindspore/tree/master/model_zoo)。 | |||