ModelScope

1043 Commits

1 Branch

10 MB

58 Download

Commit Graph

Author	SHA1	Message	Date
hemu.zp	69104c0f8a	[to #42322933 ] Refactor text generation model outputs and fix some bugs 1. 将 single_gpu_test 与 multi_gpu_test 中的 model.forward 部分分离为 EpochBasedTrainer 中的 evaluation_step，为部分 evaluation 阶段不调用 forward 的模型提供更好的灵活性 2. 重构代码将文本生成模型 Model 层的输入输出统一为 Tensor，Tensor 到 str 的 decode 过程移动到 pipeline 中完成 3. pipeline 后处理添加对中文和中文标点与英文混杂时空格的处理，使 decode 后中英文混杂输出正确 4. 添加 TextGenerationTrainer 修复了部分模型 evaluation 过程 forward 输出单个 token 计算 metrics 的问题 5. 修复了 rouge 无法接收空字符串的问题 Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/10473768	3 years ago
zhangzhicheng.zzc	b94bb74f66	[to #42322933 ]Add model.save_pretrained method and allow finetune results used by pipeline	3 years ago
jiangnana.jnn	76482cc3ea	[to #43850241 ] fix processor and collate_fn Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9644184 * fix ditributed training and eval	3 years ago

Author

SHA1

Message

Date

hemu.zp

69104c0f8a

[to #42322933 ] Refactor text generation model outputs and fix some bugs

1. 将 single_gpu_test 与 multi_gpu_test 中的 model.forward 部分分离为 EpochBasedTrainer 中的 evaluation_step，为部分 evaluation 阶段不调用 forward 的模型提供更好的灵活性
2. 重构代码将文本生成模型 Model 层的输入输出统一为 Tensor，Tensor 到 str 的 decode 过程移动到 pipeline 中完成
3. pipeline 后处理添加对中文和中文标点与英文混杂时空格的处理，使 decode 后中英文混杂输出正确
4. 添加 TextGenerationTrainer 修复了部分模型 evaluation 过程 forward 输出单个 token 计算 metrics 的问题
5. 修复了 rouge 无法接收空字符串的问题
        Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/10473768

3 years ago

zhangzhicheng.zzc

b94bb74f66

[to #42322933 ]Add model.save_pretrained method and allow finetune results used by pipeline

3 years ago

jiangnana.jnn

76482cc3ea

[to #43850241 ] fix processor and collate_fn

Link: https://code.alibaba-inc.com/Ali-MaaS/MaaS-lib/codereview/9644184

    * fix ditributed training and eval

3 years ago

3 Commits (2536f9ec9b9470ab889d1dcd867a00345ad05d1e)