| @@ -0,0 +1,11 @@ | |||||
| # SIG of Distributed Training | |||||
| This SIG will dedicate our throughts and work on the distributed training. | |||||
| # Content Sharing | |||||
| All contents, including but not limit to the slide, paper and talk, will be shared in this folder. | |||||
| # Community meeting | |||||
| We will share the invitation of the community meeting through the mailing list. Welcome to join this sig via the page below: | |||||
| https://mailweb.mindspore.cn/postorius/lists/mindspore-distributed-sig.mindspore.cn/ | |||||
| @@ -0,0 +1,12 @@ | |||||
| 日期: 20220805 10AM(_北京时间_) | |||||
| 与会人员:Chong Bao, Jiahong Qian, Jiangsheng Yu, Liya Chen, Naipan Zhu, Won Jong Jeon , Zongfang Lin | |||||
| 主题: 架构及编译相关问题讨论 | |||||
| 会议纪要: | |||||
| 1、Won 介绍了最新调研的相关自动并行架构,并讨论与MindSpore框架的结合。 | |||||
| 2、Zongfang 询问了目前编译时间相关事宜,bao chong以蛋白质折叠的编译时间为例进行展示,并共同讨论了相关的合作机会。 | |||||
| 谈话已被录音。 | |||||
| @@ -0,0 +1,24 @@ | |||||
| 日期: 20220819 9AM(_北京时间_) | |||||
| 与会人员:Chong Bao, Jiahong Qian, Jiangsheng Yu, Liya Chen, Naipan Zhu, Won Jong Jeon , Zongfang Lin | |||||
| 主题: SOTA工作的最新动态 | |||||
| 会议纪要: | |||||
| 1、liya分享现阶段工作: | |||||
| * 包括模型、工具和数据集,其中大部分来自ECCV和CVPR等会议。重点介绍Dalle-2的实现(Diffusion model) | |||||
| * 后续工作开展规划:先从小模型(ViT)入手,复现Dalle-2的工作。 | |||||
| 2、后续工作讨论: | |||||
| @baochong 建议: | |||||
| * 可以先复现一些重要的工作。可以考虑参加一些开源的活动, @jiahong @naipan安排。 | |||||
| * 可以使用1.8.1开源的transformer库,包含了ViT,GPT,BERT等模型,可以在此基础上开发;也可以关注框架层面的技术,如在文生图模型中有哪些并行加速技术,加快模型的训练和推理。 | |||||
| * SOTA工作可以包含在MindSpore上最新动态或趋势分享和模型复现两部分建议可以制定初步的计划表(月周报或双周报)。 | |||||
| * 建议迭代式开发,完善完整方案设计,逐步合入到mindspore中,重点关注弹性调度和MLOps方面的价值。 | |||||
| * 也可以考虑对深度概率编程继续研究,由FW团队独立维护。 | |||||
| 演讲幻灯片链接: | |||||
| https://zhuanlan.zhihu.com/p/555374476 | |||||
| 谈话已被录音。 | |||||