目前Vision下已经有的一个可以参考的projects，迁移了Swin-T的训练代码，用于Vision下进行模型的训练，但是vision中绝大部分模型的精度复现还无法保证，所以这里开启一个完善训练的projects: 用于复现vision下实现的模型的精度，并且在后续逐渐将vision下迁移的权重替换为oneflow自身训练的权重，这里是暂时的规划，需要2-3位实习生参与完成: ## 可参考的projects: - https://github.com/rwightman/pytorch-image-models - https://github.com/microsoft/Swin-Transformer ## 训练的任务，以及首批需要复现精度的模型: - 完善Vision下的这个projects: - https://github.com/Oneflow-Inc/vision/tree/main/projects/classification, 熟悉这个projects的用法（与Swin-T基本一致） - 这里我们列举一下第一阶段在vision下需要复现精度的模型以及相关paper: | Model | Paper | 认领人 | PR | |:----:|:----:|:----:|:----:| | ResNet50 | [ResNet strikes back: An improved training procedure in timm](https://arxiv.org/pdf/2110.00476.pdf) | 林松 | | DeiT | [Training data-efficient image transformers & distillation through attention](https://arxiv.org/abs/2012.12877) | | | Swin-Transformer | [Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](https://arxiv.org/pdf/2103.14030.pdf) | 林德铝 | | DeiT III | [DeiT III: Revenge of ViT](https://arxiv.org/pdf/2204.07118.pdf) | | | - 需要的硬件条件：8卡V100机器，能跑得下单卡256batchsize即可
目前Vision下已经有的一个可以参考的projects，迁移了Swin-T的训练代码，用于Vision下进行模型的训练，但是vision中绝大部分模型的精度复现还无法保证，所以这里开启一个完善训练的projects: 用于复现vision下实现的模型的精度，并且在后续逐渐将vision下迁移的权重替换为oneflow自身训练的权重，这里是暂时的规划，需要2-3位实习生参与完成:
可参考的projects:
训练的任务，以及首批需要复现精度的模型: