ema模型是否正确被保存

[Blueskyvvvvv]

想问一下这里是如何实现ema模型的保存呢：

从这里没有看到model被显示的修改，是deepspeed内完成的么？

我有check保存下来的model和ema_model，发现参数是完全一样的，所以不确定是不是使用方式有问题，望解答，感谢

[1049451037]

是sat内部实现的optimizer进行的操作：

https://github.com/THUDM/SwissArmyTransformer/blob/main/sat/ops/fused_ema_adam.py

直接将ema给fuse到optmizer更新的过程中了。

应该不会有问题，之前CogVLM训练的时候能观察到ema权重评测结果高一些。