多GPU训练

[Dongjiuqing]

您好作者，您的这篇复现对我很有帮助。我已经训练完成并在自己的数据集上得到了很好的效果。

遇到了一些问题，但目前不知如何解决。
但我尝试使用 --device 1,2 这个参数，稍微调大batch_size的时候，
提示out-of-memory。我是有三块3090的，如果同时调用两块gpu应该不会报超出显存的错误。
我使用 --device 1,2 时候，只调用gpu1，另外一块无法同时调用。不知道是什么问题。

我使用了pytorch=1.10，cuda11.3，python3.6