是否可以实现Nvidia+海光DCU的异构混训？

[jx917991509]

请问是否验证过nvidia 与海光DCU的混训？N卡与DCU两边的训练环境上有什么需要注意的呢？可否提供相关指导，谢谢！

[aoyulong]

@jx917991509 还需要海光通信库兼容NCCL，如果兼容，对齐PyTorch版本就行。

[jx917991509]

您好，海光的通信库是兼容NCCL的，但Pytroch版本对齐后，是否需要关注对应的NCCL版本是否对齐呢？谢谢~ ***@***.*** 发件人： Yulong Ao 发送时间： 2024-12-06 14:21 收件人： FlagOpen/FlagScale 抄送： jx917991509; Mention 主题： Re: [FlagOpen/FlagScale] 是否可以实现Nvidia+海光DCU的异构混训？ (Issue #284) @jx917991509 还需要海光通信库兼容NCCL，如果兼容，对齐PyTorch版本就行。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[aoyulong]

@jx917991509 我理解PyTorch包含NCCL，所以PyTorch版本对齐后，NCCL应该自动对齐了。