CLIP梯度和梯度overflow的影响

[tzjtatata]

你好，非常感谢你们的出色工作。
我有两个疑惑：对于LomoTrainer中额外使用的这两个东西是否非常重要？对性能的影响有多大呢？

[KaiLv69]

你好，
这两个参数在使用较大的学习率时比较重要，可以调整梯度的大小避免loss跑飞或者出现nan，

[tzjtatata]

好的，多谢您的回复。 我还有一个问题，最近在实际训练时发现学习率和一般LLM的论文里用的adamw可能差别不太大，导致不太好迁移。 你们有一个大概的经验总结吗？

…

---原始邮件--- 发件人: "Kai ***@***.***> 发送时间: 2023年7月24日(周一) 下午2:41 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [OpenLMLab/LOMO] CLIP梯度和梯度overflow的影响 (Issue #48) 你好， 这两个参数在使用较大的学习率时比较重要，可以调整梯度的大小避免loss跑飞或者出现nan， — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>