训练时长的问题

[gms5144]

我后台挂载了一晚上也还没有跑完，而且batch_size那么大，那个tqdm也没用，不显示进度，

[yaokui2018]

我之前是用的 NVIDIA RTX 3080 (10G) 跑的，看文件里的日志应该是跑了4个多小时。
batch_size 可以根据显卡情况适当调小一点，tqdm 不显示进度是因为 batch_size 太大了，超过了数据量，没分批次。

[gms5144]

感谢您的回复，我之前试过将batch_size调小看训练的结果，

b报错这个，我将原始数据spam0和normal0数据删除后可以完成训练。

[yaokui2018]

感谢您的回复，我之前试过将batch_size调小看训练的结果， b报错这个，我将原始数据spam0和normal0数据删除后可以完成训练。

这个错误是训练的数据里面只有一个分类，是不是 batch_size 设置的太小了，导致一个批次里面的数据都是正样本或者都是负样本。按理来说，这个错误跟【spam0和normal0数据】没啥关系的，应该是因为重新运行的原因，数据重新划分了。

代码里加载数据的时候做了 shuffle ，正常情况下应该不容易出现一个批次都是一类数据的，，

[gms5144]

哦哦，好的 原来是这样，我以为是数据有问题   ss ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2023年10月24日(星期二) 上午10:36 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [yaokui2018/chinese_spam_filtering] 训练时长的问题 (Issue #1) 感谢您的回复，我之前试过将batch_size调小看训练的结果， b报错这个，我将原始数据spam0和normal0数据删除后可以完成训练。 这个错误是训练的数据里面只有一个分类，是不是 batch_size 设置的太小了，导致一个批次里面的数据都是正样本或者都是负样本。按理来说，这个错误跟【spam0和normal0数据】没啥关系，应该是因为重新运行的原因，数据重新划分了。 代码里加载数据的时候做了 shuffle ，正常情况下应该不容易出现一个批次都是一类数据的，， — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>