使用自定义数据集运行出错

[lllllcccccyyyyy]

我将自己的数据集处理成代码要求的格式并确保所有的token序列长度小于512，使用chinese-roberta-wwm-ext作为预训练模型，参数和genia数据集相同，出现如下错误

显示是data/padder.py文件下的 buffer[i, :len(f), :len(f)] = torch.from_numpy(f)出现错误
非常期待您的回复，谢谢

[yhcc]

看起来是由于那个f数据太长了，没有被截取成512长度的哇

[wind1312]

我将自己的数据集处理成代码要求的格式并确保所有的token序列长度小于512，使用chinese-roberta-wwm-ext作为预训练模型，参数和genia数据集相同，出现如下错误 显示是data/padder.py文件下的 buffer[i, :len(f), :len(f)] = torch.from_numpy(f)出现错误 非常期待您的回复，谢谢

请问你自己的数据集是中文的吗，可以告知怎么处理的吗

[houyuchao]

我将自己的数据集处理成代码要求的格式并确保所有的token序列长度小于512，使用chinese-roberta-wwm-ext作为预训练模型，参数和genia数据集相同，出现如下错误 显示是data/padder.py文件下的 buffer[i, :len(f), :len(f)] = torch.from_numpy(f)出现错误 非常期待您的回复，谢谢

请问你自己的数据集是中文的吗，可以告知怎么处理的吗

同问中文数据集怎么处理呢？？