为什么模型在推理的时候显存消耗上会远低于W2NER？

[qq594495953]

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

[yhcc]

可能是由于W2NER有三个cnn layer，并且还加入了一层LSTM

[wmc1421910835]

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

您好，我能问下您是多卡运行吗？还是单卡，显存多大啊？我10G的单2080Ti运行CNN_NEST_NER都会显示显存不足。

[qq594495953]

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

您好，我能问下您是多卡运行吗？还是单卡，显存多大啊？我10G的单2080Ti运行CNN_NEST_NER都会显示显存不足。

你batch_size调小些看看，我是单卡16g的

[wmc1421910835]

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

您好，我能问下您是多卡运行吗？还是单卡，显存多大啊？我10G的单2080Ti运行CNN_NEST_NER都会显示显存不足。

你batch_size调小些看看，我是单卡16g的

嗷嗷，谢谢，我调到4就能跑了😂

[tigermask1978]

您好，我看论文中提到与W2NER的对比，两个模型的参数量也相差不大，但是我在运行W2NER的推理时却时常出现显存不够的问题，但是使用CNN_NEST_NER却基本没有出现过这种情况，不知道具体问题出在哪？

想知道如何进行推理，能否给个例子，谢谢。