对话数据怎么设置不对别人说的话训练？

[petergaoshan]

通常对话数据只在模型的回复上面进行梯度下降。比如把非模型输出的label index变成-100。
类似这样：

<start>user
你好<end>
<start> assistant
请问有什么帮助你的？<end>

transformer只在assistant后面进行梯度下降。
rwkv这种结构是不是不太适合这种只在回复上面训练的方式？如果适合，请问在RWKV-LM训练的时候是怎么设定的？

[Triang-jyed-driung]

1. RWKV的训练方式跟GPT、Llama完全一致。
2. 在User上进行训练似乎没有副作用

[petergaoshan]

1. RWKV的训练方式跟GPT、Llama完全一致。
2. 在User上进行训练似乎没有副作用

感谢。主要很多时候user会犯错，模型要纠正user的错误。不想把错误也学进去。

[uniartisan]

Please consider using a loss with mask, you can skip user's tokens when calculating cross-entropy

Also, you can use:
https://github.com/JL-er/RWKV-PEFT