问题请教：将prompt token设置为-100即可不计算loss #268
Description
finetune.py - line 38:
labels = (
[-100] * (seq_len - 1) + ids[(seq_len - 1) :] + [-100] * (longest - ids_l)
)请问这里设置prompt token的label为-100的逻辑是什么呀~
{{ message }}
finetune.py - line 38:
labels = (
[-100] * (seq_len - 1) + ids[(seq_len - 1) :] + [-100] * (longest - ids_l)
)请问这里设置prompt token的label为-100的逻辑是什么呀~