MHA_MQA_GQA代码 #11
Description
总结的很好，有一个小问题
if attention_mask != None:
attention_scores += attention_mask * -1e-9这里这个值应该是-1e9
{{ message }}
总结的很好，有一个小问题
if attention_mask != None:
attention_scores += attention_mask * -1e-9这里这个值应该是-1e9