在prompt learning中,對於一個類別的多個候選詞,損失函數通常會計算所有詞的logit和,並與真實標籤作比較。以情感分類爲例:
- 假設正面類別有兩個候選詞:“positive”和“optimistic”。負面類別有兩個候選詞:“negative”和“pessimistic”。
- 然後模型會計算四個詞的logit:logit_positive, logit_optimistic, logit_negative, logit_pessimistic。
- 如果真實標籤是正面,則計算總的正面logit: logit_positive + logit_optimistic。如果這個總logit大於負面總logit logit_negative + logit_pessimistic,則視爲正確分類。
- 如果分類錯誤,則使用交叉熵損失函數計算四個詞的損失,並 backpropagate。
所以簡而言之,prompt learning在一類裏有多個候選詞的情況下,會將這些詞的logit加總,並與其他類別的logit總和比較,以進行分類和計算損失。這相當於在訓練的時候,多個候選詞代表同一個意思,模型需要學會將它們的logit加總以表示這個意思。
該方法有一個好處是可以讓模型在推理時選擇最匹配的那個候選詞,而不侷限於訓練數據中出現過的候選詞。但同時也增加了一定的難度,模型需要理解不同的詞在表達同一個意思。但隨着訓練,模型可以逐漸學會こ這一點。