嵌入模型是大型語言模型檢索增強生成(RAG)的關鍵組成部分。它們對知識庫和用戶編寫的查詢進行編碼。
使用與LLM相同領域的訓練或微調的嵌入模型可以顯著改進RAG系統。然而，尋找或訓練這樣的嵌入模型往往是一項困難的任務，因爲領域內的數據通常是稀缺的。
但是這篇論文LLM2Vec，可以將任何的LLM轉換爲文本嵌入模型，這樣我們就可以直接使用現有的大語言模型的信息進行RAG了。
https://avoid.overfit.cn/post/67a62b9532b247cc9db87663ce547ff2