openai GPT模型微調fine-tune和文本搜索embedding

我有一堆語料，想讓GTP3 依據我的語料輸出內容 - 使用 embedding

想讓 GPT-3 模仿一個和我對話 - 使用 fine-tune

希望用戶按照一定格式提交問題 - 使用 fine-tune

可以根據產品的使用手冊來回答用戶的問題 - 使用 embedding

 

 

使用微調  調用file接口

需要製作

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

客服數據集

 

https://github.com/cooelf/DeepUtteranceAggregation

使用文本搜索

https://www.toutiao.com/article/7234563222752248360/?log_from=70fe37fe236e1_1685937576783

pdf處理方法

瞭解了相關知識，來簡單總結一下，如何將pdf通過langchain庫進行處理 然後調用gpt 進行分析和總結：

1.通過loader加載器將pdf加載
2.將數據轉爲docement對象

3.進行文本分割，將數據存入向量數據庫

4.進行任務拆分，利用agent將prompt拆解成不同的任務，最後進行結果彙總

https://python.langchain.com/en/latest/