openai GPT模型微调fine-tune和文本搜索embedding

我有一堆语料，想让GTP3 依据我的语料输出内容 - 使用 embedding

想让 GPT-3 模仿一个和我对话 - 使用 fine-tune

希望用户按照一定格式提交问题 - 使用 fine-tune

可以根据产品的使用手册来回答用户的问题 - 使用 embedding

 

 

使用微调  调用file接口

需要制作

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

客服数据集

 

https://github.com/cooelf/DeepUtteranceAggregation

使用文本搜索

https://www.toutiao.com/article/7234563222752248360/?log_from=70fe37fe236e1_1685937576783

pdf处理方法

了解了相关知识，来简单总结一下，如何将pdf通过langchain库进行处理 然后调用gpt 进行分析和总结：

1.通过loader加载器将pdf加载
2.将数据转为docement对象

3.进行文本分割，将数据存入向量数据库

4.进行任务拆分，利用agent将prompt拆解成不同的任务，最后进行结果汇总

https://python.langchain.com/en/latest/