簡介
之前我們介紹了LLM模式,這種模式是就是文本輸入,然後文本輸出。
chat models是基於LLM模式的更加高級的模式。他的輸入和輸出是格式化的chat messages。
一起來看看如何在langchain中使用caht models吧。
chat models的使用
首先langchain對chat models下支持的模型就少很多了。一方面是可能有些語言模型本身是不支持chat models的。另外一方面langchain也還是在一個發展中的過程,所以有些模型還需要適配。
目前看來langchain支持的chat models有:ChatAnthropic,AzureChatOpenAI,ChatVertexAI,JinaChat,ChatOpenAI和PromptLayerChatOpenAI這幾種。
langchain把chat消息分成了這幾種:AIMessage, HumanMessage, SystemMessage 和 ChatMessage。
HumanMessage就是用戶輸入的消息,AIMessage是大語言模型的消息,SystemMessage是系統的消息。ChatMessage是一種可以自定義類型的消息。
在使用的時候,只需要在chat中傳入對應的消息即可:
from langchain.chat_models import ChatOpenAI
chat = ChatOpenAI()
messages = [
SystemMessage(content="你是一個小說家"),
HumanMessage(content="幫我寫篇小說")
]
chat(messages)
當然和LLM一樣,你也可以使用批量模式如下:
batch_messages = [
[
SystemMessage(content="你是一個小說家"),
HumanMessage(content="幫我寫篇小說")
],
[
SystemMessage(content="你是一個詩人"),
HumanMessage(content="幫我寫首詩")
],
]
result = chat.generate(batch_messages)
result
chat models的高級功能
其實和LLM類似,基本上LLM有的高級功能chat models都有。
比如有用的比如緩存功能,可以緩存之前的輸入和輸出,避免每次都調用LLM,從而可以減少token的開銷。
以InMemoryCache爲例子:
from langchain.cache import InMemoryCache
langchain.llm_cache = InMemoryCache()
# 第一次調用,不是用cache
llm.predict("Tell me a joke")
# 第二次調用,使用cache
llm.predict("Tell me a joke")
除了InMemoryCache,langchain還支持FullLLMCache,SQLAlchemyCache,SQLiteCache和RedisCache等等。
同樣的,chat models也是支持流模式的:
from langchain.chat_models import ChatOpenAI
from langchain.schema import (
HumanMessage,
)
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
chat = ChatOpenAI(streaming=True, callbacks=[StreamingStdOutCallbackHandler()], temperature=0)
resp = chat([HumanMessage(content="幫忙我寫首詩")])
只需要在構建ChatOpenAI的時候,把StreamingStdOutCallbackHandler傳入callbacks即可。
如果要在chat models中使用PromptTemplate,因爲chat models的消息格式跟LLM是不一樣的,所以對應的PromptTemplate也是不一樣的。
和對應的chat models消息對應的PromptTemplate是ChatPromptTemplate,SystemMessagePromptTemplate, AIMessagePromptTemplate和HumanMessagePromptTemplate。
我們看下是如何使用prompt template來構建prompt:
from langchain import PromptTemplate
from langchain.prompts.chat import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
AIMessagePromptTemplate,
HumanMessagePromptTemplate,
)
# 構建各種prompt
template="You are a helpful assistant that translates {input_language} to {output_language}."
system_message_prompt = SystemMessagePromptTemplate.from_template(template)
human_template="{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
# 使用format_prompt把prompt傳給chat
chat(chat_prompt.format_prompt(input_language="English", output_language="French", text="I love programming.").to_messages())
chat models下消息構建確實比直接使用LLM要複雜點,大家在使用的時候需要注意。
總結
chat models是LLM的高階表現形式。如果我們需要進行對話模型的話,就可以考慮使用這個。
更多內容請參考 www.flydean.com
最通俗的解讀,最深刻的乾貨,最簡潔的教程,衆多你不知道的小技巧等你來發現!
歡迎關注我的公衆號:「程序那些事」,懂技術,更懂你!