什麼是Token?爲什麼大模型要計算Token數

本文分享自華爲雲社區《【技術分享】什麼是Token?爲什麼GPT基於Token定價》,作者:開天aPaaS小助手Tracy。

在使用LLM大模型時,我們經常會遇到一個關鍵詞,叫:Token。

比如:

最新版 GPT-4 Turbo 模型最高支持 128k token 上下文;

曾經 GPT 最強對手 Claude-2.1 支持最高 200K token 上下文;

在 GPT 商店創建角色時,核心 Prompt 最高支持 8000 token。

1. 什麼是 Token?

GPT不是直接做的“字符”的計算,而是將字符變成一個數字,也就是變成了 token 來處理。

所以Token通常指的是:文本中可以被視爲一個單獨單位的元素,比如單詞、數字或符號。

比如:我們文章經常用到的開篇問候,“大家好,我是運營黑客。”

其中每個詞、標點“大家”、“好”、“我”、“是”、“運營黑客”,以及中間出現的“,”和“。”,都可以被視作一個 Token。

對於文本類生成式AI來說,“Token”扮演着至關重要的角色。我們跟 ChatGPT 對話時,它通常分兩步走:

第一步:將輸入的內容分解成一個個 Token;

第二步:結合這些 Token 生成迴應。

2.GPT如何計算token數?

瞭解Token含義後,就很容易的明白token計費邏輯。

GPT token 的計算包含兩部分。輸入給 GPT 模型的 token 數和 GPT 模型生成文本的 token 數。

例如,你提問耗費了 100 token,GPT 根據你的輸入,生成文本(也就是回答)了 200 token,那麼一共消費的 token 數就是 300 。

在實際定價的過程中,因輸入和輸出token所帶來的成本差異,所以會區分定價。

包含GPT在內的幾乎所有的LLM的API都採用了Token計費模式:

例1:

例2:

例3:

基於Token計費模式,第一符合產品對象增量屬性;第二符合邊際成本的增量屬性;對開發者來說是最容易接受和理解的一種模式。

 

參考鏈接:

https://www.zhihu.com/question/594159910/answer/3356500890

https://www.zhihu.com/question/594159910/answer/2972923596

https://3ms.huawei.com/km/groups/3664365/blogs/details/13643749

點擊關注,第一時間瞭解華爲雲新鮮技術~

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章