人工智能GPT相關知識的簡單總結
背景
工作已經很久, 工作十幾年來有過好多波新的技術浪潮.
但是每次都離技術前沿比較遠.
最近發現只低頭拉車是一個沒有前途的行爲.
人生很短, 選擇很重要, 不僅要低頭拉車,還要擡頭看路.
感謝網上的資料.
人工智能的起源
人工智能起源於上世紀中葉.
主要代表人物有圖靈, 圖靈完備測試第一次提出瞭如何判斷人工智能是否成熟的一個論斷:
圖靈測試（Turing Test）是一項測試人工智能系統是否真正具備智能的測試方法，由計算機科學家圖靈提出。
測試的基本思路是：讓一個評委和一個人工智能系統同時通過文字交流與一個隱藏者進行交互，
評委根據他們的答案和回覆，判斷哪一個是人類，哪一個是人工智能。
當評委無法分辨哪一個是人類哪一個是人工智能時，人工智能系統就通過了圖靈測試。
圖靈測試一般是通過模擬人類對話的方式來進行的，主要考察人工智能的語言處理能力、知識儲備、邏輯推理能力和實時交互能力等。
測試結果並不證明人工智能系統具備了真正的智能，但可以證明它在某個領域內可能表現出與人類相似的智能。
雖然圖靈測試被認爲是人工智能領域的重要指標之一，但是它也存在一定的缺陷，比如測試難度無法衡量，測試的標準也有一定的主觀性等。
因此，在實際中，圖靈測試僅是一種測試的方法，不能完全代表人工智能系統的智能程度。
人工智能相關的算法
人工智能領域中包含着多種算法，這些算法的選擇取決於問題的性質和複雜度。下面是一些常見的人工智能算法：
1. 神經網絡：模仿人腦的神經系統功能，能夠進行模式識別和分類等任務。
2. 支持向量機（SVM）：一種分類算法，能夠對大規模和高維數據進行有效分類。
3. 決策樹：一種基於數據學習的分類算法，通過回答一系列問題來實現特徵分類。
4. 聚類算法：將數據對象分成相似的組或簇，每個簇內數據對象都相似。聚類算法有K均值算法、層次聚類算法等。
5. 人工神經網絡：類似於神經網絡，但是它設計爲更加靈活和動態。目前廣泛應用於機器學習和深度學習領域。
6. 遺傳算法：仿照生物進化和遺傳的過程，運用多進化代際、選擇優勢羣體等策略，通過模擬“遺傳”的過程進行優化。
除了以上算法，深度學習網絡也逐漸成爲當前人工智能領域的研究熱點。
隨着大數據和計算技術的不斷髮展，深度學習在機器視覺、自然語言處理、推薦系統和語音處理等多個領域都取得了顯著的進展和應用。
人工智能相關編程框架
人工智能框架是一種軟件框架，用於構建和部署人工智能應用程序。
這些框架通常提供了各種各樣的工具和庫，使得人們可以輕鬆地開發和訓練人工智能模型。
目前，有許多種不同類型的人工智能框架，其中一些常見的包括PyTorch、TensorFlow、Keras、Caffe2等。
這些框架都具有不同的特點和優勢，但它們的目標都是簡化人工智能的開發流程，使得人工智能應用程序更易於構建和部署。
人工智能框架的基本功能是提供各種各樣的算法和工具，包括但不限於深度學習算法、機器學習算法、優化工具、數據預處理工具、可視化工具等。
這些算法和工具旨在幫助開發人員快速構建和訓練人工智能模型。
人工智能的先驅 深藍與Alphgo
IBM的深藍和Google的Alphgo 分別代表上個世紀和上個十年最巔峯的人工智能.
深藍擊敗了人類的世界象棋冠軍得主.
Alphgo 擊敗了人類幾乎所有的圍棋選手.
並且一直有人視圖通過AI方式擊敗自己對手的騷操作.
他們作爲先驅直接影響和開拓了最近今年AI井噴式的發展.給人類帶來了無線的可能.
也直接將英偉達推動成首家市值過萬億美金的半導體芯片公司.
OpenAI的GPT
OpenAI成立於2015年, 有硅谷鋼鐵俠 馬斯克 以及微軟的大力投入和支持.
GPT（Generative Pre-trained Transformer）是由OpenAI開發的自然語言處理模型，
是一個基於Transformer的深度學習神經網絡。它的主要特點是使用大量的文本數據進行預訓練，
然後在特定任務上進行微調，可以爲許多自然語言處理任務生成出色的結果。
GPT系列模型的重要特點是其無監督的訓練方式，這使得模型可以在大規模語料庫上自我學習。
GPT-3是該系列的第三個版本，於2020年發佈。GPT-3是目前最大的自然語言處理模型之一，
包含了大約1750億個參數，在許多自然語言處理任務上都有出色的表現。
GPT-4 模型於 2023年3中旬發佈. 他的參數規模比 GPT-3 大了 4 倍以上，
從 GPT-3 的 1.75 萬億個參數提升到了 GPT-4 的 7.5 萬億個參數。參數規模大大增加了模型的能力和性能。
微軟作爲GPT幕後最大的金主,已經在bing還有office365中集成了 GPT4以及GPT3.5等能力.
ChatGPT與GPT的關係
真正讓OpenAI大火的應用是ChatGPT
其實他本質上是GPT3.5針對問答進行微調的版本. 並且能夠給出一些代碼塊,腳本塊得建議,能夠極大的提高IT的工作效率.
微軟的copilot等就可以實現代碼高亮,修改錯誤代碼等功能.
OpenAI在發佈了GPT3.0之後不斷的進行演進:
InstructGPT（2022 年 1 月）是一系列 GPT-3 模型
（包括 text-davinci-001、text-davinci-002 和 text-davinci-003）統稱，
與GPT-3相比，它的最大不同是針對人類指令（reinforcement learning with human feedback, RLHF）進行了微調 ；
InstructGPT 產生的幻覺更少，更真實，但它在生成的多樣性或者說創意上相對更差，因爲它們試圖在“對齊”的前提下，
將人類偏好/價值觀硬塞進原始數據模型中。
ChatGPT（2022 年 11 月）更進一步。 爲了訓練 ChatGPT，
OpenAI 對 InstructGPT 對話模型進行了微調（馬斯克在Twitter上指出openai 使用了Twitter 數據）。
1. davinci 比 chatgpt 更開放、更具有創意性；你可以讓它做更多種類的事情，
但 chatgpt 在其創建的特定任務中“更聰明”——例如創建列表、表格、摘要等
2. chatGPT也可以認爲是 Davinci-3 的衍生產品，它們效果上同樣好，但 davinci 使用的訓練語料，
清洗的程度較chatGPT更少；chatGPT會不斷提醒我它的侷限性，而 Davinci-003 表現更像人類一樣
3. 如果不添加“讓我們逐步思考：”或類似內容，davinci-003 無法正確解決部分問題，而 ChatGPT 更好試用
4. DaVinci 將更加靈活和通用，但是它要花錢，而且開箱即用效果不佳；
DaVinci 的真正目的是與 API 一起使用來開發應用程序；它本身不像 ChatGPT 那樣是最終產品。
關於LLM模型
其實上面的模型都是LLM
LLM large language model（大型持續學習語言模型）是指一種基於深度學習的自然語言處理模型，
旨在實現對語言任務的持續學習和推理能力。它不斷地獲取新的數據，同時可以結合先前的知識和經驗來逐步提升自己處理語言任務的能力。
與傳統的自然語言處理算法相比，LLM large language model具有以下特點：
1. 持續學習：LLM large language model可以不斷地從新數據中學習和適應，從而處於不斷改進和增強的狀態。
2. 泛化能力：由於經過大量的預訓練以及對多個任務的微調，LLM large language model可以更好地應對未見過的數據和任務。
3. 長序列處理能力：相對於傳統的自然語言處理算法，LLM large language model能夠處理更長的序列，做出更準確的預測。
4. 上下文感知：LLM large language model能夠更好地理解一段文字的上下文，並基於上下文做出更合理的預測與決策。
總之，LLM large language model是一種前沿的自然語言處理技術，可以爲各種語言處理任務提供強大的支持。
其他的LLM模型
Google的 PaLM 2
訓練它所用到的token數量多達3.6萬億,3400億個參數
Facebook的 llama
llama有多種參數（7B、13B、33B 和 65B）。
其中，LLaMA 65B 和 LLaMA 33B 在 1.4 萬億個 tokens 上訓練，
而最小的模型 LLaMA 7B 也經過了 1 萬億個 tokens 的訓練。
7B 值得是 7 billions 70億
Stanford的alpaca
斯坦福基於 Meta 的 LLaMA 7B 模型微調出一個新模型 Alpaca。
該研究讓 OpenAI 的 text-davinci-003 模型以 self-instruct 方式
生成 52K 指令遵循（instruction-following）樣本，以此作爲 Alpaca 的訓練數據。
研究團隊已將訓練數據、生成訓練數據的代碼和超參數開源
百度的文心一言
沒有具體的參數信息.
微軟:
完全使用OpenAI的技術.
主要有bing裏面集成的GPT,以及github和office 365 裏面集成的copliot
其他內容
關於費用-GPT
基於參數數量和token數量估算，ChatGPT-3訓練一次的成本約爲140萬美元。
算力方面，ChatGPT的初始投入大約需要7.59億美元，電費還需要每天4.7萬美元。
關於融資
微軟於2019年4月投入10億美金，
2023年1月份以290億美元的估值又追加了100億美金，
至此微軟一共注資130億美元，作爲最大的LP持股達到49%。
第一階段：100%利潤全部給到初始/創始投資人（FCP），直到回本
第二階段：25%利潤給到員工和支付FCP的回報上限，剩餘75%給到微軟直到回本，收回130億美元投資額
第三階段：2%給到OpenAI Inc.，41%給到員工，8%支付FCP的回報上限，剩餘49%支付微軟回報上限
第四階段：等到所有投資方的回報結清（支付至少$920億+$130+$1500億=$2550億），100%的權益迴流到OpenAI Inc.
