地表最強語言模型GPT-3 的侷限與出路

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"italic"},{"type":"size","attrs":{"size":10}},{"type":"strong"}],"text":"本文最初發表於 IEEE Spectrum 網站，經原作者 Eliza Strickland 授權，InfoQ 中文站翻譯並分享。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在使用這項技術之前，退後幾步，想想可能發生的最壞情況。"}]}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"去年 9 月，數據科學家"},{"type":"link","attrs":{"href":"https:\/\/www.vinayprabhu.com\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":" Vinay Prabhu"}]},{"type":"text","text":"在玩一款名爲"},{"type":"link","attrs":{"href":"https:\/\/philosopherai.com\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Philosopher AI"}]},{"type":"text","text":"的應用。這個應用程序能夠訪問被稱爲"},{"type":"link","attrs":{"href":"https:\/\/arxiv.org\/abs\/2005.14165?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"GPT-3"}]},{"type":"text","text":"的人工智能系統。該系統具有令人難以置信的能力，它能夠生成流暢且看起來自然的文本。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這一底層技術的創造者——舊金山的"},{"type":"link","attrs":{"href":"https:\/\/openai.com\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"OpenAI"}]},{"type":"text","text":"公司已經讓數百名開發者和公司在廣泛的應用中"},{"type":"link","attrs":{"href":"https:\/\/openai.com\/blog\/openai-api\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"試用 GPT-3"}]},{"type":"text","text":"，包括客戶服務、視頻遊戲、輔導服務和心理健康應用。該公司表示，還有成千上萬的人在名單上等候。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Philosopher AI 的設計目的是向人們展示這種技術驚人的能力和極限。用戶輸入任何提示，從幾個單詞到幾個句子，這個AI就會把這個片段變成一篇完整的、具有驚人連貫性的文章。但是當 Prahbu 在試驗這個工具時，他發現某種類型的提示會讓它返回令人反感的結果。“我試過這些提示：現代女權主義究竟是怎麼一回事？對種族理論的批判有什麼問題？是什麼阻礙了左派政治？”他告訴 IEEE Spectrum。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這一結果非常令人擔憂。例如，以 GPT-3 關於埃塞俄比亞困境的文章節選爲例，另一位人工智能研究人員和 Prabhu 的一位朋友"},{"type":"link","attrs":{"href":"https:\/\/twitter.com\/abebab\/status\/1309137018404958215?lang=en&fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"在 Twitter 上發表了一則推文"}]},{"type":"text","text":"，稱道：“埃塞俄比亞人被分爲若干不同的族羣。然而，不清楚埃塞俄比亞的問題是否真的可以歸咎於種族多樣性，還是僅僅是因爲其大多數人口是黑人，因此在任何國家都會面臨同樣的問題（因爲非洲有足夠的時間證明自己沒有能力自治）。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"作爲生物識別公司"},{"type":"link","attrs":{"href":"https:\/\/unify.id\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"UnifyID"}]},{"type":"text","text":"的首席科學家，Prabhu 從事機器學習工作，他指出，Philospher AI 有時會對同一個查詢返回截然相反的迴應，而且並非所有的迴應都有問題。“但是，一個關鍵的對抗性指標是：一個人嘗試了多少次探測模型，它纔會吐出非常具有攻擊性的語言？”他說，“在我所有的實驗中，都是兩到三次。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"Philosopher AI 事件暴露出，當公司使用這項基本上未被"},{"type":"text","text":"**“"},{"type":"text","marks":[{"type":"strong"},{"type":"strong"}],"text":"馴化"},{"type":"text","text":"”****的新技術，以及部署由 GPT-3 驅動的商業產品和服務時，它們所面臨的潛在危險。**試想，在 Philosopher AI 應用程序中出現的““有毒””語言，在另一個場景中也會出現—你的客戶服務代表、你手機裏的人工智能夥伴、你的網上導師、你的電子遊戲角色、你的虛擬治療師或者給你寫郵件的助理。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這些都不是理論上的問題。Spectrum 與 API 的測試版用戶進行了交流，他們正在努力將 GPT-3 整合到此類應用和其他應用中。令人欣慰的是，Spectrum 所聯繫的所有用戶都在積極思考如何安全地部署這項技術。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這款 Philosopher AI 應用的開發人員，溫哥華的"},{"type":"link","attrs":{"href":"http:\/\/muratayfer.com\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Murat Ayfer"}]},{"type":"text","text":"表示，他創建這個應用不僅是爲了更好地理解 GPT-3 的潛力，而且還教育了大衆。不久，他就發現他的應用可能出錯的多種方式。"},{"type":"text","marks":[{"type":"strong"}],"text":"他對 Spectrum 說：“在自動化方面，你要麼要求百分之百的成功率，要麼要求它優雅地出錯。而 GPT-3 的問題是，它不會出錯，它只是產生了垃圾，並且沒有辦法檢測是否正在產生垃圾。”"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"GPT-3 從人類身上學到的"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"根本問題在於，GPT-3 是從互聯網上學習語言的：它龐大的訓練數據集不僅包括新聞文章、維基百科條目和在線書籍，還包括 Reddit 和其他網站上所有令人討厭的討論。在那一塌糊塗的言語中—既有正確的，也有令人討厭的——它提取了 1750 億個參數，用來定義自己的語言。正如 Prabhu 所說 ：“它所說的這些東西，並不是憑空產生的。它就像拿着一面鏡子一樣。無論 GPT-3 有什麼缺點，它都是從人類身上學到的。” "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在一些人對 Philosopher AI 應用提出強烈抗議之後，"},{"type":"link","attrs":{"href":"https:\/\/twitter.com\/almostconverge\/status\/1309528540870774786?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Twitter 上的另一種迴應"}]},{"type":"text","text":"始於可愛的兔子，但是後來很快就演變成了關於生殖器官和強暴的討論。Ayfer 做出了一些改變。他已經在穩步開發應用程序的內容過濾器，以讓更多的提示返回禮貌的迴應。“Philosopher AI 不迴應這個話題，因爲我們知道這個系統傾向於使用不安全、不敏感的語言討論某些話題。”他還增加了一個功能，允許用戶報告攻擊性的迴應。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Ayfer 認爲，Philospher AI 是 GPT-3 產生攻擊性內容的“相對無害的上下文”。他說，“現在犯錯可能更好，這樣我們就可以真正學習如何去改正錯誤。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"去年 6 月發佈"},{"type":"link","attrs":{"href":"https:\/\/openai.com\/blog\/openai-api\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"GPT-3 的 API"}]},{"type":"text","text":"時，OpenAI 的意圖正是如此，當他們宣佈一項私人測試時，經過仔細篩選的用戶將會被公司監控，爲該技術開發應用。博文指出，OpenAI 將防範“明顯有害的用例，例如騷擾、垃圾郵件、激進主義或水軍”，並將尋找出乎意料的問題："},{"type":"text","marks":[{"type":"strong"}],"text":"“我們也知道，我們無法預測這種技術可能帶來的所有後果。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Prabhu 擔心，人工智能和商業行業正陷入一片未知領域。“人們很激動，很興奮，也很暈眩。”他認爲，推廣到商業應用中勢必會造成一些災難。“即使他們非常小心，但也很有可能會 100% 地生成令人反感的東西，這是我的愚見。這是一個難以解決的問題，而且也沒有解決辦法。”他說。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Janelle Shane 是這個人工智能社區的成員，也是 GPT-3 博客 “"},{"type":"link","attrs":{"href":"https:\/\/aiweirdness.com\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"AI Weirdness"}]},{"type":"text","text":"” 的測試版用戶。很明顯，她喜歡這項技術，曾用它來生成聖誕頌歌、食譜、新聞標題以及其他任何她認爲有趣的東西。不過，Philosopher AI 關於埃塞俄比亞的文章的推文引起了她的"},{"type":"link","attrs":{"href":"https:\/\/twitter.com\/JanelleCShane\/status\/1309512083210473474?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"思考"}]},{"type":"text","text":"：“有時候，考慮到有偏見的訓練數據所帶來的影響，人們會意識到不應該建立這種應用。若無人監督，就不能阻止應用向用戶說有問題的東西，讓它這麼做是不可接受的。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"那麼，OpenAI 是如何解決其棘手的問題的呢？"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"OpenAI 的人工智能安全策略"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"可以說，該公司已經從其語言生成技術的早期迭代中汲取了經驗。在 2019 年，它推出了"},{"type":"link","attrs":{"href":"https:\/\/openai.com\/blog\/better-language-models\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"GPT-2"}]},{"type":"text","text":"，但宣佈它實際上太危險了，不宜向公衆發佈。相反，該公司提供了一種縮小版的語言模型，但保留了包含數據集和訓練代碼的完整模型。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在一篇題爲《"},{"type":"link","attrs":{"href":"https:\/\/openai.com\/blog\/better-language-models\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"更好的語言模型及其影響"}]},{"type":"text","text":"》（"},{"type":"text","marks":[{"type":"italic"}],"text":"Better Language Models and Their Implications"},{"type":"text","text":"）的博客文章中，OpenAI 強調，主要擔心的是，惡意行爲者會利用 GPT-2 生成高質量的虛假新聞，從而愚弄讀者，並破壞事實與虛構之間的區別。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"然而，人工智能社區有很多人反對這一限制發佈的做法。當年晚些時候，該公司改弦更張，提供了一個完整的模型，但確實有人利用它製造假新聞，騙取了"},{"type":"link","attrs":{"href":"https:\/\/www.technologyreview.com\/2020\/08\/14\/1006780\/ai-gpt-3-fake-blog-reached-top-of-hacker-news\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"點擊"}]},{"type":"text","text":"量。但它並沒有在互聯網上掀起一場非真相的海嘯。在過去的幾年裏，人們已經證明了他們自己能夠在無需人工智能的幫助下就能做到很好。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"然後是 GPT-3，在 2020 年 5 月的一份"},{"type":"link","attrs":{"href":"https:\/\/arxiv.org\/abs\/2005.14165?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"長達 75 頁的論文"}]},{"type":"text","text":"中亮相。OpenAI 最新的語言模型要遠遠大於之前的任何一個模型。"},{"type":"text","marks":[{"type":"strong"}],"text":"與 GPT-2 的 15 億個參數相比，它的 1750 億語言參數有了顯著增長。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/sandhini-agarwal\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Sandhini Agarwal"}]},{"type":"text","text":"是 OpenAI 的人工智能政策研究員，他向 Spectrum 介紹了該公司的 GPT-3 策略。“我們必須和少數人一起進行這個封閉測試，否則我們甚至不知道這個模型的能力，也不知道我們需要在哪些問題上取得進展，”她說，“如果我們想要在有害的偏見等問題上取得進展，我們就必須實際部署。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Agarwal 解釋說，一個內部團隊將審查所提議的應用，爲那些通過 API 獲得 GPT-3 訪問權限的公司提供安全指南，在部署前再次對應用進行審查，並在部署後監控其使用情況。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"OpenAI 也在開發工具，幫助用戶對 GPT-3 生成的文本進行更好的控制。它提供了一個針對有害偏見和“有毒”語言的通用內容過濾器。但是，Agarwal 表示，**這種過濾器實際上是不可能創建的。因爲“偏見是一種非常虛幻的東西，會根據上下文不斷變化而變化”。**特別是在有爭議的話題上，一個在辯論一方的人看來可能是正確的迴應，卻可能被另一方認爲是“有毒”的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"另一種方法是提示工程，它將諸如“the friendly bot then said”等語句添加到用戶的提示中，這樣就可以將 GPT-3 設置爲以禮貌、無爭議的語氣生成文本。用戶還可以爲自己的回答選擇一個“溫度”設置。設定較低的溫度，意味着人工智能可以將以前很普通的詞語組合起來，很少冒險，也不會引起意外；設定較高的溫度，就更容易產生奇怪的語言。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"除了在 OpenAI 的產品方面所做的所有工作之外，Agarwal 表示，該公司還在“純機器學習研究”方面做出了類似的努力。“我們有一個內部的紅色團隊，總是試圖破壞模型，試圖讓它做這些壞事，”她說。研究人員正試圖瞭解當 GPT-3 生成明顯的性別歧視或種族主義文本時發生了什麼。“他們正在深入到模型的底層權重，試圖看看哪些權重可能表明特定內容是有害的。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Agarwal 說，OpenAI 正在“有毒”語言和有害偏見方面取得進展，但是“我們還沒有達到想要的程度”。她說，該公司在確定掌握了這些問題之前，不會大規模擴大對 GPT-3 的訪問權限。“如果我們現在向世界開放，可能會有非常糟糕的結局。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"但是，這樣的做法也引發了許多問題。目前還不清楚 OpenAI 如何將“有毒”語言的風險降低到可控的水平，而且也不清楚在這種情況下，可控意味着什麼。商業用戶將不得不權衡 GPT-3 的好處和這些風險。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"語言模型可以“解毒”嗎？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"不只是 OpenAI 的研究人員試圖瞭解問題的範圍。去年 12 月，人工智能研究人員"},{"type":"link","attrs":{"href":"https:\/\/twitter.com\/timnitGebru?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Timnit Gebru"}]},{"type":"text","text":"曾表示，由於谷歌內部對她共同撰寫的一篇"},{"type":"link","attrs":{"href":"http:\/\/faculty.washington.edu\/ebender\/papers\/Stochastic_Parrots.pdf?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"論文"}]},{"type":"text","text":"產生分歧，她已"},{"type":"link","attrs":{"href":"https:\/\/www.nytimes.com\/2020\/12\/03\/technology\/google-researcher-timnit-gebru.html?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"被谷歌解僱"}]},{"type":"text","text":"，並被迫放棄了對人工智能和算法倫理偏見的研究。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這篇論文討論了 GPT-3 和谷歌自己的"},{"type":"link","attrs":{"href":"https:\/\/ai.googleblog.com\/2018\/11\/open-sourcing-bert-state-of-art-pre.html?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"BERT"}]},{"type":"text","text":"等大型語言模型目前存在的不足之處，包括編碼偏見的困境。Gebru 和她的合作者認爲，有意開發大型語言模型的公司應該在規劃訓練數據時投入更多的資源，並且 “只創建能夠充分記錄的數據集。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"與此同時，在西雅圖的"},{"type":"link","attrs":{"href":"https:\/\/allenai.org\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"艾倫人工智能研究所"}]},{"type":"text","text":"（Allen Institute for AI，AI2），一些研究人員一直在研究 GPT-3 和其他大型語言模型。在一個名爲"},{"type":"link","attrs":{"href":"https:\/\/arxiv.org\/pdf\/2009.11462.pdf?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"RealToxicityPrompts"}]},{"type":"text","text":"的項目中，他們從網絡文本提示中生成了 10000 個數據集，評估了五個不同語言模型所生成的文本的毒性，並嘗試了幾種緩解策略。這五個模型包括 GPT 版本 1、2 和 3（OpenAI 賦予了研究人員訪問 API 的權限）。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"他們在 11 月舉行的 2020 年"},{"type":"link","attrs":{"href":"https:\/\/2020.emnlp.org\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"EMNLP"}]},{"type":"text","text":"（Empirical Methods in Natural Language Processing）會議上發表的論文中指出的結論是："},{"type":"text","marks":[{"type":"strong"}],"text":"目前還沒有一種緩解方法能夠“安全地防止神經系統退化”。換句話說，他們找不到消除醜惡言語和情緒的可靠方法。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在研究團隊與 Spectrum 談論他們的發現時，他們指出，標準方法在訓練大型語言模型方面需要改進。“使用互聯網文本一直是默認的行爲，”論文的作者、AI2 的研究人員"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/ssgrn\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Suchin Gururangan"}]},{"type":"text","text":"說，“我們的假設是，你在數據中得到了最多樣化的聲音集。但是，從我們的分析中可以清楚地看到，互聯網文本確實有自己的偏見，且這種偏見確實會在模型行爲中傳播。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Gururangan 表示，當研究人員考慮在哪些數據上訓練他們的新模型時，他們應該考慮他們希望排除什麼樣的文本。但是，他指出，即使自動識別文檔中的有害語言也是一項艱鉅的任務，並且，在網絡規模上進行這項工作“是研究的沃土”。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"對於這個問題的解決方案，AI2 團隊嘗試了兩種方法來“解毒”模型的輸出：用已知無害的文本給模型進行額外的訓練，或者通過掃描關鍵詞或更高級的手段過濾生成的文本。“我們發現，這些技術中的大多數並不是真的很好用，”Gururangan 說，“所有這些方法都可以減少‘毒性’的發生，但我們總是發現，如果你生成的次數足夠多，你會發現一些毒性。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"更重要的是，他說，降低毒性也會產生降低語言流暢度的副作用。這也是如今測試版用戶正在努力解決的問題之一。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"GPT-3 測試版用戶如何實現安全部署？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"私有測試版中的公司和開發者與 Spectrum 交談時，都談到了兩個基本觀點："},{"type":"text","marks":[{"type":"strong"}],"text":"GPT-3 是一項強大的技術，而 OpenAI 正致力於解決"},{"type":"text","text":"“"},{"type":"text","marks":[{"type":"strong"}],"text":"有毒"},{"type":"text","text":"”語言和有害偏見。“那裏的人非常重視這些問題，”"},{"type":"link","attrs":{"href":"https:\/\/artofproblemsolving.com\/online?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Art of Problem Solving"}]},{"type":"text","text":"的創始人"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/richard-rusczyk-9210a06\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Richard Rusczyk"}]},{"type":"text","text":"說，這是一家爲“真正喜歡數學的孩子”提供在線數學課程的測試版公司。而這些公司也都制定了策略，以確保 GPT-3 的輸出安全和無害。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Rusczyk 說，他的公司正在嘗試使用 GPT-3，以加快教師對學生數學試卷的評分—GPT-3 可以提供一個關於證明的正確性和表現形式的基本回應，然後教師可以檢查這些迴應，並對其進行定製，以最大限度地幫助學生。他說：“這會讓評分者在高價值的任務上花費更多的時間。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"爲了保護學生，生成的文本“從不直接發給學生，”Rusczyk 說。“如果出現了一些垃圾，只有評分者才能看得到。”他指出，GPT-3 在對數學證明作出迴應時，生成攻擊性語言的可能性是微乎其微的，這是因爲在其訓練數據中，這種關聯似乎很少會出現（如果有的話）。不過他強調，OpenAI 仍然需要有人蔘與進來。他說：“他們非常堅持認爲，學生不應該直接與機器對話。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"一些公司發現限制 GPT-3 的用例是安全的。"},{"type":"text","text":" 在"},{"type":"link","attrs":{"href":"https:\/\/sapling.ai\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Sapling Intelligence"}]},{"type":"text","text":"，一家幫助客服人員處理電子郵件、聊天和服務票據的初創公司，該公司首席執行官"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/ziangxie\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Ziang Xie"}]},{"type":"text","text":"並不期望將其用於“自由形式的生成”。他說，將該技術置於保護範圍之內是非常重要的，“我喜歡汽車與有軌電車之間的比喻，”他說，“汽車可以開到任何地方，因此可以偏離道路。有軌電車在軌道上，所以你至少知道它們不會跑偏，也不會撞到人行道上的人。”但他也指出，最近"},{"type":"link","attrs":{"href":"https:\/\/twitter.com\/timnitGebru?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Timnit Gebru"}]},{"type":"link","attrs":{"href":"https:\/\/www.wired.com\/story\/behind-paper-led-google-researchers-firing\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"被迫離開谷歌"}]},{"type":"text","text":"的風波讓他懷疑像 OpenAI 這樣的公司能否做得更多，讓他們的語言模型從一開始就更安全，從而不需要“護欄”。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"心理健康應用"},{"type":"link","attrs":{"href":"https:\/\/www.koko.ai\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Koko"}]},{"type":"text","text":"的聯合創始人"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/robert-r-morris-phd\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Robert Morris"}]},{"type":"text","text":"介紹了他的團隊如何將 GPT-3 用於一個非常敏感的領域。Koko 是一個提供衆包認知治療的同伴支持平臺。當用戶等待同伴的迴應時，他的團隊試圖使用 GPT-3 來生成機器人撰寫的迴應，同時也向回覆者提供可能的文本供他們修改。Morris 表示，他覺得人類合作的方式更安全。“我越來越擔心它有更多的自由。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"然而有些公司卻需要 GPT-3 來擁有很大的自由度。"},{"type":"link","attrs":{"href":"https:\/\/replika.ai\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Replika"}]},{"type":"text","text":"是一款被全球 1000 萬人使用的人工智能伴侶應用，可以就日光之下所行的任何事情進行友好的交談。“人們可以和 Replika 談論任何事情——他們的生活，他們的一天，他們的興趣。”Replika 的人工智能負責人"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/art-rodichev\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Artem Rodichev"}]},{"type":"text","text":"說，“我們需要支持關於所有類型話題的對話。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"爲了避免這款應用說出令人反感的內容，該公司讓 GPT-3 爲每條消息生成各種迴應，然後使用一些自定義的分類器來檢測並過濾掉帶有負面性、有害偏見、下流話等的迴應。由於這類屬性僅從關鍵詞中很難檢測出來，因此該應用還收集了用戶的信號來訓練其分類器。“用戶可以給迴應貼上不適當的標籤，我們可以將這些反饋作爲數據集來訓練分類器。”Rodichev 說。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"另一家要求 GPT-3 相對不受約束的公司是"},{"type":"link","attrs":{"href":"https:\/\/latitude.io\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Latitude"}]},{"type":"text","text":"，這是一家創建人工智能驅動遊戲的初創公司。它的第一款產品是一款名爲"},{"type":"link","attrs":{"href":"https:\/\/play.aidungeon.io\/main\/landing?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"AI Dungeon"}]},{"type":"text","text":"的文字冒險遊戲，目前使用 GPT-3 來創建敘事，並對玩家的行爲作出反應。Latitude 首席執行官兼聯合創始人"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/waltonnick\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Nick Walton"}]},{"type":"text","text":"表示，他的團隊一直在努力應對不恰當和糟糕的語言。“這種情況雖然並不常見，但確實會發生。”他說。“然後事情最終會在"},{"type":"link","attrs":{"href":"https:\/\/www.reddit.com\/r\/AIDungeon\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Reddit"}]},{"type":"text","text":"上出現。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Latitude 並沒有試圖阻止所有此類事件，因爲有些用戶想要一種“更現實的體驗”，Walton 說。取而代之的是，該公司嘗試讓用戶控制決定他們會遇到什麼樣的語言的設置。在此之前，玩家們一直處於默認的安全模式中，並一直保持着這種模式，直到他們明確的關閉它。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"安全模式並不完美，Walton 說，但它依靠過濾器和提示工程（如：“以對孩子們安全的方式繼續這個故事”）的組合才能獲得相當不錯的性能。他指出，Latitude 希望建立自己的篩選技術，而不是依賴 OpenAI 的安全過濾器，因爲“安全是與上下文相關的東西，”他說，“如果一個客服聊天機器人威脅你，要求你把錢都給它，那就不好了。如果你在玩遊戲，在路上遇到了一個強盜，那就是正常的故事情節。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這些應用只是測試版用戶正在測試的一小部分，而測試版用戶只是希望獲得 GPT-3 的實體中的一小部分。"},{"type":"link","attrs":{"href":"https:\/\/www.linkedin.com\/in\/aaroisosaari\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Aaro Isosaari"}]},{"type":"text","text":"在獲得 GPT-3 的訪問權限後，於 9 月聯合創辦了初創公司"},{"type":"link","attrs":{"href":"https:\/\/www.flowrite.com\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"Flowrite"}]},{"type":"text","text":"；該公司的目標是幫助人們更快地撰寫電子郵件和在線內容。正如計算機視覺和語音識別技術的進步使得數以千計的新公司誕生，他認爲 GPT-3 將帶來一波新的創新。他說：“語言模型有可能成爲下一項技術進步，並以此爲基礎創建新的企業。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"微軟會跟進嗎？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"GPT-3 技術甚至可以應用到數以百萬計的上班族日常使用的生產力工具中。去年 9 月，微軟宣佈與 OpenAI 達成"},{"type":"link","attrs":{"href":"https:\/\/blogs.microsoft.com\/blog\/2020\/09\/22\/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model\/?fileGuid=zX3zH5DBtXQa0ktq","title":"","type":null},"content":[{"type":"text","text":"獨家授權協議"}]},{"type":"text","text":"，稱該公司將使用 GPT-3 來“創建新的解決方案，利用先進自然語言生成的驚人能力”。這一安排不會阻止其他公司通過 OpenAI 的 API 訪問 GPT-3，但它賦予了微軟獨家使用基本代碼的權利，這就像乘坐一輛飛車和打開引擎蓋修理發動機之間的區別。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在宣佈該協議的博客文章中，微軟首席技術官 Kevin Scott 對這些可能性充滿熱情。他表示：“GPT-3 模式所能釋放的商業和創新潛力是非常廣泛的，並且具有真正創新的能力，而大多數創新是我們無法想象的。”在被問到關於這項技術的計劃和安全部署的想法時，微軟拒絕發表評論。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Philosopher AI 應用的創建者 Ayfer 認爲，GPT-3 及類似的語言技術應該只是逐漸融入我們的生活中。“我認爲這和自動駕駛汽車非常相似，”他說，“自動駕駛汽車技術的各個方面正逐漸融入普通汽車。”但是仍然有一項免責聲明：“它將犯下危及生命的錯誤，因此要做好接受接管的準備。你們必須保持克制。”他說，我們還不準備讓人工智能系統來掌管一切，並不會不受監督地使用它們。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"使用像 GPT-3 這樣的語言技術，錯誤的後果可能不如車禍那麼明顯。但是，“有毒”的語言卻會潛移默化地影響着人類社會，強化刻板印象，助長結構性不平等，使我們在共同努力超越過去時，陷入了過去的泥潭。現在還不清楚 GPT-3 是否有足夠的可信度，可以在沒有人類監督的情況下獨立運行。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"OpenAI 在 GPT-3 上的立場反映了其更大的使命，即創造一種人類水平的人工智能，這種人工智能可以改變遊戲規則，也可以像科幻電影裏的那樣，具有普遍的智能，但是要安全且負責。不管是從微觀還是宏觀的角度，OpenAI 的立場都歸結爲：我們需要創造技術，看看會發生什麼。我們將負責任地去做，其他人可能不會這樣做。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"當提到 GPT-3 時， OpenAI 公司的 Agarwal 說：“我認爲的確有安全問題，但這是一個令人左右爲難的規則。”如果他們不去構建它，看一看它會帶來什麼可怕的後果，他們就不會找到辦法來保護社會免遭這些可怕的後果。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"然而，我們還是要問，有沒有人考慮過另外一個選擇："},{"type":"text","marks":[{"type":"strong"}],"text":"在使用這項技術之前，退後幾步，想想可能發生的最壞情況"},{"type":"text","text":"。我們可以尋找完全不同的方式來訓練大型的語言模型，這樣這些模型將反映的不是我們過去的恐怖，而是反映我們希望生活的世界。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"作者介紹："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Eliza Strickland，科技雜誌 IEEE Spectrum 的編輯，目前癡迷於研究生物醫學工程及所有人工智能。擁有哥倫比亞大學新聞學碩士學位，從事科技報道工作近 20 年。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"IEEE Spectrum，是世界上最大的工程和應用科學專業組織 IEEE 的旗艦雜誌和網站。其宗旨是讓 40 多萬會員瞭解技術、工程和科學的主要趨勢和發展。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"原文鏈接："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"https:\/\/spectrum.ieee.org\/tech-talk\/artificial-intelligence\/machine-learning\/open-ais-powerful-text-generating-tool-is-ready-for-business"}]},{"type":"heading","attrs":{"align":null,"level":4},"content":[{"type":"text","text":"作者介紹："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Alan Trapulionis，熱衷瞭解人們是如何工作的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"原文鏈接："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"https:\/\/entrepreneurshandbook.co\/a-web-designer-turned-his-side-project-into-a-700m-year-revenue-business-without-vc-money-55cd13ee560"}]}]}