MOSS對話式大型語言模型

MOSS是復旦大學自然語言處理實驗室發佈的一種類似於ChatGPT的會話語言模型。MOSS能夠按照用戶的指示執行各種自然語言任務,包括回答問題、生成文本、摘要文本、生成代碼等。MOSS還能夠挑戰錯誤的前提,拒絕不適當的請求。

MOSS會話語言模型

MOSS發佈

MOSS 項目簡介

  MOSS,一種類似於ChatGPT的對話式語言模型。MOSS能夠按照用戶的指示執行各種自然語言任務,包括回答問題、生成文本、摘要文本、生成代碼等。MOSS還能夠挑戰錯誤的前提,拒絕不適當的請求。在研究預覽期間,MOSS的使用是免費的,我們將在他們允許的情況下收集用戶的反饋。體驗地址在這https://moss.fastnlp.top/

MOSS能做什麼

MOSS主旨:有用、誠實和無害

  • 有用:儘量幫助人們完成語言任務,以提高他們的工作效率。
  • 誠實:對人類的問題做出誠實的回答。
  • 無害:遵守人類倫理和道德,不產生偏見或可能有害的反應。

MOSS使用示例

MOSS使用示例

 

MOSS使用示例

 

 MOSS使用示例

 

 MOSS使用示例

 

 MOSS使用示例

 

 MOSS使用示例

 

 MOSS使用示例

 

 

MOSS和ChatGPT有什麼不同?

  • MOSS的參數數量比ChatGPT少得多。
  • MOSS通過與人類和其他人工智能模型交談來學習,而ChatGPT則使用來自人類反饋的強化學習(RLHF)進行訓練。
  • MOSS將是開源的,以方便未來的研究,但ChatGPT可能不會。

團隊介紹

  MOSS 的主要作者共有兩位:復旦大學教授邱錫鵬和他的博士生孫天祥。此外還有多位成員對項目有所貢獻。

  邱錫鵬,復旦大學計算機科學技術學院教授,博士生導師。國家優青獲得者,於復旦大學獲得理學學士和博士學位。主要從事自然語言處理、深度學習等方向的研究,發表 CCF A/B 類論文 70 餘篇,獲得 ACL 2017 傑出論文獎(CCF A 類)、CCL 2019 最佳論文獎、《中國科學:技術科學》2021 年度高影響力論文獎,有 5 篇論文入選 PaperDigest 發佈的 IJCAI/ACL/EMNLP 的最有影響力論文(被引用數進入前當屆會議的 20 名)。出版開源專著《神經網絡與深度學習》,Github 關注數 1.5 萬,豆瓣評分 9.4 分。主持開發了開源框架 FudanNLP 和 FastNLP,已被國內外數百家單位使用。2015 年入選首屆中國科協青年人才託舉工程項目,2018 年獲錢偉長中文信息處理科學技術獎青年創新獎一等獎,2020 獲第四屆上海高校青年教師教學競賽優等獎,2021 年獲首屆上海市計算機學會教學成果獎一等獎(第一完成人)等。培養學生多次獲得一級學會優博、微軟學者、百度獎學金等。

  孫天祥,復旦大學計算機科學學院博士生,導師爲邱錫鵬教授和黃萱菁教授。2019 年畢業於西安電子科技大學。研究興趣集中於機器學習及其在自然語言處理中的應用,特別是預訓練語言模型的高效微調及推理、多任務學習、知識表示學習等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等會議發表多篇論文。

 

moss可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖並具有對話能力的全部技術路徑。這條路徑的走通,爲國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。   

邱錫鵬教授表示:“儘管moss還有很大改善空間,但它的問世證明了在開發類chatgpt產品的路上,國內科研團隊有能力克服技術上的重要挑戰。”moss研發項目得到了上海人工智能實驗室的有力支持。後期,這項工作將通過開源方式和業界社區分享。

未來,科研團隊將通過開源方式分享這項工作的成果,促進學術界和產業界對預訓練語言模型的分析與研發。預訓練大語言模型的研發門檻很高,需要大量算力、訓練語料和人工標註。在我國產業界,只有大型機構纔有實力開發大模型。moss開源後,可有效降低預訓練語言模型的研發和應用門檻,讓中小企業在其基礎上開發出智能客服、智能家居、人工智能律師等各種垂直類產品。   

“moss的計算量相對不那麼大,中小企業都能用起來。”邱錫鵬說,“期待復旦團隊和上海人工智能實驗室繼續合作,通過moss以及後續的研究探索,推動ai普惠,儘快賦能國內的人工智能產業。”

 

項目主頁 

https://txsun1997.github.io/blogs/moss.html

體驗地址

https://moss.fastnlp.top/

參考資料

https://news.cnblogs.com/n/736972/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章