騰訊發佈超大預訓練系統派大星，聚焦解決BERT等超大模型訓練時的“GPU內存牆”問題

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"近日，騰訊微信AI團隊聯合Tencent NLP Oteam於GitHub上發佈開源項目派大星“"},{"type":"link","attrs":{"href":"https:\/\/github.com\/Tencent\/PatrickStar","title":"xxx","type":null},"content":[{"type":"text","text":"PatrickStar"}]},{"type":"text","text":"”。該開源項目將聚焦解決GPT、BERT等超大模型訓練時產生的“GPU內存牆”問題，使用更爲創新的異構內存管理方法，讓相同配置的機器能夠訓練更大的模型，以更節能環保的方式讓預訓練模型普惠每位NLP社區用戶。經測試結果顯示，派大星性能表現優於微軟DeepSpeed，在不到5000元價位的個人遊戲電腦上，即可訓練一個7億參數的GPT模型。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.infoq.cn\/resource\/image\/4c\/94\/4c93a6a171721daa19af2a219de9bb94.png","alt":null,"title":"","style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":"","fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"以GPT、BERT爲代表的預訓練模型(PTM)是自然語言處理（NLP）領域的核心技術，但由於GPU硬件的存儲空間有限，PTM的可訓練規模難以突破，專業人員稱之爲\"GPU內存牆\"，同時， PTM預訓練的過程具備高耗能、高成本、高碳等弊端——往往訓練一次萬億級別的預訓練模型要燒掉154萬人民幣，消耗的電能制釋相當於數十輛小汽車從出廠到報廢的碳排放總和。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"爲攻克該痛點，騰訊微信AI團隊聯合TencentNLP Oteam從頭搭建了派大星。它通過細粒度的方式管理模型數據，更有效使用了異構內存空間，進一步突破PTM模型規模的極限。同時，派大星的設計比同類方法佔用更低內存使用，減少了CPU和GPU之間數據搬移開銷，從而顯著提升了計算資源的利用率。並且，派大星可以和多種並行訓練方式正交使用。比如，派大星使用微軟提出的零冗餘優化器來實現單機多卡的數據並行。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"實驗結果表明，派大星將模型規模上限在目前最佳方案DeepSpeed的基礎上提升了 1.5 倍，並且展現了明顯高於DeepSpeed的計算效率。這將極大降低了PTM訓練過程中的碳排放，以技術優化的方式助力低碳環保事業。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"目前，派大星已參與到微信搜一搜、微信對話開放平臺、小微智能音響等產品研發工作中，助力降低GPU卡使用數量，提升機器的利用率，減少數據中心的碳排放規模。接下來，微信AI團隊也將持續深化開源技術的研發及應用，以創新促進行業發展及生態建設。"}]}]}