原创 微軟更新DeepSpeed:可用更少的GPU訓練更多的AI模型

今年 2 月,我們發佈了 DeepSpeed和 ZeRO(Zero Redundancy Optimizer,零冗餘優化器),前者是一個開源的深度學習訓練優化庫,後者是該庫中的一種新型內存優化技術,通過提高規模、速度、成本和可用性,極大地推

原创 微軟發佈DeepSpeed開源庫,支持1000億個參數模型的訓練

微軟發佈了名爲DeepSpeed的開源庫,它通過改善規模、速度、成本和可用性,能夠極大地推進大型模型的訓練,支持1000億個參數模型的訓練。 本文最初發表於微軟的Research網站,由InfoQ中文站翻譯分享。 在AI方面,最新的趨勢