原创 微軟和谷歌各自開源新的分佈式深度學習訓練框架
微軟和谷歌一直積極致力於訓練深度神經網絡的新模型，並推出了各自的新框架，Microsoft PipeDream和Google GPipe。二者使用了類似的原理來擴展深度學習模型的訓練能力，具體細節在相應的研究論文中分別給出（參見PipeDr
2020-11-04 13:33:52
6
原创 探祕微軟大規模人工智能的新框架ZeRO-2
本文將詳細解讀微軟與OpenAI合作推出的ZeRO-2框架、新的ONNX Runtime和超級計算機。 使用海量數據訓練模型，已成爲現代深度學習應用的一種常態。以Transformers及其它預訓練模型爲代表的一些最新的創新性應用，需
2020-06-17 17:51:27
原创 簡化TensorFlow和Spark互操作性的問題：LinkedIn開源Spark-TFRecord
TensorFlow 和 Apache Spark 的互操作問題是現實世界機器學習場景中常見的挑戰。可以說，TensorFlow 是市場上最流行的深度學習框架，而 Apache Spark 仍然是被廣泛採用的數據計算平臺之一，從大型企業到初
2020-06-09 09:03:53
原创 微軟研究團隊使用遷移學習，訓練現實世界中的無人機
感知-行動循環是我們日常生活活動的核心。潛意識裏，我們的大腦使用感官輸入來實時觸發特定的運動動作，這變成了一種持續的活動，從體育運動到看電視的各種活動都是如此。在人工智能中，感知-動作循環是自動駕駛車輛等自動系統的基石。雖然模仿學習或強化
2020-03-26 15:23:56
原创 彩票假設如何挑戰我們所知的訓練神經網絡的一切
由於神經網絡模型一般非常大，因此模型壓縮是當前一個比較熱門的話題。彩票假設就是解決這一問題的方案之一。簡單地說，就是將一個複雜網絡的所有參數當作一個獎池，獎池中存在一組子參數所對應的子網絡（代表中獎號碼），單獨訓練該子網絡，可以達到原始網絡
2019-06-11 08:03:59
5