原创 [源碼解析] PyTorch 分佈式 Autograd (5) ---- 引擎(上)

[源碼解析] PyTorch 分佈式 Autograd (5) ---- 引擎(上) 目錄[源碼解析] PyTorch 分佈式 Autograd (5) ---- 引擎(上)0x00 摘要0x01 支撐系統1.1 引擎入口1.2 SendR

原创 [源碼解析] PyTorch 分佈式 Autograd (4) ---- 如何切入引擎

[源碼解析] PyTorch 分佈式 Autograd (4) ---- 如何切入引擎 目錄[源碼解析] PyTorch 分佈式 Autograd (4) ---- 如何切入引擎0x00 摘要0x01 前文回憶0x02 計算圖2.1 普通示

原创 [源碼解析] PyTorch 分佈式 Autograd (3) ---- 上下文相關

[源碼解析] PyTorch 分佈式 Autograd (3) ---- 上下文相關 目錄[源碼解析] PyTorch 分佈式 Autograd (3) ---- 上下文相關0x00 摘要0x01 設計脈絡1.1 前文回顧1.2 總體思路0

原创 [源碼解析] PyTorch 分佈式 Autograd (2) ---- RPC基礎

[源碼解析] PyTorch 分佈式 Autograd (2) ---- RPC基礎 目錄[源碼解析] PyTorch 分佈式 Autograd (2) ---- RPC基礎0x00 摘要0x01 示例0x02 RPC 基礎2.1 初始化2

原创 [源碼解析] PyTorch 分佈式 Autograd (1) ---- 設計

[源碼解析] PyTorch 分佈式 Autograd (1) ---- 設計 目錄[源碼解析] PyTorch 分佈式 Autograd (1) ---- 設計0x00 摘要0x01 分佈式RPC框架1.1 RPC 框架1.2 PyTor

原创 [源碼解析] PyTorch 分佈式(13) ----- DistributedDataParallel 之 反向傳播

[源碼解析] PyTorch 分佈式(13) ----- DistributedDataParallel 之 反向傳播 目錄[源碼解析] PyTorch 分佈式(13) ----- DistributedDataParallel 之 反向傳

原创 [源碼解析] PyTorch 分佈式(12) ----- DistributedDataParallel 之 前向傳播

[源碼解析] PyTorch 分佈式(12) ----- DistributedDataParallel 之 前向傳播 目錄[源碼解析] PyTorch 分佈式(12) ----- DistributedDataParallel 之 前向傳

原创 [源碼解析] PyTorch 分佈式(11) ----- DistributedDataParallel 之 構建Reducer和Join操作

[源碼解析] PyTorch 分佈式(11) ----- DistributedDataParallel 之 構建Reducer和Join操作 目錄[源碼解析] PyTorch 分佈式(11) ----- DistributedDataPa

原创 [源碼解析] PyTorch 分佈式(10)------DistributedDataParallel 之 Reducer靜態架構

[源碼解析] PyTorch 分佈式(10)------DistributedDataParallel之Reducer靜態架構 目錄[源碼解析] PyTorch 分佈式(10)------DistributedDataParallel之Re

原创 [源碼解析] PyTorch 分佈式(9) ----- DistributedDataParallel 之初始化

[源碼解析] PyTorch 分佈式(9) ----- DistributedDataParallel 之初始化 目錄[源碼解析] PyTorch 分佈式(9) ----- DistributedDataParallel 之初始化0x00

原创 [源碼解析] PyTorch 分佈式(8) -------- DistributedDataParallel之論文篇

[源碼解析] PyTorch 分佈式(8) -------- DistributedDataParallel之論文篇 目錄[源碼解析] PyTorch 分佈式(8) -------- DistributedDataParallel之論文篇0

原创 [源碼解析] PyTorch 分佈式(7) ----- DistributedDataParallel 之進程組

[源碼解析] PyTorch 分佈式(7) ----- DistributedDataParallel 之進程組 目錄[源碼解析] PyTorch 分佈式(7) ----- DistributedDataParallel 之進程組0x00

原创 [源碼解析] PyTorch分佈式(6) -------- DistributedDataParallel -- 初始化&store

[源碼解析] PyTorch分佈式(6) ---DistributedDataParallel -- 初始化&store 目錄[源碼解析] PyTorch分佈式(6) ---DistributedDataParallel -- 初始化&st

原创 [源碼解析] PyTorch分佈式(5) ------ DistributedDataParallel 總述&如何使用

[源碼解析] PyTorch 分佈式(5) ------ DistributedDataParallel 總述&如何使用 目錄[源碼解析] PyTorch 分佈式(5) ------ DistributedDataParallel 總述&如

原创 [源碼解析] PyTorch 分佈式(4)------分佈式應用基礎概念

[源碼解析] PyTorch 分佈式(4)------分佈式應用基礎概念 目錄[源碼解析] PyTorch 分佈式(4)------分佈式應用基礎概念0x00 摘要0x01 基本概念0x02 設計思路2.1 通信需求2.2 概念0x03 設