原创 [源碼解析] PyTorch 分佈式 Autograd (5) ---- 引擎(上)
[源碼解析] PyTorch 分佈式 Autograd (5) ---- 引擎(上) 目錄[源碼解析] PyTorch 分佈式 Autograd (5) ---- 引擎(上)0x00 摘要0x01 支撐系統1.1 引擎入口1.2 SendR
原创 [源碼解析] PyTorch 分佈式 Autograd (4) ---- 如何切入引擎
[源碼解析] PyTorch 分佈式 Autograd (4) ---- 如何切入引擎 目錄[源碼解析] PyTorch 分佈式 Autograd (4) ---- 如何切入引擎0x00 摘要0x01 前文回憶0x02 計算圖2.1 普通示
原创 [源碼解析] PyTorch 分佈式 Autograd (3) ---- 上下文相關
[源碼解析] PyTorch 分佈式 Autograd (3) ---- 上下文相關 目錄[源碼解析] PyTorch 分佈式 Autograd (3) ---- 上下文相關0x00 摘要0x01 設計脈絡1.1 前文回顧1.2 總體思路0
原创 [源碼解析] PyTorch 分佈式 Autograd (2) ---- RPC基礎
[源碼解析] PyTorch 分佈式 Autograd (2) ---- RPC基礎 目錄[源碼解析] PyTorch 分佈式 Autograd (2) ---- RPC基礎0x00 摘要0x01 示例0x02 RPC 基礎2.1 初始化2
原创 [源碼解析] PyTorch 分佈式 Autograd (1) ---- 設計
[源碼解析] PyTorch 分佈式 Autograd (1) ---- 設計 目錄[源碼解析] PyTorch 分佈式 Autograd (1) ---- 設計0x00 摘要0x01 分佈式RPC框架1.1 RPC 框架1.2 PyTor
原创 [源碼解析] PyTorch 分佈式(13) ----- DistributedDataParallel 之 反向傳播
[源碼解析] PyTorch 分佈式(13) ----- DistributedDataParallel 之 反向傳播 目錄[源碼解析] PyTorch 分佈式(13) ----- DistributedDataParallel 之 反向傳
原创 [源碼解析] PyTorch 分佈式(12) ----- DistributedDataParallel 之 前向傳播
[源碼解析] PyTorch 分佈式(12) ----- DistributedDataParallel 之 前向傳播 目錄[源碼解析] PyTorch 分佈式(12) ----- DistributedDataParallel 之 前向傳
原创 [源碼解析] PyTorch 分佈式(11) ----- DistributedDataParallel 之 構建Reducer和Join操作
[源碼解析] PyTorch 分佈式(11) ----- DistributedDataParallel 之 構建Reducer和Join操作 目錄[源碼解析] PyTorch 分佈式(11) ----- DistributedDataPa
原创 [源碼解析] PyTorch 分佈式(10)------DistributedDataParallel 之 Reducer靜態架構
[源碼解析] PyTorch 分佈式(10)------DistributedDataParallel之Reducer靜態架構 目錄[源碼解析] PyTorch 分佈式(10)------DistributedDataParallel之Re
原创 [源碼解析] PyTorch 分佈式(9) ----- DistributedDataParallel 之初始化
[源碼解析] PyTorch 分佈式(9) ----- DistributedDataParallel 之初始化 目錄[源碼解析] PyTorch 分佈式(9) ----- DistributedDataParallel 之初始化0x00
原创 [源碼解析] PyTorch 分佈式(8) -------- DistributedDataParallel之論文篇
[源碼解析] PyTorch 分佈式(8) -------- DistributedDataParallel之論文篇 目錄[源碼解析] PyTorch 分佈式(8) -------- DistributedDataParallel之論文篇0
原创 [源碼解析] PyTorch 分佈式(7) ----- DistributedDataParallel 之進程組
[源碼解析] PyTorch 分佈式(7) ----- DistributedDataParallel 之進程組 目錄[源碼解析] PyTorch 分佈式(7) ----- DistributedDataParallel 之進程組0x00
原创 [源碼解析] PyTorch分佈式(6) -------- DistributedDataParallel -- 初始化&store
[源碼解析] PyTorch分佈式(6) ---DistributedDataParallel -- 初始化&store 目錄[源碼解析] PyTorch分佈式(6) ---DistributedDataParallel -- 初始化&st
原创 [源碼解析] PyTorch分佈式(5) ------ DistributedDataParallel 總述&如何使用
[源碼解析] PyTorch 分佈式(5) ------ DistributedDataParallel 總述&如何使用 目錄[源碼解析] PyTorch 分佈式(5) ------ DistributedDataParallel 總述&如
原创 [源碼解析] PyTorch 分佈式(4)------分佈式應用基礎概念
[源碼解析] PyTorch 分佈式(4)------分佈式應用基礎概念 目錄[源碼解析] PyTorch 分佈式(4)------分佈式應用基礎概念0x00 摘要0x01 基本概念0x02 設計思路2.1 通信需求2.2 概念0x03 設