原创 [源碼解析] TensorFlow 分佈式環境(2)---Master 靜態邏輯

[源碼解析] TensorFlow 分佈式環境(2)---Master 靜態邏輯 目錄[源碼解析] TensorFlow 分佈式環境(2)---Master 靜態邏輯1. 總述2. 接口2.1 接口規範2.2 MasterInterface

原创 [源碼解析] TensorFlow 分佈式環境(1) --- 總體架構

[源碼解析] TensorFlow 分佈式環境(1) --- 總體架構 目錄[源碼解析] TensorFlow 分佈式環境(1) --- 總體架構1. 總體架構1.1 集羣角度1.1.1 概念1.1.2 示意圖1.1.3 創建1.1.3.1

原创 [翻譯] TensorFlow 分佈式之論文篇 "Implementation of Control Flow in TensorFlow"

[翻譯] TensorFlow 分佈式之論文篇 "Implementation of Control Flow in TensorFlow" 目錄[翻譯] TensorFlow 分佈式之論文篇 "Implementation of Cont

原创 [翻譯] NVIDIA HugeCTR,GPU 版本參數服務器 --(10)--- 推理架構

[翻譯] NVIDIA HugeCTR,GPU 版本參數服務器 --(10)--- 推理架構 目錄[翻譯] NVIDIA HugeCTR,GPU 版本參數服務器 --(10)--- 推理架構0x00 摘要0x01 設計0x02 HugeCT

原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(9)--- Local hash表

[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(9)--- Local hash表 目錄[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(9)--- Local hash表0x00 摘要0x

原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(8) ---Distributed Hash之後向傳播

[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(8) ---Distributed Hash之後向傳播 目錄[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(8) ---Distribute

原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(7) ---Distributed Hash之前向傳播

[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(7) ---Distributed Hash之前向傳播 目錄[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(7) ---Distribute

原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (4)

[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (4) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (4)0x00 摘要0x01 總體流程0x02 DataReader2.1 定義2.

原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (6) --- Distributed hash表

[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (6) --- Distributed hash表 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (6) --- Distributed

原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (5) 嵌入式hash表

[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (5) 嵌入式hash表 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (5) 嵌入式hash表0x00 摘要0x01 前文回顧0x02

原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器---(3)

[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器---(3) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器---(3)0x00 摘要0x01 回顧0x02 數據集2.1 Norm2.1.1 數據文件2

原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (2)

[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (2) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (2)0x00 摘要0x01 總體流程1.1 概述1.2 如何調用0x02 Sess

原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(1)

[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器 --(1) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器 --(1)0x00 摘要0x01 背景1.1 推薦系統中的點擊率估計1.2 點擊率估算訓練的

原创 [源碼解析] 模型並行分佈式訓練Megatron (5) --Pipedream Flush

[源碼解析] 模型並行分佈式訓練Megatron (5) --Pipedream Flush 目錄[源碼解析] 模型並行分佈式訓練Megatron (5) --Pipedream Flush0x00 摘要0x01 背景0x02 論文2.1

原创 [源碼解析] 模型並行分佈式訓練 Megatron (4) --- 如何設置各種並行

[源碼解析] 模型並行分佈式訓練 Megatron (4) --- 如何設置各種並行 目錄[源碼解析] 模型並行分佈式訓練 Megatron (4) --- 如何設置各種並行0x00 摘要0x01 前文回顧0x02 初始化2.1 全局變量2