原创 [源碼解析] TensorFlow 分佈式環境(2)---Master 靜態邏輯
[源碼解析] TensorFlow 分佈式環境(2)---Master 靜態邏輯 目錄[源碼解析] TensorFlow 分佈式環境(2)---Master 靜態邏輯1. 總述2. 接口2.1 接口規範2.2 MasterInterface
原创 [源碼解析] TensorFlow 分佈式環境(1) --- 總體架構
[源碼解析] TensorFlow 分佈式環境(1) --- 總體架構 目錄[源碼解析] TensorFlow 分佈式環境(1) --- 總體架構1. 總體架構1.1 集羣角度1.1.1 概念1.1.2 示意圖1.1.3 創建1.1.3.1
原创 [翻譯] TensorFlow 分佈式之論文篇 "Implementation of Control Flow in TensorFlow"
[翻譯] TensorFlow 分佈式之論文篇 "Implementation of Control Flow in TensorFlow" 目錄[翻譯] TensorFlow 分佈式之論文篇 "Implementation of Cont
原创 [翻譯] NVIDIA HugeCTR,GPU 版本參數服務器 --(10)--- 推理架構
[翻譯] NVIDIA HugeCTR,GPU 版本參數服務器 --(10)--- 推理架構 目錄[翻譯] NVIDIA HugeCTR,GPU 版本參數服務器 --(10)--- 推理架構0x00 摘要0x01 設計0x02 HugeCT
原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(9)--- Local hash表
[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(9)--- Local hash表 目錄[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(9)--- Local hash表0x00 摘要0x
原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(8) ---Distributed Hash之後向傳播
[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(8) ---Distributed Hash之後向傳播 目錄[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(8) ---Distribute
原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(7) ---Distributed Hash之前向傳播
[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(7) ---Distributed Hash之前向傳播 目錄[源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器---(7) ---Distribute
原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (4)
[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (4) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (4)0x00 摘要0x01 總體流程0x02 DataReader2.1 定義2.
原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (6) --- Distributed hash表
[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (6) --- Distributed hash表 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (6) --- Distributed
原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (5) 嵌入式hash表
[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (5) 嵌入式hash表 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (5) 嵌入式hash表0x00 摘要0x01 前文回顧0x02
原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器---(3)
[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器---(3) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器---(3)0x00 摘要0x01 回顧0x02 數據集2.1 Norm2.1.1 數據文件2
原创 [源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (2)
[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (2) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器--- (2)0x00 摘要0x01 總體流程1.1 概述1.2 如何調用0x02 Sess
原创 [源碼解析] NVIDIA HugeCTR,GPU 版本參數服務器 --(1)
[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器 --(1) 目錄[源碼解析] NVIDIA HugeCTR,GPU版本參數服務器 --(1)0x00 摘要0x01 背景1.1 推薦系統中的點擊率估計1.2 點擊率估算訓練的
原创 [源碼解析] 模型並行分佈式訓練Megatron (5) --Pipedream Flush
[源碼解析] 模型並行分佈式訓練Megatron (5) --Pipedream Flush 目錄[源碼解析] 模型並行分佈式訓練Megatron (5) --Pipedream Flush0x00 摘要0x01 背景0x02 論文2.1
原创 [源碼解析] 模型並行分佈式訓練 Megatron (4) --- 如何設置各種並行
[源碼解析] 模型並行分佈式訓練 Megatron (4) --- 如何設置各種並行 目錄[源碼解析] 模型並行分佈式訓練 Megatron (4) --- 如何設置各種並行0x00 摘要0x01 前文回顧0x02 初始化2.1 全局變量2