原创 Tensorflow源碼解析7 -- TensorFlow分佈式運行時

1 概述 TensorFlow架構設計精巧,在後端運行時這一層,除了提供本地運行時外,還提供了分佈式運行時。通過分佈式訓練,在多臺機器上並行執行,大大提高了訓練速度。前端用戶通過session.run()啓動系統執行時,target默認爲空

原创 Tensorflow源碼解析6 -- TensorFlow本地運行時

1 概述 TensorFlow後端分爲四層,運行時層、計算層、通信層、設備層。運行時作爲第一層,實現了session管理、graph管理等很多重要的邏輯,是十分關鍵的一層。根據任務分佈的不同,運行時又分爲本地運行時和分佈式運行時。本地運行時

原创 Tensorflow源碼解析5 -- 圖的邊 - Tensor

1 概述 前文兩篇文章分別講解了TensorFlow核心對象Graph,和Graph的節點Operation。Graph另外一大成員,即爲其邊Tensor。邊用來表示計算的數據,它經過上游節點計算後得到,然後傳遞給下游節點進行運算。本文講解

原创 Tensorflow源碼解析4 -- 圖的節點 - Operation

1 概述 上文講述了TensorFlow的核心對象,計算圖Graph。Graph包含兩大成員,節點和邊。節點即爲計算算子Operation,邊則爲計算數據Tensor。由起始節點Source出發,按照Graph的拓撲順序,依次執行節點的計算

原创 Tensorflow源碼解析3 -- TensorFlow核心對象 - Graph

1 Graph概述 計算圖Graph是TensorFlow的核心對象,TensorFlow的運行流程基本都是圍繞它進行的。包括圖的構建、傳遞、剪枝、按worker分裂、按設備二次分裂、執行、註銷等。因此理解計算圖Graph對掌握Tensor