Tensorflow源碼解析4 -- 圖的節點 - Operation

1 概述

上文講述了TensorFlow的核心對象，計算圖Graph。Graph包含兩大成員，節點和邊。節點即爲計算算子Operation，邊則爲計算數據Tensor。由起始節點Source出發，按照Graph的拓撲順序，依次執行節點的計算，即可完成整圖的計算，最後結束於終止節點Sink，並輸出計算結果。

本文會對節點Operation進行詳細講解。

2 前端節點數據結構

在Python前端中，Operation表示Graph的節點，Tensor表示Graph的邊。Operation包含OpDef和NodeDef兩個主要成員變量。其中OpDef描述了op的靜態屬性信息，例如op入參列表，出參列表等。而NodeDef則描述op的動態屬性信息，例如op運行的設備信息，用戶給op設置的name等。

先來看Operation的數據結構，只列出重要代碼。

@tf_export("Operation")
class Operation(object):
  def __init__(self,
               node_def,
               g,
               inputs=None,
               output_types=None,
               control_inputs=None,
               input_types=None,
               original_op=None,
               op_def=None):
     # graph引用，通過它可以拿到Operation所註冊到的Graph
     self._graph = g
    
    # inputs
    if inputs is None:
      inputs = []

    #  input types
    if input_types is None:
      input_types = [i.dtype.base_dtype for i in inputs]

    # control_input_ops
    control_input_ops = []
    
    # node_def和op_def是兩個最關鍵的成員
    if not self._graph._c_graph:
      self._inputs_val = list(inputs)  # Defensive copy.
      self._input_types_val = input_types
      self._control_inputs_val = control_input_ops
      
      # NodeDef，深複製
      self._node_def_val = copy.deepcopy(node_def)
        
      # OpDef
      self._op_def_val = op_def
      
    # outputs輸出
    self._outputs = [
        Tensor(self, i, output_type)
        for i, output_type in enumerate(output_types)
    ]

下面來看Operation的屬性方法，通過屬性方法我們可以拿到Operation的兩大成員，即OpDef和NodeDef。

  @property
  def name(self):
    # Operation的name，注意要嵌套name_scope
    return self._node_def_val.name

  @property
  def _id(self):
    # Operation的唯一標示，id
    return self._id_value

  @property
  def device(self):
    # Operation的設備信息
    return self._node_def_val.device
    
  @property
  def graph(self):
    # graph引用
    return self._graph

  @property
  def node_def(self):
    # NodeDef成員，獲取Operation的動態屬性信息，例如Operation分配到的設備信息，Operation的name等
    return self._node_def_val

  @property
  def op_def(self):
    # OpDef，獲取Operation的靜態屬性信息，例如Operation入參列表，出參列表等
    return self._op_def_val

3 後端節點數據結構

在C++後端中，Graph圖也包含兩部分，即邊Edge和節點Node。同樣，節點Node用來表示計算算子，而邊Edge則表示計算數據或者Node間依賴關係。Node數據結構如下所示。

class Node {
 public:
    // NodeDef,節點算子Operation的信息，比如op分配到哪個設備上了等，運行時有可能變化。
      const NodeDef& def() const;
    
    // OpDef, 節點算子Operation的元數據，不會變的。比如Operation的入參個數，名字等
      const OpDef& op_def() const;
 private:
      // 輸入邊，傳遞數據給節點。可能有多條
      EdgeSet in_edges_;

      // 輸出邊，節點計算後得到的數據。可能有多條
      EdgeSet out_edges_;
}

節點Node中包含的主要數據有輸入邊和輸出邊的集合，從而能夠由Node找到跟他關聯的所有邊。Node中還包含NodeDef和OpDef兩個成員。NodeDef表示節點算子的動態屬性，創建Node時會new一個NodeDef對象。OpDef表示節點算子的靜態屬性，運行時不會變，創建Node時不需要new OpDef，只需要從OpDef倉庫中取出即可。因爲元信息是確定的，比如Operation的入參列表，出參列表等。