这个系列主要是对TensorFlow进行学习，了解其内部机制、运行方法，最后能根据自己的想法构建模型。
本文主要的介绍内容是TensorFlow的Graph和Session两个概念，即运算图和会话。
1. 数据流图
TensorFlow哲学：将计算图的定义和执行分离。
阶段一：运算图的定义
阶段二：使用session会话执行运算图的操作
2. 什么是Tensor？
Tensor是一个n维的数组
- 0-d tensor：标量，或者说数字
- 1-d tensor：向量
- 2-d tensor：矩阵
- …
让我们看一个简单的计算图
在TensorBoard的模型可视化结果中，结点通常表示操作、变量以及常量；边表示张量tensors。
这些tensor表示的是数据，TensorFlow = tensor + flow = data + flow.
从上面图中我们可以知道，直接打印a并不能得到真正的计算结果8，这也证实了TensorFlow计算图和执行过程确实是分离的。
那么，我们如何才能得到计算结果a的值呢？
创建一个Session会话：在会话中可以执行运算图，从而得到a的计算结果值(8)。具体方法就是：
import tensorflow as tf
a = tf.add(3, 5)
sess = tf.Session()
print(sess.run(a)) >> 8
sess.close()
也可以换种写法：
import tensorflow as tf
a = tf.add(3, 5)
with tf.Session() as sess:
print(sess.run(a))
接下来，我们来看一下tf.Session()这个函数。
3. tf.Session()
tf的Session对象封装了TF的执行环境，在环境中可以执行各种操作以及计算各种张量。此外，Session会话还将分配内存以存储变量的当前值。
4. 更复杂的运算图
这个运算图完成的计算为:。
让我们在看一个更复杂的图：
在这个图中又定义了一个useless操作，但是我们希望执行的计算是z。在TF运行时，pow_op结点的计算过程并不依赖于useless，因此，会话sess在执行过程中不会执行useless的运算，这样就可以减少不必要的运算过程。
那么，如果我们想要同时计算useless和pow_op，应该怎么做呢？
sess.run函数的API为：
fetches是一个列表，其中包含我们想要执行的计算。因此，我们可以在sess.run([])列表里添加pow_op, useless。
TensorFlow可以将运算图分解为几个块，然后在多个CPU，GPU，TPU或其他设备上并行运行它们。比如：
为了方便划分子块的并行计算，我们可以指定它们的执行设备，
5. 能不能创建多个运算图？
到目前为止，我们只有一个运算图，我们能不能创建多个运算图呢？答案是可以的，但是不推荐，理由如下：
- 多个图需要多个会话，默认情况下每个会话都会尝试使用所有可用资源
- 如果不通过python/numpy传递数据，就不能在多个运算图之间传递数据，而python/numpy在分布式环境中不起作用
我们可以自己创建运算图：
g = tf.Graph()
如果想要在默认图中进行操作，需要执行：
g = tf.get_default_graph()
6. TF为什么使用Graph？
- 可以节省计算。TF可以根据输出只运算相关的操作图，避免执行不必要的运算
- 将计算分解为小的微分块，以利于自动求导
- 有利于分布式计算。可以将运算分布在CPU、GPU、TPU等设备上。将运算图分解为多个小块，然后将小块分散在不同的设备上，这样有利于分布式计算
- 许多常见的机器学习模型已经被普遍地认为可以表示为有向图，这使得它们的实现对机器学习实践者来说更加自然。
7. References
CS 20: Tensorflow for Deep Learning Research
