Refence: 《Tensorflow machine learning cookbook》 : Declaring Tensors
Packt.TensorFlow.Machine.Learning.Cookbook.2017 笔记
主要应用领域：计算机视觉，语音识别，机器翻译，健康医疗
流行的GPU架构：Nvidia Tesla and Pascal，4G RAM，
GPU软件支持：Nvidia Cuda Toolkit and also v 5.x +
通用十步骤：
1.导入或生成数据集；
2.转换和标准化数据；data = tf.nn.batch_norm_with_global_normalization(...)
3.划分训练、测试和验证数据集；
4.设置超参数，集中设置；
learning_rate = 0.01
batch_size = 100
iterations = 1000
5.初始化变量与占位符；通过占位符喂数据，模型调整变量，权重和偏好。
a_var = tf.constant(42)
x_input = tf.placeholder(tf.float32, [None, input_size])
y_input = tf.placeholder(tf.float32, [None, num_classes])
6.定义模型结构；构建计算图。
y_pred = tf.add(tf.mul(x_input, weight_matrix), b_matrix)
7.定义损失函数；
loss = tf.reduce_mean(tf.square(y_actual – y_pred))
8.初始化和训练模型
with tf.Session(graph=graph) as session:
...
session.run(...)
...
或：
session = tf.Session(graph=graph)
session.run(…)
9.评估模型；在训练集和测试集上。
10.超参数调优；在验证集上
11.应用，部署上线，预测新输出；
http://tensorfly.cn/tfdoc/mltools.html有广泛的机器学习资源介绍。
但tensorflow的api在tensorfly.cn上还没有。可以下一个tensorflow manual,里面包括了tensorflow的基础教程，运作方式和python,c++的api.
图一：模型的各类参数
申明tensor: 只创建tensor，tf不会在计算图中加任何东西，只有这些东西可用时才会加入计算图。
定义tensor练习：
#申明tensor常见方式
import tensorflow as tf;
from tensorflow.python.framework import ops
ops.reset_default_graph()
def show(tip, *a):
sess = tf.Session()
b = sess.run(a)
print('-------------------')
print(tip)
for i in b:
print(i)
sess = tf.Session()
#1.常量tensor
zeros_tsr = tf.zeros([2, 3])
show("tf.zeros:",zeros_tsr)
ones_tsr = tf.ones([1, 3])
show("tf.ones:",ones_tsr)
filled_tsr = tf.fill([2, 4], 8) #创建一个常量
show('tf.fill:',filled_tsr)
constant_tsr = tf.constant([1, 2, 3]) #创建一个自定义的常量
show('tf.constant:',constant_tsr)
constant2_str = tf.constant(8, tf.float32, [2,4]) #等价于fill
show('tf.constant:',constant2_str)
#2.其于其它变量的shape来创建常量
zeros_similar = tf.zeros_like(zeros_tsr)
show('tf.zeros_like:',zeros_similar)
ones_similar = tf.ones_like(ones_tsr)
show('tf.ones_like:',ones_similar)
#3.序列类常量
linear_tsr = tf.linspace(start=0.0, stop=1, num=11) #使用样本个数，常用
show("tf.linspace:",linear_tsr)
range_tsr = tf.range(0, 1, 0.1) #等价于linspace，但使用步长，有时不方便
show('tf.range:',range_tsr)
#4.随机类常量
rand_unif_tsr = tf.random_uniform([2,3], 0, 10) #[0,10)的均匀分布
show('tf.random_uniform:',rand_unif_tsr)
randnorm = tf.random_normal([2,3], 0, 0.1) #均值0，标准差 0.1
show('tf.random_normal:' , randnorm)
trunc_norm = tf.truncated_normal([2,3], 0, 0.1) #同上，但2个标准差之外的截掉
show('tf.truncated_normal',trunc_norm)
value = tf.range(1,10)
show('tf.range:', value)
shuffle_output = tf.random_shuffle(value) #洗牌
show('tf.random_shuffle:',shuffle_output)
rand_int_tsr = tf.random_uniform([3,4], 0, 100)
cropped_output = tf.random_crop(rand_int_tsr, [2,2])
show('tf.random_crop:', rand_int_tsr, cropped_output) #在3*4的矩阵上，随机取一个 2*2的子矩阵，常用于彩色图片 （高，宽，3颜色通道）
#创建变量tensor
print('--------------------------------')
cropped_output_var = tf.Variable(cropped_output)
sess.run(cropped_output_var.initializer)
print(sess.run(cropped_output_var))
cropped_output_var2 = tf.Variable(tf.lin_space(7.0, 9, 3))
sess.run(cropped_output_var2.initializer)
print(sess.run(cropped_output_var2))
var1 = tf.Variable(tf.range(1,3))
var2 = tf.Variable(tf.range(4,8))
init_allvars_op = tf.global_variables_initializer() #不用每个变量都去取initializer
sess.run(init_allvars_op)
print(sess.run([var1,var2]))
#转任意数组或常量到tensor
a = [1, 2, 3]
show("const to tensor:" , tf.convert_to_tensor(a))
输出结果：
-------------------
tf.zeros:
[[ 0. 0. 0.]
[ 0. 0. 0.]]
-------------------
tf.ones:
[[ 1. 1. 1.]]
-------------------
tf.fill:
[[8 8 8 8]
[8 8 8 8]]
-------------------
tf.constant:
[1 2 3]
-------------------
tf.constant:
[[ 8. 8. 8. 8.]
[ 8. 8. 8. 8.]]
-------------------
tf.zeros_like:
[[ 0. 0. 0.]
[ 0. 0. 0.]]
-------------------
tf.ones_like:
[[ 1. 1. 1.]]
-------------------
tf.linspace:
[ 0. 0.1 0.2 0.30000001 0.40000001 0.5
0.60000002 0.69999999 0.80000001 0.90000004 1. ]
-------------------
tf.range:
[ 0. 0.1 0.2 0.30000001 0.40000001 0.5
0.60000002 0.70000005 0.80000007 0.9000001 ]
-------------------
tf.random_uniform:
[[ 7.20409775 6.92542934 4.91668463]
[ 2.51387954 4.47322464 0.28337955]]
-------------------
tf.random_normal:
[[ 0.05500451 -0.01932122 -0.00656942]
[ 0.27151474 0.05169746 0.08516382]]
-------------------
tf.truncated_normal
[[-0.09705421 0.18184513 -0.09811895]
[-0.00603499 0.11441358 -0.19262247]]
-------------------
tf.range:
[1 2 3 4 5 6 7 8 9]
-------------------
tf.random_shuffle:
[2 9 8 3 1 5 7 4 6]
-------------------
tf.random_crop:
[[ 99.53952026 1.27675533 68.68402863 85.94589233]
[ 21.94381905 83.0783844 88.68248749 51.50793839]
[ 16.83168411 37.43605804 72.67305756 7.39020109]]
[[ 68.68402863 85.94589233]
[ 88.68248749 51.50793839]]
--------------------------------
[[ 17.86952019 46.57141113]
[ 64.63282013 68.54146576]]
[ 7. 8. 9.]
[array([1, 2]), array([4, 5, 6, 7])]
-------------------
const to tensor:
[1 2 3]