一、梯度下降
1.1、什么是梯度?
1.2、梯度到底代表什么意思?
1.3、如何搜索loss最小值
1.4、tensorflow自动求导机制
import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
w = tf.constant(1.)
x = tf.constant(2.) #注意这里只能是浮点数,是整数的话结果返回None。
y = x*w
#梯度的计算过程要包在这个里面。
with tf.GradientTape() as tape:
tape.watch([w])
y2 = x*w
#[grad1] = tape.gradient(y, [w]) #这里参数[w]为list列表。最终返回的也是list类型。
#print(grad1) #这里返回的为None,为什么呢?因为tape.gradient()中药求解的y,并没有包在里面,而是y2
[grad2] = tape.gradient(y2, [w]) #这里参数[w]为list列表。最终返回的也是list类型。y2放进去了
print(grad2)
ssh://[email protected]:22/home/zhangkf/anaconda3/envs/tf2.0/bin/python -u /home/zhangkf/tmp/pycharm_project_258/demo/TF2/out.py
None
Process finished with exit code 0
1.4.1、补充知识:二阶梯度!
import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
w = tf.Variable(1.) #只能是小数
b = tf.Variable(2.)
x = tf.Variable(3.)
with tf.GradientTape() as tape1:
with tf.GradientTape() as tape2:
y = x*w +b
#dy_dw, dy_db = tape2.gradient(y, [w, b]) #都可以
[dy_dw, dy_db] = tape2.gradient(y, [w, b])
#d2y_d2w = tape1.gradient(dy_dw, [w]) #都可以
d2y_d2w = tape1.gradient(dy_dw, w)
print(dy_dw)
print(dy_db)
print(d2y_d2w)
ssh://[email protected]:22/home/zhangkf/anaconda3/envs/tf2.0/bin/python -u /home/zhangkf/tmp/pycharm_project_258/demo/TF2/out.py
tf.Tensor(3.0, shape=(), dtype=float32)
tf.Tensor(1.0, shape=(), dtype=float32)
[None]
Process finished with exit code 0