Tensorflow簡單的神經網絡

使用Tensorflow 實現一個簡單的全連接神經網絡，及效果可視化

import tensorflow as tf
import numpy as np

#讓結果可視化,添加一個模塊
import matplotlib.pyplot as plt


# 添加和定義一個神經層

#inputs代表輸入，in_size,輸入維度,out_size代表輸出維度，激活函數默認爲None
def add_layer(inputs,in_size,out_size,activation_function=None):
    #生成一個隨機權值
    Weights = tf.Variable(tf.random_normal([in_size,out_size]))
    #定義一個爲0.1的偏置
    biases = tf.Variable(tf.zeros([1,out_size]) + 0.1)
    #output = W x + b 
    Wx_plus_b = tf.matmul(inputs,Weights) + biases
    #如果沒有定義激活函數
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return outputs
#定義一個數據集 -1， 1這個區間，有300個數據
x_data = np.linspace(-1,1,300)[:,np.newaxis]

#定義一個noise使數據更像一個真實數據，方差爲0.05均值爲0
noise = np.random.normal(0,0.05,x_data.shape)

#y值爲

y_data = np.square(x_data)-0.5 + noise

#定義sess,run()時的值
xs = tf.placeholder(tf.float32,[None,1])
ys = tf.placeholder(tf.float32,[None,1])

#這裏的輸入層只有一個輸入，定義第一層的隱藏節點爲10個,激活函數爲relu

l1 = add_layer(xs,1,10,activation_function = tf.nn.relu)
#將第一層的輸出作爲第二層的輸入
#這裏就有10個輸入，但是輸出y只有一個結點，所以
prediction = add_layer(l1,10,1,activation_function = None)

#定義損失值,將每個數據的預測值和真實值相減求平方再求和，最後平均

loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),
                                    reduction_indices=[1]))

#然後訓練數據,梯度下降，學習率爲0.1
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

init = tf.global_variables_initializer()

#生成一個圖片框
fig = plt.figure()
#生成一個連續性的畫圖
ax = fig.add_subplot(1,1,1)
#先將真實數據答應出來
ax.scatter(x_data,y_data)
#連續的顯示plt
plt.ion()

with tf.Session() as sess:
    sess.run(init)
    for i in range(3000):
        sess.run(train_step,feed_dict = {xs:x_data,ys:y_data})
        if i % 50 ==0:
            print(sess.run(loss,feed_dict = {xs:x_data,ys:y_data}))
            #畫一條之後去除一條
            try:
                ax.lines.remove(lines[0])
            except Exception:
                pass
            #顯示預測數據,這裏的預測值只和xs有關
            prediction_value = sess.run(prediction,feed_dict={xs:x_data})
            #用一條很色的線將結果畫上去
            lines = ax.plot(x_data,prediction_value,'r-',lw = 5)
            plt.pause(0.3)