深度學習（一）——placeholder的使用

使用placeholder

import tensorflow as tf

# 讓我們修改前面的代碼去實現Mini-Batch梯度下降
# 爲了去實現這個，我們需要一種方式去取代X和y在每一次迭代中，使用一小批數據
# 最簡單的方式去做到這個是去使用placeholder節點
# 這些節點特點是它們不真正的計算，它們只是在執行過程中你要它們輸出數據的時候去輸出數據
# 它們會傳輸訓練數據給TensorFlow在訓練的時候
# 如果在運行過程中你不給它們指定數據，你會得到一個異常

# 需要做的是使用placeholder()並且給輸出的tensor指定數據類型，也可以選擇指定形狀
# 如果你指定None對於某一個維度，它的意思代表任意大小
# 相當於佔位，先挖一個空留着，後面執行的時候才填數據
A = tf.placeholder(tf.float32, shape=(None, 3))
B = A + 5

with tf.Session() as sess:
    B_val_1 = B.eval(feed_dict={A: [[1, 2, 3]]})
    B_val_2 = B.eval(feed_dict={A: [["4", 5, 6], [7, 8, 9]]})

print(B_val_1)
print(B_val_2)

#!/usr/bin/python
# -*- coding: UTF-8 -*-
# 文件名: 12_Softmax_regression.py

#  就是0～9圖片的數據集
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

__author__ = 'yasaka'

# mn.SOURCE_URL = "http://yann.lecun.com/exdb/mnist/"
# y本來是一列數據從0～9，one_hot作用就是把y變成一個矩陣，行數不變，列數爲0～9，y本來的類別是5就在5列下打1，其餘爲0
my_mnist = input_data.read_data_sets("MNIST_data_bak/", one_hot=True)

# The MNIST data is split into three parts:
# 55,000 data points of training data (mnist.train)
# 10,000 points of test data (mnist.test), and
# 5,000 points of validation data (mnist.validation).

# Each image is 28 pixels by 28 pixels

# 輸入的是一堆圖片，None表示不限輸入條數，784表示每張圖片都是一個784個像素值的一維向量
# 所以輸入的矩陣是None乘以784二維矩陣
x = tf.placeholder(dtype=tf.float32, shape=(None, 784))
# 初始化都是0，二維矩陣784乘以10個W值
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

y = tf.nn.softmax(tf.matmul(x, W) + b)

# 訓練
# labels是每張圖片都對應一個one-hot的10個值的向量
y_ = tf.placeholder(dtype=tf.float32, shape=(None, 10))
# 定義損失函數，交叉熵損失函數
# 對於多分類問題，通常使用交叉熵損失函數
# reduction_indices等價於axis，指明按照每行加，還是按照每列加
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),
                                              reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

# 評估

# tf.argmax()是一個從tensor中尋找最大值的序號，tf.argmax就是求各個預測的數字中概率最大的那一個
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))

# 用tf.cast將之前correct_prediction輸出的bool值轉換爲float32，再求平均
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 初始化變量
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
for _ in range(1000):
    batch_xs, batch_ys = my_mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
    print("TrainSet batch acc : %s " % accuracy.eval({x: batch_xs, y_: batch_ys}))
    print("ValidSet acc : %s" % accuracy.eval({x: my_mnist.validation.images, y_: my_mnist.validation.labels}))

# 測試
print("TestSet acc : %s" % accuracy.eval({x: my_mnist.test.images, y_: my_mnist.test.labels}))

# 總結
# 1，定義算法公式，也就是神經網絡forward時的計算
# 2，定義loss，選定優化器，並指定優化器優化loss
# 3，迭代地對數據進行訓練
# 4，在測試集或驗證集上對準確率進行評測