深度學習基礎---神經網絡簡單小例子

跟着視頻敲得第一個神經網絡的小例子

'''
  三層神經網絡，需要w0，w1兩組權重參數
'''
import numpy as np
# 激活函數
def sigmoid(x, deriv = False):
    if(deriv == True):
        return x*(1-x)
    return 1/(1+np.exp(-x))

# x的值
x = np.array([[0,0,1],
              [0,1,1],
              [1,0,1],
              [1,1,1],
              [0,0,1]]
)
# x的維度
# print(x.shape)
# y值
y=np.array([[0],
            [1],
            [1],
            [0],
            [0]]
)
# y的維度
# print(y.shape)

# 指定隨機種子
np.random.seed(1)

# 隨機初始化w0,w1,每個值在[-1,1)區間
w0 = 2*np.random.random((3,4))-1
w1 = 2*np.random.random((4,1))-1

# 迭代60000次
for j in range(60000):
    l0 = x
    l1 = sigmoid(np.dot(l0,w0))
    l2 = sigmoid(np.dot(l1,w1))
    l2_error = y-l2
    if (j % 10000) == 0:
        print('Error ' + str(np.mean(np.abs(l2_error))))

    # 反向傳播
    # 對應相乘
    l2_delta = l2_error * sigmoid(l2,deriv=True)
    # 矩陣相乘
    l1_error = l2_delta.dot(w1.T)
    l1_delta = l1_error * sigmoid(l1, deriv=True)
    # 參數更新
    w1 += l1.T.dot(l2_delta)
    w0 += l0.T.dot(l1_delta)

結果