ReLu 激活函數的python實現

import numpy as np


x = np.random.randint(-3, 3, (3, 3))

'''計算函數 y = max(x,0)的方法,ReLu導數也可類似得出'''
# 法1
np.maximum(x, 0)

# 法2
(x + np.abs(x)) / 2.0

# 法3
x[x <= 0] = 0
x[x > 0] = x

# 法4
np.where(x > 0, x, 0)

# 例子：
def ReLuFunc(x):
    # ReLu 函數
    x = (np.abs(x) + x) / 2.0

    return x


def ReLuPrime(x):
    # ReLu 導數
    x[x <= 0] = 0
    x[x > 0] = 1

    return x