神經網絡激活函數的意義

看這個視頻，突然領悟到 激活函數物理意義，其實就是讓一團數據，某個線性變換後，做一個揉捻的動作。然後所有數據可以有序的映射到1維空間。比如relu 就是把小於0的捏平。爲什麼要捏平呢 ， 可能數據有很多凸起， 或者蘑菇狀態的凸起，只有把這些凸起按下去，才能減少數據之間投影后的相互遮擋。當然可能需要不停的線性變換，把一些錯誤的突起部分壓平，再做線性變換把另一些突起壓平。最後數據團分佈在了一個有序的空間裏。