14 Positional Encoding （爲什麼 Self-Attention 需要位置編碼）

博客配套視頻鏈接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看

配套 github 鏈接：https://github.com/nickchen121/Pre-training-language-model

配套博客鏈接：https://www.cnblogs.com/nickchen121/p/15105048.html

厚顏無恥的要個贊

Attention

優點：

1. 解決了長序列依賴問題
2. 可以並行

缺點：

1. 開銷變大了

2. 既然可以並行，也就是說，詞與詞之間不存在順序關係（打亂一句話，這句話裏的每個詞的詞向量依然不會變），即無位置關係（既然沒有，我就加一個，通過位置編碼的形式加）

位置編碼的問題

爲什麼需要位置編碼

位置編碼怎麼做的

具體做法

做法 1

做法 2

爲什麼這麼做有用

pos+K=5，我在計算第 5 個單詞的位置編碼的時候

pos=1，k=4

pos=2，k=3