1. Positional Encoding
之所以用sin, cos 是因爲它們的值域在[-1, 1]之間, 這裏針對單個詞向量內部採用cos 和sin 交換映射, 只是爲了豐富位置信息. 假設採用0, 1, 2, .... 這種遞增式進行編碼, 它和詞向量進行合併時, 會干擾詞向量, 並會造成數據的嚴重傾斜.
另外, PE(pos+k, 2i) 是有PE(pos, 2i)進行線性表示的. 因爲PE(k, 2i+1)是常量, 所以就有的偏置.. 也就是某種意義上的相對位置編碼.
2. WordPiece
WordPiece的一種主要的實現方式叫做BPE（Byte-Pair Encoding）雙字節編碼。BPE的過程可以理解爲把一個單詞再拆分，使得我們的此表會變得精簡，並且寓意更加清晰。比如"loved","loving","loves"這三個單詞。其實本身的語義都是“愛”的意思，但是如果我們以單詞爲單位，那它們就算不一樣的詞，在英語中不同後綴的詞非常的多，就會使得詞表變的很大，訓練速度變慢，訓練的效果也不是太好。BPE算法通過訓練，能夠把上面的3個單詞拆分成"lov","ed","ing","es"幾部分，這樣可以把詞的本身的意思和時態分開，有效的減少了詞表的數量。
2.1 BPE算法:
BPE的大概訓練過程：首先將詞分成一個一個的字符，然後在詞的範圍內統計字符對出現的次數，每次將次數最多的字符對保存起來，直到循環次數結束。
模擬一下BPE算法。
我們原始詞表如下：
{'lower ': 2, 'newest ': 6, 'widest ': 3, 'low ': 5}
其中的key是詞表的單詞拆分層字母，再加代表結尾，value代表詞出現的頻率。
下面我們每一步在整張詞表中找出頻率最高相鄰序列，並把它合併，依次循環。
- 原始詞表 {'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3, 'l o w </w>': 5}
- 出現最頻繁的序列 ('s', 't') 9
- 合併最頻繁的序列後的詞表 {'n e w e st </w>': 6, 'l o w e r </w>': 2, 'w i d e st </w>': 3, 'l o w </w>': 5}
- 出現最頻繁的序列 ('e', 'st') 9
- 合併最頻繁的序列後的詞表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6}
- 出現最頻繁的序列 ('est', '</w>') 9
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5}
- 出現最頻繁的序列 ('l', 'o') 7
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5}
- 出現最頻繁的序列 ('lo', 'w') 7
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5}
- 出現最頻繁的序列 ('n', 'e') 6
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5}
- 出現最頻繁的序列 ('w', 'est</w>') 6
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5}
- 出現最頻繁的序列 ('ne', 'west</w>') 6
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5}
- 出現最頻繁的序列 ('low', '</w>') 5
- 合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5}
- 出現最頻繁的序列 ('i', 'd') 3
- 合併最頻繁的序列後的詞表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2}
這樣我們通過BPE得到了更加合適的詞表了，這個詞表可能會出現一些不是單詞的組合，但是這個本身是有意義的一種形式，加速NLP的學習，提升不同詞之間的語義的區分度。