參考視頻:https://www.bilibili.com/video/av41393758?from=search&seid=898273972389058050
視頻後期有點音畫不同步
這一節主要講的內容爲word2vec。即單詞的向量表示。在這裏主要介紹了一種方法，skip方法。
這裏用的skip方法核心是根據中心詞推附近詞。
這裏有一個重要的圖，圖中紅色部分代表的是w權重矩陣，有兩個權重矩陣，這裏的意思是一個單詞有兩個詞向量表示，一個是作爲中心詞的詞向量，一個是作爲附近詞的詞向量。之所以有兩次詞向量表示是爲了避免訓練的時候參數糾纏，解決如何更新參數問題。
同時在這部分講解的過程中，彈幕提到一個問題，就是第二部分的紅色權重矩陣，有三個，這三個如果一樣，則輸出的1*V向量也應該一樣。（講解中提到了參數，模型中所有的參數只是詞向量）
這裏我想到的回答是，整個輸出是1w維的向量，表達的是1w維個輸出單詞所對應的概率，這個概率是該輸出單詞爲該中心詞左右兩個單位的詞的概率，4個真實輸出詞所對應的概率儘可能高，是整個word2vec的目標函數。所以僅應該有一個權重即可。
上圖作用，根據loss函數計算迭代公式。主要目的是爲了計算學習率需要乘的參數
上式爲迭代所需乘的部分。
附：在課程中穿插了陳同學，很厲害的樣子。介紹了句子的向量化表示：
