神經網絡實驗心得（持續更新）

（1）當預測類別比較多時，各層測參數應該數量相當，否則會出現一個特徵會影響多個類別的情況，出現一對多，模型不好訓練。
（2）其實神經網絡的本質還是特徵提取和空間映射，觀察數據的特徵和分佈是非常有必要的。
（3）attention 在詞特徵影響比較大的任務中真的有效，如一些翻譯或者分類任務。
（4）relu激活適合用在特徵維度逐漸減少的層中，並且能增加模型的魯棒性。