目錄
如果這篇文章對你有一點小小的幫助，請給個關注，點個贊喔~我會非常開心的~
0. 前言
有時，在構建模型的時候，可以利用多個任務的共性，來更好的構建模型。
本篇主要簡要介紹，遷移學習和多任務學習。
1. 遷移學習
遷移學習，顧名思義，將已有的知識遷移至另一個任務。
學習完任務 A 後，利用已學習到的知識，進一步的學習任務 B 。
因爲任務 A 低層次的特徵通常與任務 B 相似，所以可進行遷移學習。
方法 1：訓練完任務 A 後，將最後一層的權重初始化，或者在最後增加幾層，然後訓練任務 B 。
方法 2：可以下載他人訓練好的網絡，然後更改輸出層 softmax ，將前面層已經訓練好的參數凍結，不進行更改，只訓練輸出層。如果數據較多，則可以凍結較少的層。
何時有用：
- 任務 A 和任務 B 有相同的輸入
- 任務 A 的數據量比任務 B 的多
- 任務 A 的低層特徵有可能助於任務 B
2. 多任務學習
在多分類任務中，多個輸出單元只有一個是 1 ，其餘都是 0 ，表示輸出的類別。
而在多任務學習中，輸出單元有多個 1 ，可理解爲多標籤。
同時預測樣本屬於多個類別，以此同時學習多個任務。
何時有用：
- 多個任務可以共享低層次的特徵
- 每個任務的數據量相近
- 有能力訓練一個非常大的神經網絡
如果這篇文章對你有一點小小的幫助，請給個關注，點個贊喔~我會非常開心的~