Overview
TASK 1
Model Fine-tuning
用source data訓練一個模型，然後用target data去微調。需要注意的是target data的過擬合。
處理方案：
Conservative training：
我們希望fine tuning後新的network和舊的network的output是差不多的
1. 如果我們的target data很少的話，爲了防止過擬合，可以只調某幾個layer的參數
2. 如果有足夠的target data的話，fine tuning整個network會有更好的結果
Multitask Learning
當然，task a和task b要有一定的相關性
比如說：
TASK 2
Domain-adversarial training
我們希望feature extractor可以把domain的特性消除掉：
同時，還要保留digit的特性
label predictor要做的是把class的分類正確率做的越高越好，domain classifier要做的是正確的預測一個image屬於哪一個domain，而Feature extractor要做的是同時improve label predictor的accuracy和minimize domain classifer的accuracy。
要怎麼做到呢：
只需要在反向傳播時計算backward path的時候加上一個gradient reversal layer就可以了（就是把domain classifier傳給feature extractor的值乘上一個負號）
zero-shot learning
得出結果後，去attribute database中找一個最接近的class
f*和g*的loss可以這樣定義
from: https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ
