Overview
TASK 1
Model Fine-tuning
用source data训练一个模型，然后用target data去微调。需要注意的是target data的过拟合。
处理方案：
Conservative training：
我们希望fine tuning后新的network和旧的network的output是差不多的
1. 如果我们的target data很少的话，为了防止过拟合，可以只调某几个layer的参数
2. 如果有足够的target data的话，fine tuning整个network会有更好的结果
Multitask Learning
当然，task a和task b要有一定的相关性
比如说：
TASK 2
Domain-adversarial training
我们希望feature extractor可以把domain的特性消除掉：
同时，还要保留digit的特性
label predictor要做的是把class的分类正确率做的越高越好，domain classifier要做的是正确的预测一个image属于哪一个domain，而Feature extractor要做的是同时improve label predictor的accuracy和minimize domain classifer的accuracy。
要怎么做到呢：
只需要在反向传播时计算backward path的时候加上一个gradient reversal layer就可以了（就是把domain classifier传给feature extractor的值乘上一个负号）
zero-shot learning
得出结果后，去attribute database中找一个最接近的class
f*和g*的loss可以这样定义
from: https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ
