Multi-Task Networks With Universe, Group, and Task Feature Learning-閱讀筆記

Multi-Task Networks With Universe, Group, and Task Feature Learning

文章將任務區分爲三個層次：

1. 單個任務。
2. 任務組（task group）
3. 全體任務（task universe）

提出一些類MTL框架，包含並行網絡結構、串行網絡結構，在 ATIS, Snips和一個自有大數據集上表現良好。

Parallel MTL Architecture

Group features、Universe features、Task features並行生成。

• 不同的任務 a, b, c 都會被輸入到 Universe Encoder 中，生成 Universe features
• 同一 group 的任務（x1a, x1b 是一個 group，x2c 是另一個），會送到 Group Encoder 中，生成 Group features；
• 每個任務都會被輸入到 Task Encoder 中，生成 Task features；
• 每個 Task features 會和 Universe features，Group features 連接，作爲 Task Decoder 的輸入，得到最後的結果。在這個模型中，三類 feature 是並行生成的。

Serial MTL Architecture

Group features、Universe features、Task features三類特徵會又先後順序生成。

• Serial: Group features 和 Universe features 並行生成，拼接後輸入到 Task encoder 去生成 Task features；
• Serial + Highway：和 a 一樣，但是在 Decoder 時，會把 Task features 和前面的 Group features，Universe features 進行拼接；
• Serial + Highway + Swap：先生成 Task features，然後再生成 Group features 和 Universe features，再和 Task features 進行拼接。

Loss

作者加入對抗損失（adversarial loss）和正交限制（orthogonality constraints），來避免 Task Features 在共享空間中：
$\mathcal{L}_{\text {all }}=\mathcal{L}_{\text {tasks }}+\lambda * \mathcal{L}_{\text {adv }}+\gamma * \mathcal{L}_{\text {ortho }}$
具體見：
1.Domain Separation Networks
2.Adversarial multi-task learning for text classification

任務主要包含：ner、intent classification.

ner使用BiLSTM+crf

$\mathcal{L}_{\mathrm{task}}=w_{\mathrm{SF}} * \mathcal{L}_{\mathrm{SF}}+w_{\mathrm{IC}} * \mathcal{L}_{\mathrm{IC}}$

reference

1. Multi-Task Networks With Universe, Group, and Task Feature Learning
2. Domain Separation Networks
3. Adversarial multi-task learning for text classification