自動學習——《Learning to Teach》——ICLR2018

1. 自動學習（AutoML）：通過自動化的方式，機器試圖學習到最優的學習策略，從而避免機器學習從業者低效的手動調整方式。
2. 經典的自動學習方法：
   （1）用於超參數調節的貝葉斯優化（Bayesian Optimization）
   （2）用於優化器和網絡結構調整的元學習技術（Meta learning/Learning to learn）
3. 傳統的機器學習算法還是最近的自動學習算法，重點都是如何讓AI更好的學習：兩種學習算法的訓練過程都是在固定的數據集上，通過最小化固定的損失函數，優化得到位於模型假設空間（Hypothesis Space）裏最優的模型。差別僅僅在於優化過程是否是自動進行的。
4. Learning to Teach：
   （1）數據教學力圖爲機器學習過程尋找到最優的數據集——教科書
   （2）損失函數教學力圖爲機器學習過程尋找到最優的損失函數——優秀教師
   （3）模型空間教學力圖爲機器學習過程定義最優的模型假設空間——教給學生的技能集合（skills set）
5. 論文定義了兩個模型：學生模型和教師模型，前者即爲通常意義下的機器學習模型，後者則負責爲前者提供合適的數據、損失函數或者模型假設空間。
6. 論文只進行了數據教學的實驗：學生模型是用於分類的深度神經網絡，適用隨機梯度下降來進行優化。教師模型是一個三層的前向網絡，其職責是負責爲學生模型的每步更新提供合適的批次數據（Mini-batch Data）。使用強化學習中的Reinforce算法來進行教師模型的訓練更新。
7. 問題的關鍵：如何訓練教師模型？While one can choose different approaches to train the teacher model, in this paper, we employ reinforcement learning (RL) for this purpose. （論文原文）
   具體步驟：（論文原文）
   
   
8. 如何通過教師模型來輸出下一步學生模型所需要的Mini-batch Data?（重點關注數據教學的實驗部分）
   mini-batch stochastic gradient descent (SGD) as its learning rule (i.e., the argmin part in Eqn. 1). Mini-batch SGD is a sequential process, in which mini-batches of data {D1, • • •Dt, … } arrive sequentially in a random order. Here Dt = (d1, • • • , dM) is the mini-batch of data arriving at the t-th time step and consisting of M training instances.
   Furthermore, in reality it is computationally prohibitive to scan over all the remaining training data to select out Dt at each step. To overcome this, after receiving the randomly arrived mini-batch Dt of M training instances, our teacher model A dynamically determine which instances in Dt are used for training and the others are abandoned.

reference