訓練集loss < 驗證集loss < 測試集loss
一個好的網絡，二者的差距應該是很低的。但一般情況下因爲網絡不可避免地存在一定程度上的過擬合，所以肯定是train_loss低於test_lost，但如果低太多，就得考慮是過擬合的問題還是因爲樣本的特徵空間不統一的問題。
http://www.mooc.ai/bbs/question/1426/show
驗證集基本是在每個epoch完成後，用來測試一下當前模型的準確率。
對於一個模型來說，其參數可以分爲普通參數和超參數。普通參數就是可以被梯度下降所更新的，也就是訓練集所更新的參數。另外，還有超參數的概念，比如網絡層數、網絡節點數、迭代次數、學習率等等，這些參數不在梯度下降的更新範圍內。儘管現在已經有一些算法可以用來搜索模型的超參數，但多數情況下我們還是自己人工根據驗證集來調。
從狹義來講，驗證集沒有參與梯度下降的過程，也就是說是沒有經過訓練的；但從廣義上來看，驗證集卻參與了一個“人工調參”的過程，我們根據驗證集的結果調節了迭代數、調節了學習率等等，使得結果在驗證集上最優。
https://blog.csdn.net/ch1209498273/article/details/78266558
驗證集是一定需要的；
如果驗證集具有足夠泛化代表性，是不需要再整出什麼測試集的；
https://blog.csdn.net/JNingWei/article/details/78170171