Model Capacity Simple Explanation
This usually refers to the complexity of the underlying pattern that the neural network is able to learn. Usually going deep increases the capacity of the neural network by increasing the number of model parameters which means it can fit more complex functions. However, increasing capacity by going deep also increases your chance of over-fitting and issues such as regularisation becomes important. It usually also means you need to increase the number of training samples.
簡單來講所謂模型的容量，主要着重於強調模型的表徵能力，對相應任務特徵空間的刻畫能力。而人們有時會爲了增大模型的表徵能力（容量）而採用更深的結構，從而帶來參數量的增加，所以不能簡單地將模型容量大理解爲模型參數多。一方面因爲有時候淺層模型的效果並不一定比深層模型要差；另一方面，模型越深，參數量更多，會帶來更多過擬合的風險。
而一般機器學習模型的容量的大小一般用VC 維來進行刻畫，但是在神經網絡中傳統 VC 維的概念就與模型的容量有較大的出入。後面我會寫專門的章節來介紹 VC 維的一些概念。
平時我們會經常聽到一些相關領域的大佬在講模型容量之類的東西，其實有時候他們的使用也不是很準確，總之我們瞭解它是個啥東西就好。
References
1.https://stats.stackexchange.com/questions/312424/what-is-the-capacity-of-a-machine-learning-model
2.https://stackoverflow.com/questions/40337510/what-is-the-definition-of-high-capacity-cnn-or-high-capacity-architecture