神經網絡爲什麼可以（理論上）擬合任何函數？

fourier 變換

問題來了爲啥要deep呢？

答案在這裏 居然特別簡單 deep了你有高頻的震盪了你可以efficient 的locally逼近x^2 然後就有所有local的逼近多項式了

local polynomial在holder和sobolev space是optimal的 我們就擴大了空間了

【這篇paper發在很一般期刊上而且題目不吸引人我一直忘記 求好心人給reference

感謝評論區

Yarotsky D. Error bounds for approximations with deep ReLU networks[J]. Neural Networks, 2017, 94: 103-114.

大家都知道fourier/polynomial 變化逼近非光滑函數非常的不efficient

【後面內容數學上就不trivial了

這時候我們應該用wavelet

所以後續有paper說你用四層nn 能表示出來一個wavelet變換

所以就能逼近不光滑函數，而且比起二層NN效率高很多【可以證明

【下面這篇加上了 estimation和2layer的lower bound，最早用wavelet的應該是Ronald coifman院士的paper……

Adaptivity of deep reLU network for learning in besov and mixed smooth besov spaces: optimal rate and curse of dimensionality Taiji Suzuki iclr2018

最後關於

@Lyken

提到神經網絡=分片線性

篇數越來越多總能逼近

但是分的片之間有關係 而且你也只有一個片數upper bound

還是需要嚴格的分析

這篇想法是有限元也是分片線性 把有限元的bound涌過來證明了approximation theory

Relu deep neural networks and linear finite elements arXiv preprint arXiv:1807.03973,

@趙拓

老師有很有趣的工作 把approximation放到了manifold 上函數

大家感興趣可以看看

Efficient approximation of deep relu networks for functions on low dimensional manifolds Neurips2019

最後爲neural ode打一個廣告

這個用neural ode可以轉換成一個controllable的問題 也可以證明

1. arXiv:1912.10382 [pdf, ps, other]  arXiv(X依希臘文的χ發音,讀音如英語的archive)
2. Deep Learning via Dynamical Systems: An Approximation Perspective
3. Authors: Qianxiao Li, Ting Lin, Zuowei Shen

【很有趣 但我也不知道有啥好處 去問作者吧

但是我還不知道存在一個空間

NN可以逼近 傳統的wavelet或者別的方法不能逼近的………