前言
可能很多童鞋都知道Andrew Ng，但並不是很多人知道Jurgen Schmidbuber。但在我看來，這位大神真的的超神。由於RNN，LSTM的興起，Jurgen Schmidbuber開始走入到我們的視線。深入瞭解一下，發現他的研究超乎想象的前沿。
他的網站：http://people.idsia.ch/~juergen/
他的Google+：https://plus.google.com/100849856540000067209/posts
他的AMA：https://www.reddit.com/r/MachineLearning/comments/2xcyrl/i_am_j%C3%BCrgen_schmidhuber_ama/
那麼他有什麼驚人的見解呢？下面稍微總結一下。大家從他的AMA其實可以瞭解很多東西。
世界是確定性的
在他看來，這個世界不存在真正的隨機性。而且事實上，隨機還只是個假設，並未能證明。大家可以問自己一下：在心裏你覺得隨機是真的存在嗎？
愛因斯坦認爲上帝不會擲篩子，也就是他認同沒有隨機性的觀點。而量子力學在Jurgen看來並不能證明隨機性。
在他看來這個世界的隨機都是僞隨機。就像π值，如果要算，它小數點後面的數看起來幾乎是隨機的，但事實上π可以用很短的程序就計算出來。
反過來想，在未來，隨着計算水平的進步，人類完全可以創造一個虛擬世界，逼真程度和我們真實的環境差不多。那麼，我們可以確定裏面的每個“生物”，但裏面的“生物”還完全不知道“。
個人也認可他的觀點。
但這個觀點會引向宿命論。即任何一個東西的存在都有它存在的意義。任何一個人的一生都是確定的。算命之所以會有很多人相信想必是因爲其具備一定的正確性，也可能說明了宇宙的運行函數跟時間有緊密的聯繫。每個人出生的時間確實對他的命運有直接影響。
未來是RNN的
RNN被證明是Turing Complete，也就是說使用RNN可以模擬任意的一切。當前，RNN，LSTM被廣泛使用在自然語言處理，序列到序列的學習（sequence to sequence learning)當中。在未來的5年內，基於RNN的監督學習和增強學習都將取得長足的進步！
特別注意：這裏的進展在理論上沒有什麼是新的，只是由於計算力還有具體模型上的改進，使得算法的效果取得突飛猛進的發展。
所以，接下來幾年內，基本的翻譯工作絕對會被取代了。而機器人將展現出前所未有的靈活性。
AGI比想象的簡單
在他看來，AGI將來實現了反過來看將會是非常簡單的描述。實際上智能只是一種表現形式。所謂的自由意志只是確定性的自由意志。沒有什麼是不可以計算的。
世界的變化是由一個由少到無限的自解壓過程
這個觀點和老子的一生二，二生三，三生萬物的思想一致有木有？
如果單從計算機的角度看，一個數據如何生出無限的數據？
但換個角度看就不一樣了：我只給你一個π，就可以生出無限的π的數據不是嗎？
其實人類自身也是這樣，從一個受精卵竟然能成長爲一個人，這本身也是非常神奇的。這個解壓過程是如何發生的呢？
奇點Omega的到來
人類的發展呈指數上升的發展速度，但這個點將在2040-2050左右到達極限。那之後是什麼？超人類還是超人工智能？還是宇宙這個遊戲的結束？Jurgen Schmidbuber 把奇點稱爲Omega！
難以想象的未來！
反思
易經的智慧
是不是應該想想古代的易經，它抽象地描述了這個宇宙，有沒有可能從中悟出別的東西呢？
如何才能超宇宙？
假設我們的宇宙真的只是一段牛逼的上帝程序，我們只是程序裏的一小部分代碼，那麼我們這段代碼能否衝破整個程序對我們的設定呢？即跳出這段程序。
如何學習Machine Learning？
摘錄一下Jurgen Schmidbuber的建議：
- Sipser’s broad Introduction to the Theory of Computation
A comprehensive Survey of Deep Learning - Bishop’s Pattern Recognition and Machine Learning (bible of traditional machine learning, probabilistic view)
- Thesis of Graves (ex-IDSIA) on Supervised Sequence Labelling with Recurrent Networks (RNNs, not much of this in Bishop’s book)
- Overview of recurrent neural networks with lots of papers
State of the art pattern recognition with deep neural nets on GPUs (lots of recent papers) - Sutton & Barto’s Introduction to Reinforcement Learning (survey of traditional RL)
- Kaelbling et al.s Broader Survey of Reinforcement Learning
- Papers on CoSyNe and Natural Evolution Strategies
- Other recent papers on RNNs that learn control without teachers, by Gomez, Koutnik, Wierstra, Schaul, Sehnke, Peters, Osendorfer, Rueckstiess, Foerster, Togelius, Srivastava, and others
Compressed Network Search - Overviews of artificial curiosity and creativity
- Theoretically optimal universal stuff:
- M. Hutter (ex-IDSIA): Universal Artificial Intelligence. THE book on mathematically optimal universal AI / general problem solvers / universal reinforcement learners (goes far beyond traditional RL and previous AI methods)
- Overview sites on universal RL/AI and Goedel machine and optimal program search and incremental search in program space
- M. Li and P. M. B. Vitanyi. An Introduction to Kolmogorov Complexity and its Applications (2nd edition). Springer, 1997. - THE survey of algorithmic information theory, based on the original work by Kolmogorov and Solomonoff. Foundation of universal optimal predictors and compressors and general inductive inference machines.