剛剛過去的NIPS 2013不愧是機器學習最高水平的盛會，幾乎所有可以想象得到的知名學者都參加了會議，在會上也看到了好多有意思的idea。相比起之前參加的CVPR，NIPS的會議議程安排的要緊湊太多：主會期間從早上9點開始聽報告，一直到下午6點，中午喫飯休息一個半小時，然後晚上7點到夜裏12點是poster session，儘管有5個小時，可因爲poster很多，有意思的也很多，5個小時有時候都不夠用，往往大家還會討論到十二點以後纔回酒店。workshop期間，早上7點半就開始了，以至於我們不得不6點剛過就起牀。我參加了主會和workshop，沒有參加第一天的tutorial，整個5天的會議下來學到了很多新東西，在這裏做個簡單整理和索引。
整體上來講，我的感覺這屆NIPS除了deep learning火爆以外，大規模並行化的machine learning也是重要趨勢，另外各個方面都在慢慢的向前推。deep learning的火爆，看看9號的deep learning workshop就知道了。當天的deep learning workshop佔據了最大的一個workshop會場，而且場內座無虛席，並且請到了重量級嘉賓Facebook CEO Mark Zuckerberg參加，還爆出大新聞，convolutional neural net的先驅Yann LeCun將加入Facebook並擔任剛剛新建的AI lab的director。相比之下，同一天的其他workshop大都黯然失色，有一個workshop甚至一度騰出自己的會場給deep learning workshop做直播會場，播放Zuckerberg Q&A以及panel discussion的實況。考慮到NIPS還有一個關於social network的workshop，Zuckerberg反而來參加deep learning workshop就確實能說明很多問題了。
5號晚上我才趕到，晚上十點半安頓下來就去了會場，本以爲會只有寥寥幾個人，結果沒想到還有好多人在會場，看到Francis Bach還在親自給別人講poster，還很驚訝，因爲在之前CVPR的時候，基本上都是學生講poster，很少見到有知名學者親自講poster的。不過過了幾天見得多了就習以爲常了。但當晚畢竟時間有限，而且三個小時的時差也讓我很困了，便早早回了酒店歇息。
週五有很多deep learning的文章：
來自華爲諾亞方舟實驗室的Z.Lu, H.Li的A Deep Architecture for Matching Short Texts介紹了一種做短文本Q&A匹配的方法。他們使用topic model抽取了一些文本匹配的feature，然後將這些feature固定住，再學一個神經網絡來估計匹配的評分函數，學習的時候底層的feature並沒有變。我不太明白爲什麼要用topic model加一些預處理的trick來抽取feature，如果能夠jointly學習所有的部分應該會有更好的效果。
J. Martens, A. Chattopadhya, T. Pitassi, R. Zemel的文章On the Expressive Power of Restricted Boltzmann Machines將RBM轉化爲一種特殊的神經網絡，從理論上探討了RBM的表達能力。
T. Mikolov, I. Sutskever, K. Chen, G. Corrado, J. Dean的文章Distributed Representations of Words and Phrases and their Compositionality基本上是他們之前word2vec的一個補充版本，沒有什麼太多新內容。不過當時在會場看到傳說中的Jeff Dean親自講poster，還是很意外，畢竟他是排名最後的作者，而且他在業界有如此高的身份。
Y. Bengio, L. Yao, G. Alain, P. Vincent的文章Generalized Denoising Auto-Encoders as Generative Models也是早就看到過，idea是用一個feed forward neural net來學習一個generative model，這樣就可以避免partition function的難題。具體來講使用denoising autoencoder，比如一層的網絡就是feed forward，然後在hidden layer加noise，在reconstruct input，通過引入的noise就引入了reconstruction的概率分佈，因而就可以當成一個generative model來用了。是個直觀的idea，但我覺得這個方法在學習multi-modal distribution的時候會有困難，數學上也不見得很嚴謹。
I. Goodfellow, M. Mirza, A. Courville, Y. Bengio的Multi-Prediction Deep Boltzmann Machines我沒有看上他們的poster，一開始前排deep learning的poster圍的人太多，我只好到後面去看其他poster，再過來看的時候作者已經不在跟前了。但文章的idea好像是通過backdrop through variational inference來更好的學習DBM，也不知理解的對不對。
Y. Tang, R. Salakhutdinov的Learning Stochastic Feedforward Neural Networks通過使用binary的隨機hidden unit來學習multi-modal的distribution，這個比Bengio的文章看起來更有道理。因爲hidden unit是離散變量的話每個不同的取值就是一個mode，加noise就可以表示multiple modes，但Bengio的auto encoder是連續變量，如果加gaussian noise那還是隻有一個mode，不過他的framework還是可以generalize到其他的noise distribution。
R. Socher, M. Ganjoo, C. Manning, A. Ng的Zero-Shot Learning Through Cross-Modal Transfer看的時間有點久了，好像是把text和image embed到同一個space裏面，這樣當給定一些沒見過的物體的圖像的時候，通過feature mapping可以找到space中鄰近的text，以達到所謂的“zero-shot learning”。但印象中用的模型很弱，好像只是image feature做linear regression到text embedding上，image和text也沒有做joint fine tuning。而且實驗結果也相當弱，所以這一塊還有很多工作可以做。
N. Srivastava, R. Salakhutdinov的Discriminative Transfer Learning with Tree-based Priors通過用一個class hierarchy來達到class之間的information sharing，這個在每個class training example少的時候會比較有效。
R. Grosse, C. Maddison, R. Salakhutdinov的Annealing between distributions by averaging moments介紹了一種annealed importance sampling的schedule方法，有別於通用的geometric mean，這裏提出做moment averaging，並給出了很多理論上的解釋，提供了不少對於AIS的insight。
H. Goh, N. Thome, M. Cord, J. Lim的Top-Down Regularization of Deep Belief Networks提出在學習DBN的時候在layerwise pretraining和discriminative fine tuning中間插入一個步驟做top-down regularization。他們的想法是，generative pre training和discriminative fine tuning中間差別很大，他們希望用一箇中間步驟來彌合這兩步之間的落差，以更好地初始化DBN中的參數。具體來講，他們的top down regularization將output固定，這樣DBN的兩端都有了input，然後還是用類似RBM的方法做layerwise training，不同的是這時除了reconstruct底下一層的input，還同時reconstruct上面一層，這樣就間接引入了output信息，同時training依舊基本上還是是generative的，所以就起到了兩步中間的橋樑作用。他們實驗結果說明這個方法略有一點點效果。不過最近的neural net研究已經發現了其實不用做layerwise pretraining都可以直接做discriminative training，這種改進DBN pretraining的這個idea實用性一般。
J. Ba, B. Frey的Adaptive dropout for training deep neural networks印象中是用另一個neural net來學習dropout rate，而不是使用固定的0.5。
P. Baldi, P. Sadowski的Understanding Dropout是一篇oral，提出了應該是第一個分析nonlinear unit的dropout的方法，報告當時聽得不是很懂，印象中做了一些近似之後就比較好分析了，但只能分析sigmoid unit。
S. Wager, S. Wang, P. Liang的Dropout Training as Adaptive Regularization也是一篇分析dropout的文章，他們分析了最簡單的linear model的dropout，並且發現在使用二階近似的情況下dropout等價於一個data-dependent regularization，這個regularization term還和data的Fisher information matrix有關係，並且還可以用來作semi-supervised learning。
Ö. Aslan, H. Cheng, X. Zhang, D. Schuurmans的Convex Two-Layer Modeling提出了一種學習兩層網絡的方法，將每層的學習都建模成一個convex optimization問題，這樣兩層的學習就可以學的比較好。但方法好像擴展到多層有難度，跟作者聊他們也沒認真和neural net進行比較。
除了deep learning，週五還有很多其他有意思的文章：
B. Mirzasoleiman, A. Karbasi, R. Sarkar, A. Krause的Distributed Submodular Maximization: Identifying Representative Elements in Massive Data提出了一種找出集合中有代表性的元素的並行化方法。找有代表性的元素這個問題被建模成一個submodular function optimization的問題。假定要用m個機器在n個元素中找出k個有代表性的，最直接的並行化方法是把數據分成m份，然後在每份中找出k/m個有代表性的元素，最後合起來得到k個。但這個方法並不能找到最優解，因爲每部分裏面的代表性元素往往會有重複。這篇文章提出的方法是在每份數據上都找出k個有代表性的元素，合起來得到mk個，之後再進行篩選得到k個，這樣就能有一些理論保證。一個類似的問題是找出n個元素中最大的k個，如果在每一份數據中只找到最大的k/m個，那麼由於數據在每一份中分佈不絕對均勻，合起來的k個很可能並不一定是最大的；另一方面，如果每一份數據上都找最大的k個，合起來得到mk個，那總的最大的k個元素一定在這選出的mk箇中。在並行化中引入的這些冗餘性會犧牲少量的效率，但往往可以達到很好的效果，值得借鑑。
V. Mansinghka, T. Kulkarni, Y. Perov, J. Tenenbaum的Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs提出在做recognition的時候用graphics engine，他們的實驗中用這個想法做了一個captcha識別的東西。模型還是相對來說比較簡單，但我覺得是正確的方向。
T. Hazan, S. Maji, J. Keshet, T. Jaakkola的Learning Efficient Random Maximum A-Posteriori Predictors with Non-Decomposable Loss Functions提出了一種學習RandomMAP model的方法，有意思的一個地方是他們直接用了一個PAC Bayes bound，並且直接將這個bound作爲優化的目標函數，這樣直接就得到了expected loss objective。和我之前的文章差不多，使用了expected loss之後任何的loss都好優化了，因爲loss function沒有gradient，因此任何non-decomposable loss都可以用。和PAC Bayes bound的聯繫比較有意思，而且expected loss也很適合Random MAP model。
J. Domke的Structured Learning via Logistic Regression提出在structured prediction中優化非線性的score function。這個題目之前沒什麼人做過，我嘗試過CRF+NeuralNet直接做梯度優化，雖然優化問題不再凸，但效果還是很不錯。這篇文章的出發點是假設inference也是intractable的，然後就用到了Tamir和Raquel之前的一邊做inference一邊做learning的想法，並且加了一些decomposition，然後每個子問題就可以當成logistic regression來解。我的感覺這文章方法有點過於fancy了，對於inference intractable的問題，直接用一個approximate inference的方法做inference然後在做梯度優化效果應該也不錯，但是這篇文章裏面沒有同這種簡單方法進行比較。
K. Mohan, J. Pearl, J. Tian的Graphical Models for Inference with Missing Data我沒有去看，但路過的時候看到圖靈獎獲得者Judea Pearl親自講poster，絲毫不擺架子，還是有些感慨，這纔是一個健康的學術環境。
R. Matsushita, T. Tanaka的Low-rank matrix reconstruction and clustering via approximate message passing提出了一個挺有意思的idea：用belief propagation來做matrix factorization。效果不一定比gradient based matrix factorization好，但用belief propagation來做這個問題還是一個很有意思的想法，並且還可以加入一些更結構化的約束，這些約束用傳統的gradient based MF是很難model的。
週六早上Daphne Koller的invited talk講的非常好，coursera和其他的一些網站最近徹底改變了在線教育的面貌，而且還在飛速發展。從根本上，教育使得人們有了更好生活的機會，高質量的免費教育對促進社會平等的貢獻可謂巨大。演講的最後Daphne提到coursera幫助一些失業女工重新找到工作機會的故事，很感人也很振奮人心。我在coursera上也上過好幾門課了，確實學到了不少東西。爲社會做貢獻有很多途徑，作爲一個學者和科研人員，做科研自然是理所當然的途徑，但像Andrew和Daphne這樣也有很多其他途徑可走。週六的文章感興趣的不多，也是回賓館最早的一天，但也還是有一些有意思的文章。
R. Babbar, I. Partalas, E. Gaussier, M. Amini的On Flat versus Hierarchical Classification in Large-Scale Taxonomies從理論上分析了hierarchical classification。hierarchical classification是構建一個class hierarchy，所有的output類別都在最底層，分類時從頂端向下，每一層都只在很少的幾個類中選一個然後到下一層。這本質上基本上是一個greedy的方法，因爲在上層一旦出錯下層就沒辦法改過來。因此在數據多的時候這種hierarchical classification基本上不會比flat classification好，但在每類數據少的時候，這種greedy方法反而會起到一些regularization的作用。這篇文章正是在理論上論證了這樣的直觀結論。另外，hierarchical classification除了對overfitting有幫助意外，在類別數量十分巨大的時候，會有巨大的效率優勢，因爲這種hierarchy結構能夠將class activation的計算從O(n)減到O(log n)。
M. Cisse, N. Usunier, T. Artières, P. Gallinari的Robust Bloom Filters for Large MultiLabel Classification Tasks聽說是用了binary representation而非1-of-K做output encoding，這樣也能夠有一個O(n)到O(log n)的效率提升，並且也能有一些class之間的sharing。
P. Loh, M. Wainwright的Regularized M-estimators with nonconvexity: Statistical and algorithmic theory for local optima給出了一個non-convex optimization的一個理論結果。歷來non-convex optimization基本上就沒有什麼理論結果，這篇文章的這個結果是在這個方向上的一個進步，但結果的條件太強，基本上沒什麼用。按我的理解，這篇文章分析了regularized m-estimator的估計，目標函數由一個strongly convex的部分和一個不太concave的部分組成，由於在比較遠的地方strongly convex的部分佔主導使得遠處基本上convex，所以optima只能在離原點比較近的區域。這篇文章的結果就是在理論上刻畫了這樣的現象，說明在這種條件下所有local optima都和global optima十分接近，因而不必過於擔心local optima的問題。但就像之前說的，條件太強，所以基本上沒什麼實際作用。
Q. Ho, J. Cipar, H. Cui, S. Lee, J. Kim, P. Gibbons, G. Gibson, G. Ganger, E. Xing的More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server提出了一種異步並行機器學習的框架。在並行的框架中一搬中央server把global的參數發給所有機器，所有機器並行處理自己的一份數據，結束後再把更新發給中央server統一處理，更新參數再發給所有機器。這就要求每一輪過後的同步，而這個同步操作成本較高。這篇文章提出可以允許異步並行學習，每個機器不一定都用同一份global參數的copy，而是有的機器可以用新的，有的可以用舊的，條件是不能太舊（每個機器的copy都大概在一個K輪的範圍內，不能某一個機器再用最新的copy，另一個機器還在用K+1輪以前的copy）。這樣就可以放鬆同步的要求，節省很多時間。這個K可以調整，K設的小一點就可以得到更準確一點的結果，但速度會慢一些；K捨得大一點結果會略不準一些，但速度會更快，這樣就有了更多的靈活性。他們的實驗說明使用一個很小的K就可以很顯著的提升速度，並且不會對結果有太大的影響，比使用K=1（完全同步）要好很多。
F. Bach, E. Moulines的Non-strongly-convex smooth stochastic approximation with convergence rate O(1/n)提出了一種很有意思的不需要設置梯度方法學習速率schedule的方法。通常，在做隨機梯度優化的時候，學習速率需要逐步遞減以保證收斂。這篇文章提出一種不需要遞減學習速率的方法，這樣一來最後的結果就不一定收斂了，但文章巧妙的地方在於使用每一步累計的平均值作爲最終的參數估計，這個平均數會保證收斂，而且作者證明了這種方法在解一類non-stronly-convex問題的時候比使用遞減的學習速率能取得的理論收斂速率更快。另一個好處是省去了選擇學習速率schedule這一步，少了一個需要調的hyperparameter。
B. Golshan, J. Byers, E. Terzi的What do row and column marginals reveal about your dataset?關注了一個有意思的問題，一個非負數據矩陣，如果給定每行的和和每列的和，能得到多少關於原矩陣的信息？令人有些意想不到的是行列和其實是挺強的一類約束，再加上非負約束（以及可能有整數約束），可以確定很多矩陣元素的信息。
B. Lake, R. Salakhutdinov, J. Tenenbaum的One-shot learning by inverting a compositional causal process提出一種做one-shot字符識別的方法。做法是使用非常細緻詳盡的建模，基本上接近graphics engine的級別了。但我覺得對於真正的recognition系統，這樣的建模是不現實的，很多東西我們也不知道該如何建模，如果能學到這些模型本身就更好了。
週日是主會的最後一天，下午poster session就結束了。也有一些有意思的文章：
L. Shi的Sparse Additive Text Models with Low Rank Background是來自國內百度的一篇文章，做的是topic model，改進了background topic model。一般用background的時候只用一個background，而僅僅一個topic旺旺不夠用，這篇文章提出每個topic都用一個background topic，然後限制這些background topic有low rank。另一種可行的方法是直接用一個mixture model做background，但他們沒有和這種簡單的想法進行比較。
A. Perina, N. Jojic, M. Bicego, A. Truski的Documents as multiple overlapping windows into grids of counts是一篇關於counting grid的文章。還是一個基於topic model的文章，不過有意思的地方是topic組織成按空間分佈組成一個grid，比如一維的grid就可以表示topic隨時間變化的情況，二維的grid可以表示topic隨空間變化的情況，也可以用於做可視化。在generate document的時候選取一個window，然後從那個window包含的topic中生成document。window在grid上滑動，就可以表示topic隨時間空間等的變化情況。
S. Lyu, X. Wang的On Algorithms for Sparse Multi-factor NMF做的是nonnegative matrix factorization，將一個非負矩陣分解爲多個稀疏非負矩陣的乘積。區別於之前工作基本上都是one by one的greedy方法，他們這個有一個joint optimization。這種分解爲多個非負矩陣的NMF其實和neural net很像，一個矩陣就是一層，而且非負性和稀疏性引入了nonlinearity，如果能把這個和類似結構的neural net做個比較會很有意思。這種NMF做visualization也很方便，尤其是對於高層的feature，visualization只需要把底下的幾層都乘起來就可以直觀的看到feature了。
D. Weiss, B. Taskar的Learning Adaptive Value of Information for Structured Prediction提出了一種在structured prediction中選取feature的方法。idea是使用所有的feature太expensive，往往也不需要，如果能針對具體的問題選取特定的少部分feature使用，效率會大大提高。他們的方法是使用reinforcement learning來動態的選擇feature，這是挺有意思的一個idea。實驗結果中他們發現這個方法不僅速度大大加快，有時候效果反而會更好，因爲對於每個instance選用有針對性的feature會比對所有instance都用同一組feature要好。
E. Yang, P. Ravikumar, G. Allen, Z. Liu的On Poisson Graphical Models提出用Poisson graphical model而非Gaussian Random Field來學習網絡結構，對於離散數據來講這個有道理。
E. Yang, P. Ravikumar, G. Allen, Z. Liu的Conditional Random Fields via Univariate Exponential Families也是同一個idea，用Poisson distribution來model離散值，學習的時候使用pseudo likelihood。不過他們好像一點不關心inference問題，這個model裏的inference似乎並不好做。
B. Savchynskyy, J. Kappes, P. Swoboda, C. Schnörr的Global MAP-Optimality by Shrinking the Combinatorial Search Area with Convex Relaxation的想法很有意思。問題是做MAP inference，理論上loopy graph的LP relaxation不保證整數解，但實際中’往得’的大部分變量都已經是整數了，只有少部分不是整數。這篇文章的出發點便是利用這一點，在非整數解的部分做一個小規模的combinatorial optimization，這樣可以達到global optima。理論分析上用到了convex dual decomposition的東西，我先前只知道David Sontag做的相關工作，也看到他在這篇poster前面討論了許久。這次聽作者Bogdan講，才知道有好多好多種decomposition的方法，這篇需要認真讀一下，也學習一些背景知識。
N. Wang, D. Yeung的Learning a Deep Compact Image Representation for Visual Tracking做了一個用deep neural net做tracking的事情。整個工作非常簡單，傳統的tracking一般用的是particle filtering的framework，主要有兩個部分，一個是dynamics model，一個是observation model。dynamics model負責運動的部分，observation model負責根據圖像評估bounding box的好壞。observation部分一般的做法是從圖像的對應區域抽一些feature，然後訓練一個評分函數。這篇文章簡單的把這一個部分換成一個deep neural net，就取得了很顯著的效果提升。可見deep learning還是有很大的潛力的。需要注意的是tracking的訓練數據往往很少，文章中的neural net是在一個大的數據集上做pre training，然後把底下幾層固定，實際tracking的時候根據有標的第一幀學一下neural net的最上層，這樣就可以大幅減少overfitting。另外由於tracking過程中被track的物體可能會變化，他們的另一個trick是當neural net的confidence下降到一個閾值以下後使用上一幀的tracking結果重新學習一下最上層，以適應物體的變化。總的來講這只是一個非常初步的工作，還有很大的空間可以發展。
V. Vineet, C. Rother, P. Torr的Higher Order Priors for Joint Intrinsic Image, Objects, and Attributes Estimation做了intrinsic image和segmentation的joint estimation，idea是intrinsic image中的depth、albedo之類的可以幫助segmentation，segmentation也可以更好的幫助estimate intrisic image estimation。formulation的結果是一個複雜的模型，然後inference用dual decomposition。
C. Szegedy, A. Toshev, D. Erhan的Deep Neural Networks for Object Detection用了convolutional net學習foreground-background segmentation，然後用得到的foreground去fit一些box，之後好像是對這些box進行分類，已得到最終的detection結果。好像沒有joint training，是分開的幾個模塊拼起來的。
主會結束後是兩天的workshop。第一天的workshop highlight無疑是deep learning workshop，和我做的相關的還有output representation learning。deep learning workshop中的highlight又無疑是Zuckerberg的出現。越來越多的企業開始做AI，對我們來講是很好的事情，更多的數據也有更大的挑戰，可以做更有意思的事情。但現在學術界和業界的交流還很有限，在學校拿不到業界的數據，很多有意思的東西我們都做不了，所以就只能多去實習啦。deep learning workshop的poster session也有一些有意思的工作:
Kaisheng Yao, Baolin Peng, Geoffrey Zweig, Dong Yu, Xiaolong Li, Feng Gao的Recurrent Conditional Random Fields提出用recurrent net來做CRF的unary model。第一neural net要比很多固定的feature extraction要好，第二recurrent net可以綜合周圍的信息，並且自適應的選取context的大小，不需要預先指定比如5-gram之類的窗口大小。在和作者聊的時候還知道了一個他們用RNN學習長距離dependence的trick，就是把global feature加進feature中，這樣就從feature上降低了學習的難度。
Rémi Lebret, Joël Legrand, Ronan Collobert的Is deep learning really necessary for word embeddings?做了不少實驗說學習簡單地word embedding不需要deep learning。
此外workshop中還看到不少multi-modal learning的文章，時間關係我也沒有看全，好多其他有意思的工作都沒看到。下午的talk結束後的panel discussion上有Zuckerberg、Yoshua Bengio、Google的Tomas Miklov、剛剛獲得ImageNet第一名的Matt Zeiler以及Stanford的Chris Manning。我還問了一個問題，問deep learning的極限在哪裏，最多可以做到什麼程度。我覺得神經網絡可能比較適合處理physical signals，但對於high level的reasoning可能不那麼在行。但幾個speaker都沒有怎麼正面回答問題，只是說還有很多東西可以做。
第二天我主要待在greedy algorithm和Frank-Wolfe的workshop。由於不是很瞭解這一塊的東西所以能理解的也不是很多。有一個invited talk比較有意思，講的是學習使用squaring unit的deep net。有別於sigmoid和其他類似的nonlinearity，作者提出了一種特殊的方法可以學習這類squaring unit net。一開始我還覺得很神奇，不過細想一下，這種squaring unit歸根到底就是一個多項式函數。每個單元都平方，所以最終的多項式階數是網絡深度的指數函數。由於多項式函數可以近似任何函數，這類網絡的表達能力也可以很強。talk中提出一種可以找到兩層的這類網絡的global optima的方法，初聽有些驚訝，因爲兩層的sigmoid net就已經解不了了，而這個還可以解，但一細想就知道兩層的這類網絡學的就是個二次型，很容易就可以找到global optima。所以這類網絡比起sigmoid還是要弱不少，只能靠深度彌補表達能力的弱勢。但作者猜想文章提出的學習方法只能應用於學習對數深度的網絡，這樣一來整個多項式的階數就大大受限，表達能力就很弱了。
這屆NIPS還有一個demo我非常感興趣。這是來自Brain Corporation的機器人套裝。他們把很多sensor包括RGBD camera、audio、accelerometer等等以及通訊接口和motor control接口都集成在一起，並且芯片板子上包含了很強的處理能力，甚至還搭載了GPU，可以跑一個完整的ubuntu linux。他們還提供了python API將衆多I/O都封裝的很好。他們現場演示的demo是一個避障機器人，通過人遙控一段時間作爲訓練數據，然後訓練一個convnet直接將input image map到output的方向、速度，代碼全在python裏面完成，而且由於用的是完整的ubuntu，可以用所有的python庫。就這麼一個簡單的東西，demo的實際效果還不錯。非常想弄到這樣一套東西，可以做好多很有意思的project。
轉載：http://www.cnblogs.com/alexdeblog/p/3478702.html
DL仍然是大火的topic，不過我對Brain Corporation 這個機器人非常感興趣。試想一下，你可以先告訴機器人怎麼去完成一件事，然後他學習了以後，可以自己完成，這個很有意思，這個應該是即互聯網應用後，機器人業的一個趨勢了（改掉傳統的既定程序）。