原创 神經網絡原理--簡單總結

概述   一些神經網絡的論文的觀點與數學解釋引導了寫這篇文章的想法。這篇文章主要是個人的淺見與論文閱讀總結。 神經網絡的基礎數學   上面是一個簡單多層感知機神經網絡(MLP)結構,公式爲(這裏假設激活函數爲 ReLUReL

原创 AlphaGo圍棋論文中文翻譯

Mastering the game of Go with deep neural networks and tree search (使用深度神經網絡與樹搜索使計算機精通圍棋) David Silver1*, Aja Huang1*,

原创 大腦中的學習機制: 海馬體與新皮層構成的互補學習系統

    寫這篇文章的原因是基本沒有關於中文大腦互補學習系統(complementary learning systems)的文章。應該說有很多關於互補學習系統的英文論文,這裏也是一個總結加一點自己的見解,具體見參考文獻。 海馬體在學習和記

原创 神經網絡如何學習到加法等算法 - 神經編碼器-解釋器(Neural Programmer-Interpreters)

算法的本質     何爲算法(algorithm)?     從狹義來講,算法是計算機科學裏面的概念,簡單來說,所謂算法就是定義良好的計算過程,它取一個或者一組值作爲輸入,併產生出一個或一組值作爲輸出。亦即,算法就是一系列的計算步驟,用來

原创 大腦是否是圖靈完備的計算機?Are we computers ?

我們都知道CPU適合串行計算,GPU適合大規模並行計算,大腦的硬件就像是一個GPU,大腦的操作系統和所有算法都是運行在GPU上,在高層次的計算上則模擬CPU的串行計算模式,如算術計算,代數計算,自然語言操作等等。所以某種程度來說,

原创 什麼是“理解”?如何在人工智能中定義“理解”?(what is understanding ?)

* 這篇文章主要不是解釋哲學上的“理解”,而是在計算或者人工智能或是數學上定義“理解”         對於人而言,理解似乎是一件簡單的事情。在我們上課的時候我們能確切的知道是否理解老師所講的內容,在我們看書的時候我們能確切的知道書中的內

原创 深度學習的侷限與未來(二)

轉載於:The future of deep learning 中文版:François Chollet 談深度學習的侷限性和未來 Given what we know of how deep nets work, of thei

原创 深度學習的侷限與未來(一)

轉載於:The limitations of deep learning 中文版:François Chollet 談深度學習的侷限性和未來 Deep learning: the geometric view The most s

原创 Tensorflow: Cannot dlopen some GPU libraries. Skipping registering GPU devices...

Cannot dlopen some GPU libraries. Skipping registering GPU devices… 很久沒搞Tensorflow了,又出了一些問題,這裏作個備份 可能的問題爲: 1,cuda和安

原创 使用電信e8-c家庭網關時,無線路由器的設置方法

因爲電信e8-c家庭網關的默認IP地址爲192.168.1.1,而一般的路由器的默認IP(LAN口)爲192.168.1.1,所以在進行e8-c與無線路由器設置時會造成無網絡訪問權限的情況,簡單來說就是無法訪問網絡。下面就無線路由器TP-

原创 MNIST數據格式和Matlab(Octave)讀取

Yann LeCun教授的MNIST一共有四個文件: minist digit鏈接 1.train-image 2.train-label 3.test-image 4.test-label 他們的格式分別如下 1.train_im

原创 生命的真相 - 自動程序與生物芯片

“不識廬山真面目,只緣身在此山中” - 蘇軾 “這是一個我們能夠以科學的方法真正理解生命的真相與本質的時代,這在以前是不可能的事情,哲學解決不了這些問題” – 筆者 概述 人類只是地球生命樹上的一支,我們的演化遵循和其他物種相同的

原创 python讀取MNIST image數據

Lecun Mnist數據集下載 import numpy as np import struct def loadImageSet(which=0): print "load image set" binfil

原创 人類注意力機制討論

      注意力是每個人幾乎生下來就會的一項技能,但是我們對其工作機制卻還知道的太少。隨着認知科學,生物神經學,以及人工智能的發展我們對人類注意力機制的研究也在加速。尤其在人工智能領域,實現人類水平的AI,需要我們對人類大腦(或動物大腦

原创 模擬人類大腦每秒計算數量級及參數容量的估計

      因爲海馬區兩類中間神經元峯值放電頻率爲310±33.17Hz(類型Ⅰ)和410±47.61Hz(類型Ⅱ),參考:《海馬CA1區ripple節律相關高頻放電中間神經元》。可以推斷出人類神經元的最大計算頻率在450左右。可以在最大