1、奧卡姆剃刀（Occam's razor）是一種常用的、自然科學研究中最基本的原則。即“若有多個假設與觀察一致，則選擇最簡單的那個”
2、“天下沒有免費的午餐”定理（No Free Lunch Theorem,簡稱 NFL），證明了所有算法的期望性能都相同。但我們要注意到NFL定理有一個重要的前提：所有“問題”出現的機會相同、或所有問題同等重要。但實際上並不是這樣。很多時候我們只關注自己正在試圖解決的問題（例如某個具體的應用）。NLF最重要的寓意是讓我們清楚地認識到，脫離具體問題，空泛的談論“什麼學習算法更好”毫無意義。
3、現在說的深度學習和二十世紀八十年代神經網絡不是一個內容。（他們分別是什麼？區別是什麼？）（深度學習是神經網路的延伸和發展）
4、一般大家都會認爲是根據對人的大腦的研究來啓發算法的研究。但P.Kanerva在二十世紀八十年代中期提出SDM模型時並沒有可以模仿腦生理結構，但後來神經科學的研究發現，SDM的稀疏編碼機制在視覺、聽覺、嗅覺功能的腦皮層中廣泛存在。
5、“多釋原則”：主張保留與經驗觀察一致的所有假設，這與集成學習方面的研究更加吻合。（古希臘哲學加提出）
6、機器學習領域最重要的國際學術會議：
國際機器學習會議（ICML）
國際神經信息處理系統會議（NIPS）
國際學習理論會議（COLT）等
參見西瓜書第17頁--18頁