關於ai學習過程中的一些反思(持續更新)

前景:以下爲打了幾場比賽和初步進入科研的一些反思。


2019.9.9

打比賽和搞學術研究確實有比較大的區別,最大的區別就是打比賽是final metric performance導向型的,而學術研究是以provide innovative methodology爲導向的,比賽的目的就是通過各種trick,ensemble,data augumentation,pre-training以及Batch-normalization等各種操作來提升模型的性能。而學術研究則不然,首先你需要focus on the related work,在瞭解該領域前人研究的基礎之上進行創新,你需要界定論文的主要貢獻在哪個地方,比如搞模型設計就應該好好地做對比實驗,一看準確率等指標,二看模型參數容量和計算規模(Glops)等指標,再者就是對實驗的結果進行分析,寫好interpretation,首先要能說服自己,其次就是說服reviewers,最後當然是要方便其他researchers進行fork,在此基礎上進行深入的探索,推動這個領域的發展。


2019.9.18

(準備某個面試題,談談自己的看法吧)
目前的AI還屬於一種弱人工智能,是一種定製化的智能,一般我們都需要爲特定的任務甚至特定的數據集去定製模型,很難有泛化能力可言,因此現在ai已經可以在一些特定的簡單的場景中落地使用,但對於較爲複雜場景下的應用還有很多問題需要解決。同時對於ai領域現在大火的深度學習而言也面臨着許多的問題,有的模型雖然在特定場景下效果好,但是其可解釋性方面存在很大的欠缺,很多時候深度學習的模型更像是一個黑盒。但現在的種種發展是通往強人工智能的道路上的必要探索,雖然現在也不能肯定這個方向一定是對的,(不如許多研究類腦計算的學者認爲通過晶體管來模擬生物神經元之間的信息傳遞是十分耗費資源且低效的)。但是畢竟人類的文明始終是在向前看的,一切有利於推進文明向前的發展機會都值得嘗試,它引導着研究人員們去思考去質疑,去碰碰撞出新的思想火花,去探索出最終的正確道路。只是不知道AI這股潮流中的泡沫是否會因碰壁而逐一破裂消逝。


2019.9.28

昨天導師面試的時候挺有收穫的,記錄下想法。首先對於一個論文motivation的第一步,也是直接決定這篇文章該不該做的。做科研的話motivation非常重要,如果你正在做的是一個比較小的領域,那麼現有的文章數量可能比較有限,你可以推陳出新地做一些較大的創新。而如果這個領域已經有很多的文章了,那麼這時候就要做足功課仔細地去分析歸類前人工作的模型,去尋求這些模型裏面的一些共性的弱點或者缺陷,然後基於這些缺陷提出自己改進的方法分析自己的靈感來源和動機。motivation不應該只是單純的提升performance,這是最弱的一項,因爲這樣你就基本拋開了前人的工作,缺乏一個分析的過程,容易陷入工程化的搭建網絡模型,這是打比賽的思路。此外,做研究的時候應該要講究一種因果性,就是由一個問題或者矛盾出發,然後尋求解決或改進的方法,設計相關的實驗進行對比,觀察結果,對於結果中出現的特殊現象要進一步進行假設分析並設計相關實驗進行驗證,一層一層的剖開一個未知的領域,爲後人在該基礎之上進行進一步的研究鋪墊好石頭,這纔是研究的意義所在。


2019.11.20

學習的過程要杜絕碎片化,經常查一查博客看看別人寫的總結是一種比較低效的學習方法。還是要抱着一套教程或者書籍從頭到尾啃一遍,順便把配套代碼也擼一遍這樣纔是比較有效的學習。看論文也一樣,不要只看別人寫的博客,因爲別人的呈現的內容是取決於他的理解和他認爲有必要記錄的內容,所以打比賽還好,做科研的的話就必須抱着原汁原味的論文讀,視其爲珍寶,愛不釋手,遇到論文中不懂的東西再到參考文獻裏面讀,實在搞不懂先查查有沒有其他資料,沒有的話就嚮導師或者師兄請教。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章