我的AI轉型之路與AI之我見(非985211的奮鬥路程與視角)---轉載

前言

這裏寫圖片描述

我是一名傳統網頁(PHP+ruby)和應用開發(Android)轉型AI相關開發的碼農。在非985211高校出身的情況下,我前期自己買書學習,到現在考研上課全身心的投入智能系統的開發當中來,在算法當中理解了數據和模型,對一些基本問題的解決和現在社會上的環境風氣有自己的看法,在這裏不吐不快,和大家分享一下。

對於人工智能的入門和基礎理解我有一篇綜述的博客文章,手把手的入門機器學習的”Hello World“,有5個基礎開發實例,方便理解整個開發的過程。

  1. 數據分析入門:Weka的使用(只要四步,不會編碼也可以做機器學習與數據分析)
  2. 機器學習的“Hello World” MNIST手寫字體識別(用SVM支持向量機算法)
  3. Iris花數據集分析
  4. 支持向量機(SVM)人臉識別
  5. 多層感知機識別MNIST手寫字體識

詳細內容,有興趣的同學請點擊下面的鏈接。

(0)【機器學習】機器學習綜述與“Hello World”實戰(附帶5個實例) http://blog.csdn.net/sileixinhua/article/details/73611056

也抽空做了2個小項目與大家分享。

  1. 新聞分類系統(Python):爬蟲(bs+rq)+數據處理(jieba分詞)+分類器(貝葉斯) 
    http://blog.csdn.net/sileixinhua/article/details/74943336
  2. 謠言識別系統(Python):爬蟲(bs+rq)+數據處理(jieba分詞)+分類器(貝葉斯) 
    http://blog.csdn.net/sileixinhua/article/details/75091365

我的吐槽

這裏寫圖片描述

人人都是機器學習工程師

現在人工智能無論是在校園裏還是在工作當中,無論是在國內還是國外,都是十分火熱的話題。現在在高校校園裏,計算機專業,電子工程專業,自動化專業,機械專業,土木工程專業等等工科,理科,甚至新聞與傳播專業等,只要手裏有數據的專業,基本都有人工智能,機器學習等相關的話題。

不但在中國,美國,就連在日本,我在參觀高壓電專業實驗室的同學都在用SVM預測地區高壓電用電量估計,用蟻羣算法來爲高壓電傳輸塔的建立做最合理的規劃。自動化同學實驗室再用決策樹做圖像識別,做機器人智能抓取。生物醫學實驗室的同學在用聚類分析DNA的基因序列。電子實驗室的同學用迴歸分析電路板的檢修,和用深度神經網絡開發智能汽車。而且這不是在最好的帝國大學,這只是在世界排名800的普通工科院校。在入學的時候,校長在發表講話,我比較激動,因爲校長通篇的演講都是在說“現在は人工知能の時代になりました。皆さんは人工知能の知識を勉強しでください。”就是“現在是人工智能的時代,請大家學習一下人工智能的知識。”就連普通上課最後同學們查詢資料,發表這個課程相關論文的學習內容時,很多同學都是結合這門課和機器學習的分析方法,解決原來計算條件有限下難以解決的問題。

十幾年前,機器學習還只是世界頂尖大學的玩物,現在所有的高校裏都有相關的學習與研究,應用在各行各業當中。從原來的博士專業中獨享,到現在的普及到碩士專業,以後大批本科生畢業也可以從事人工智能,數據分析相關的開發。現在大批的研究生開始學習機器學習算法, 研究在各種場景環境下的帶入應用,不再去做網頁,寫EPR系統,開發APP,而是轉向數據分析,圖像識別,自然語言處理,神經網絡等等。

在京東圖書當中,周志華的《機器學習》評論數爲8700+,而php賣的最多的《PHP從入門到精通》只有評價數6100+,郭霖的《第一行代碼android》的評論數爲1.4萬+。由此可見不遠的將來大家可能會從原來的PHP是最好的語言,即將變爲SVM是最好的算法。

各種收費學習平臺收割大學生的智商稅

近幾年知識收費成了各大網站的又一突破點,有良好師資的網站不斷推出新的,符合市場定位的技術視頻,並收取學員一些學費。可是現在有很多平臺把市面上的書籍網絡上的代碼一抄,模模糊糊的講解一下就敢收費400,500,甚至上千元的收費,這和11年安卓的培訓市場上是如出一轍。這年頭各種牛鬼蛇神,牛頭馬面都敢出來當老師,開班授課,市場一片混亂,不少剛出社會或者剛進大學的同學都被這個人收了智商稅,希望大家應以爲戒。現在世面上這麼多的書籍與各種好的原創視頻,知識點解讀,論文分享的好公衆號,希望大家不要再上當了,在掏錢的時候好好觀察,這個是交了智商稅還是真交了學費。

學會信息檢索 + 合理利用資源

現在國內的視頻網站上並沒有多少好的人工智能教學的相關視頻,但是油管上有成千上萬的好的視頻,從知識點的講解,論文的解讀,具體應用的手把手的代碼教學,嗾使十分豐富的。具體的推薦請看下面書籍,公衆號,視頻的推薦。

很多同學找不到學習資料和視頻資源。其實,信息檢索也是一門學科,我在大學期間選修過這門課,後來我想這就是數據分析的第一步,數據收集。在這裏我推薦大家加入我的羣,羣裏都是一羣新手,也包括我,都是想依靠技術讓自己生活變的更好的一羣人,羣裏不定期更新PDF書籍資源,現在已經有2.71GB,234本書了,可以讓大家節約時間,少走一些彎路。QQ羣號:657119450。

爲什麼要學習AI

AI開發與傳統軟件工程,互聯網應用開發相比較區別有哪些

傳統軟件工程,互聯網應用開發主要是依靠開發語言和開發工具,重點學習一些算法和數據結構,庫,框架。AI開發則有自己相關的庫和框架,更多是學習機器學習的相關算法與對算法的優化,重點是把算法和模型應用到實際的問題當中,從不同的環境場景下提取數據,處理數據,分析數據的能力。

AI開發與傳統軟件工程,互聯網應用開發相融合

互聯網網站開發的都在做精準推薦,電子相關的都在做圖像識別和處理,讓計算機能具有”看“的能力,APP開發的在用機器學習來開發智能應用,語音輸入法等。現在智能系統是解放生產力又一大有效的方案,現在不斷有更多更好更新奇的應用被開發出來,提高了工作效率,降低了生產成本。

所以,作爲傳統開發和AI開發其實真正的區別並不大,無論是現在還是未來,好的傳統開發是必須要會AI相關算法與技術應用到自己的項目當中,而好的AI開發是要會傳統開發的技術,來實現自己的算法模型,解決實際問題的,所以兩者是相輔相成的關係,互相離不開的。

未來AI的發展機遇

AI的開發工作機會分析

這裏寫圖片描述

我從五月份開始關注拉鉤網,春季剛開始的時候還沒有機器學習,深度學習,自然語言處理,圖像處理,數據挖掘,精準推薦的分類,現在在工作崗位分類中,都有人工智能這一大類了。可見現在人工智能相關的工作十分火熱並工程師緊缺。

7月14日,人民日報報道了《中國人工智能人才缺口超500萬,供求比例僅爲1:10》一文,文章中說到。

一位數據挖掘高級工程師,在關閉招聘網站自己簡歷的情況下,每個月仍會收到4到5個獵頭的電話,遊說他去其它公司。現在以人工智能算法開發工程師爲例,該職位少則月薪1萬、2萬,多則年薪百萬。不像其它行業佔據職業高薪榜的是高級管理人才,在人工智能領域中,技術類工程師拿的是最高薪。李開復說過“在硅谷,做深度學習的人工智能博士生,現在一畢業就能拿到年薪200萬到300萬美元的錄用通知,三大公司(谷歌、臉書和微軟)都在用不合理的價錢挖人”。最近領英發布的《全球AI領域人才報告》顯示,到2017年一季度爲止,領英平臺上的全球AI(人工智能)領域技術人才數量超過190萬,其中美國相關人才總數超過85萬,高居榜首,而中國的相關人才總數也超過5萬人,位居全球第七。

目前國家要產業轉型改革,同時也強調產業升級的重要性,互聯網行業中最稀缺的就是人工智能人才。現在國內的供求比例僅爲1:10,供需嚴重失衡。工信部教育考試中心也曾在2016年向媒體透露,中國人工智能人才缺口超過500萬人。目前國內外企業均把人工智能看成下一個變革的主要力量。AI技術人才,則是主導這一變革的中流砥柱。人工智能的競爭說到底是對人才的競爭,因此出現了各大互聯網企業高薪挖人的現象。《全球AI領域人才報告》顯示,美國已成中國AI人才最大回流來源,中國擁有海外工作經歷的AI技術人才有43.9%來自美國。華人人才的持續迴流,將加快縮短中國與美國等國家的技術差距。

由以上可知,現在加入到AI的開發中開正是大好時機。

現在AI開發工作的市場需求

現在市場上人工智能開發多是在研究生博士生居多,本科生並不是很受歡迎,本科生在本科階段絕大部分是沒有研究的,專業課的學習爲主,自己喜歡的開發相關學習爲輔,的確時間上並不是十分充裕,所以研究生和博士生現在受到市場的歡迎。基本上都是統計學、應用數學、計算機等相關專業,碩士及以上學歷,具有優秀的數據結構和算法設計能力,能將算法實現爲代碼,至少熟悉一種大數據處理的編程語言(R、PythonJavaGo、Perl、Ruby、SPSS等),熟悉大規模信息處理與分佈式計算等相關技術,較強的數據敏感度,邏輯分析能力和文檔寫作能力,

數據挖掘,搜索算法,精準推薦,深度學習,機器學習,圖像處理,圖像識別,語音識別,機器視覺,算法工程師,自然語言處理等方向現在十分火熱。多數企業招不到合適的人員。

AI開發工作應該擁有哪些技術

  1. 開發語言多數以R、Python、JAVA爲主。
  2. 將算法轉換爲代碼的能力,即編碼能力,這方面想提高除了多看多寫,別無他法。
  3. 熟悉opencv,sklearn,tensorflow,caffe,Spark,keras,pyTouch等開發庫,沒必要全會,但是要有熟練的一個或幾個。
  4. 大規模信息處理與分佈式計算,開發環境搭建與優化,算法的調參與優化。
  5. 文檔書寫,團隊人員的交流能力。
  6. 分析問題,分析數據,帶入算法和模型到實際場景應用的能力。

這裏寫圖片描述

我與AI的初次相遇

12年第一次接觸機器學習

12年我第一次接觸機器學習,當時進了實驗室大家還不說機器學習,都是說數據挖掘,做了一個垃圾郵件處理的問題,當時並沒有完成。之後就一直沒有做這方面工作,一直做的是網站開發和APP開發。那時候是以java開發爲主,學習python當中。由於沒有什麼書籍,網上博客也不全,代碼也是殘缺錯誤,所以那時候學習數據挖掘進度緩慢,沒有什麼成就感,沒有網站開發和APP開發帶來的成就感大,所以也就主要是做開發寫代碼爲主。

16年斷斷續續的學習

由於在日本考學校要考試,還要寫研究計劃書,所以重新開始機器學習算法的學習,沒有做什麼實際的應用,只是單純的推導公式,學習算法。做了一個根據網頁信息對網頁進行分類的應用,寫成了研究計劃書。多是看視頻,看博客爲主,書籍也是《機器學習實戰》一本翻了很多次。

17年開始全身心的投入學習

修士(對應國內研究生)入學之後,開始全面系統的學習。沒有什麼特別的經過,就是不斷看書,寫代碼實現,看論文,寫博客記錄。日本學生人人都寫研究記錄,我也開始寫博客記錄我的學習經過。每週都有和老師研究進度報告,和實驗室研究會議,當前的研究進度的說明,發現了什麼問題,怎麼解決的。還有用《Python Machine Learning》,每人每週講解一章,實驗室人不多,算上我和兩個前輩就3人,但是這個人工智能實驗室在上世紀80年代就有了,算是歷史不短吧。

現在國內市場上的人工智能相關書籍也開始慢慢多了起來,但是還是有老問題,有的書籍互相重複內容太多,有的書籍單純是官網簡介和demo代碼的翻譯,多數質量並不是很高,導致我現在看中文書預習,看日語書學習,看英語書複習,日本關於機器學習相關的書寫的相當詳細,理解起來也簡單,中文書多數是翻譯英文版的書籍,而我英語不是十分的好,看英語書向來要花點時間。

我學習AI的方法

看書,代碼,分享的循環

學習的過程就是枯燥的,不停的看書,寫代碼實現,沒別的方法了。找數據,找項目,找問題決解,鍛鍊自己解決實際場景問題的能力。然後最好寫成博客分享給大家,對自己未來找工作,還是交接志同道合的朋友都有好處。

有的同學一上來就看代碼,算法的原理和數學公式的體現不會是看不懂代碼的,所以要先看書,從書上的例子一點點做起,還有部分同學基礎的開發和數據結構不是很擅長,也要先補習一下這方面的內容纔可以,總之基礎的確很重要,萬丈高樓沒有地基的確是不行的。

書籍推薦

《機器學習實戰》

《自然語言處理原理與實現》

《機器學習》

《統計學習方法》

《支持向量機導論》

《統計自然語言處理(宗成慶)》

《深度學習》

《模式識別-第二版(西奧多裏蒂斯 著,李晶皎譯)》

《駕馭文本 文本的發現、組織和處理_》

《Python Machine Learning》

《Advanced Machine Learning with Python 》

《MATLAB智能算法30個案例分析》

《人工智能 一種現代的方法(第3版)》

《統計學習基礎 數據挖掘、推理與預測》

《凸優化》

等等經典書籍,啊,你要問這個書籍哪有下載,請加羣免費下載2.71GB,234本PDF書籍,羣號:657119450。

公衆號推薦

大數據文摘 : 每日大數據新聞推送。

機器之心 : 每日機器學習新聞推送。

PaperWeekly : 每日推薦論文推送並解讀。

量子位 : 人工智能新聞每晚推送。

微博推薦

愛可可-愛生活 每日多次不停的推薦論文,庫,等等人工智能相關信息。(唯一重磅推薦)

視頻推薦

周莫煩 (油管): https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcg

周莫煩 (優酷): http://i.youku.com/i/UMTYyNjI2NDYw?spm=a2h0j.8191423.subscription_wrap.DD~A

Stanford University School of Engineering : https://www.youtube.com/user/stanfordeng

吳恩達機器學習 (油管): https://www.youtube.com/watch?v=UzxYlbK2c7E&list=PLA89DCFA6ADACE599

吳恩達機器學習 (網易公開課): http://open.163.com/special/opencourse/machinelearning.html

加州理工學院公開課:機器學習與數據挖掘 : http://open.163.com/special/opencourse/learningfromdata.html

Udacity : https://www.youtube.com/user/Udacity

edureka! : https://www.youtube.com/user/edurekaIN

sentdex : https://www.youtube.com/user/sentdex 推薦看用深度學習做GTA5的汽車自動駕駛

這裏寫圖片描述

Siraj Raval : https://www.youtube.com/channel/UCWN3xxRkmTPmbKwht9FuE5A 強力推薦,這個視頻博主有各種手把手教學的視頻,比如音樂合成等。

論文網站推薦

jmlr : http://jmlr.org/papers/

nips : https://papers.nips.cc/

arxiv : https://arxiv.org/corr/home

gitxiv : http://www.gitxiv.com/

reddit : https://www.reddit.com/r/MachineLearning/

arxiv-sanity : http://www.arxiv-sanity.com/

我寫AI博客的想法

我的現在水平只能寫寫博客,把自己學習到的東西免費和大家分享一下,肯定有我理解錯誤或者不完全的地方,和大家交流,解決問題是我的初衷,結實更多相關從業人員也是好處,我把一年的課都選在半年內上完,在我還有一年半校園生涯的時間裏我會堅持更新博客,提高寫作表達能力,但是畢業之後估計就沒那麼多時間了吧,謝謝大家對我的支持與鼓勵,大家共同進步吧。

未來中國需要大量的掌握人工智能技術的工程師,在各行各業中穿插交流更具具體場景開發,很多同學英語不好,編碼能力不好,開發經驗不足,我希望通過我的一點綿薄之力幫助更多的同學入門人工智能技術,如果大家都這樣想就好了。

感想

現在就想多看書,多看論文,然後自己實踐解決一些實際的問題。已經制定了詳細的計劃,希望可以堅持下去。

——————————————————————————————————-

有學習機器學習相關同學可以加羣,交流,學習,不定期更新最新的機器學習pdf書籍等資源。

QQ羣號: 657119450

這裏寫圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章