我在面試機器學習、大數據崗位時遇到的各種問題

作者:  @太極儒 出處:  @太極儒的博客

自己的專業方向是機器學習、數據挖掘,就業意向是互聯網行業與本專業相關的工作崗位。各個企業對這類崗位的命名可能有所不同,比如數據挖掘/自然語言處理/機器學習算法工程師,或簡稱算法工程師,還有的稱爲搜索/推薦算法工程師,甚至有的併入後臺工程師的範疇,視崗位具體要求而定。

機器學習、大數據相關崗位的職責

自己參與面試的提供算法崗位的公司有 BAT、小米、360、飛維美地、宜信、猿題庫 等,根據業務的不同,崗位職責大概分爲:

  1. 平臺搭建類 
    • 數據計算平臺搭建,基礎算法實現,當然,要求支持  大樣本量、高維度數據 ,所以可能還需要底層開發、並行計算、分佈式計算等方面的知識; 
  2. 算法研究類 
    • 文本挖掘 ,如領域知識圖譜構建、垃圾短信過濾等; 
    • 推薦 ,廣告推薦、APP 推薦、題目推薦、新聞推薦等; 
    • 排序 ,搜索結果排序、廣告排序等; 
    • 廣告投放效果分析;
    • 互聯網信用評價;
    • 圖像識別、理解。
  3. 數據挖掘類 
    • 商業智能 ,如統計報表; 
    • 用戶體驗分析 ,預測流失用戶。 

以上是根據本人求職季有限的接觸所做的總結。有的應用方向比較成熟,業界有足夠的技術積累,比如搜索、推薦,也有的方向還有很多開放性問題等待探索,比如互聯網金融、互聯網教育。在面試的過程中,一方面要盡力向企業展現自己的能力,另一方面也是在增進對行業發展現狀與未來趨勢的理解,特別是可以  從一些剛起步的企業和團隊那裏,瞭解到一些有價值的一手問題 。 

以下首先介紹面試中遇到的一些真實問題,然後談一談答題和麪試準備上的建議。

面試問題

  1. 你在研究/項目/實習經歷中主要用過哪些機器學習/數據挖掘的算法?
  2. 你熟悉的機器學習/數據挖掘算法主要有哪些?
  3. 你用過哪些機器學習/數據挖掘工具或框架?
  4. 基礎知識 
    • 無監督和有監督算法的區別?
    • SVM 的推導,特性?多分類怎麼處理?
    • LR 的推導,特性?
    • 決策樹的特性?
    • SVM、LR、決策樹的對比?
    • GBDT 和 決策森林 的區別?
    • 如何判斷函數凸或非凸?
    • 解釋對偶的概念。
    • 如何進行特徵選擇?
    • 爲什麼會產生過擬合,有哪些方法可以預防或克服過擬合?
    • 介紹卷積神經網絡,和 DBN 有什麼區別?
    • 採用 EM 算法求解的模型有哪些,爲什麼不用牛頓法或梯度下降法?
    • 用 EM 算法推導解釋 Kmeans。
    • 用過哪些聚類算法,解釋密度聚類算法。
    • 聚類算法中的距離度量有哪些?
    • 如何進行實體識別?
    • 解釋貝葉斯公式和樸素貝葉斯分類。
    • 寫一個 Hadoop 版本的 wordcount。
    • ……
  5. 開放問題 
    • 給你公司內部羣組的聊天記錄,怎樣區分出主管和員工?
    • 如何評估網站內容的真實性(針對代刷、作弊類)?
    • 深度學習在推薦系統上可能有怎樣的發揮?
    • 路段平均車速反映了路況,在道路上布控採集車輛速度,如何對路況做出合理估計?採集數據中的異常值如何處理?
    • 如何根據語料計算兩個詞詞義的相似度?
    • 在百度貼吧裏發佈 APP 廣告,問推薦策略?
    • 如何判斷自己實現的 LR、Kmeans 算法是否正確?
    • 100億數字,怎麼統計前100大的?
    • ……

答題思路

  1. 用過什麼算法? 
    • 最好是在  項目/實習的大數據場景 裏用過,比如推薦裏用過 CF、LR,分類裏用過 SVM、GBDT; 
    • 一般用法是什麼,是不是自己實現的,有什麼比較知名的實現,使用過程中  踩過哪些坑 ; 
    • 優缺點分析。
  2. 熟悉的算法有哪些? 
    • 基礎算法要多說,其它算法要挑熟悉程度高的說,不光列舉算法,也適當說說應用場合;
    • 面試官和你的研究方向可能不匹配,不過在基礎算法上你們還是有很多共同語言的,你說得太高大上可能效果並不好,一方面面試官還是要問基礎的,另一方面一旦面試官突發奇想讓你給他講解高大上的內容,而你只是泛泛的瞭解,那就傻叉了。
  3. 用過哪些框架/算法包? 
    • 主流的分佈式框架如 Hadoop,Spark,Graphlab,Parameter Server 等擇一或多使用瞭解;
    • 通用算法包,如 mahout,scikit,weka 等;
    • 專用算法包,如 opencv,theano,torch7,ICTCLAS 等。
  4. 基礎知識 
    • 個人感覺高頻話題是 SVM、LR、決策樹(決策森林)和聚類算法,要重點準備;
    • 算法要從以下幾個方面來掌握 
      • 產生背景,適用場合(數據規模,特徵維度,是否有 Online 算法,離散/連續特徵處理等角度);
      • 原理推導(最大間隔,軟間隔,對偶);
      • 求解方法(隨機梯度下降、擬牛頓法等優化算法);
      • 優缺點,相關改進;
      • 和其他基本方法的對比;
    • 不能停留在能看懂的程度,還要 
      • 對知識進行結構化整理,比如撰寫自己的 cheet sheet,我覺得  面試是在有限時間內向面試官輸出自己知識的過程 ,如果僅僅是在面試現場纔開始調動知識、組織表達,總還是不如系統的梳理準備; 
      • 從面試官的角度多問自己一些問題,通過查找資料總結出全面的解答,比如如何預防或克服過擬合。
  5. 開放問題 
    • 由於問題具有綜合性和開放性,所以不僅僅考察對算法的瞭解,還需要足夠的實戰經驗作基礎;
    • 先不要考慮完善性或可實現性 ,調動你的一切知識儲備和經驗儲備去設計,有多少說多少,想到什麼說什麼,方案都是在你和麪試官討論的過程裏逐步完善的,不過面試官有兩種風格:引導你思考考慮不周之處 or 指責你沒有考慮到某些情況,遇到後者的話還請注意  靈活調整答題策略 ; 
    • 和同學朋友開展討論,可以從上一節列出的問題開始。

準備建議

  1. 基礎算法複習兩條線 
    • 材料閱讀 包括經典教材(比如 PRML,模式分類)、網上系列博客(比如 研究者July),系統梳理基礎算法知識; 
    • 面試反饋 面試過程中會讓你發現自己的薄弱環節和知識盲區,把這些問題記錄下來,在下一次面試前搞懂搞透 。 
  2. 除算法知識,還應適當掌握一些系統架構方面的知識,可以從網上分享的阿里、京東、新浪微博等的架構介紹 PPT 入手,也可以從 Hadoop、Spark 等的設計實現切入。
  3. 如果真的是以就業爲導向就要在平時注意實戰經驗的積累,在科研項目、實習、比賽(Kaggle,Netflix,天貓大數據競賽等)中摸清算法特性、熟悉相關工具與模塊的使用。

總結

如今,好多機器學習、數據挖掘的知識都逐漸成爲常識,要想在競爭中脫穎而出,就必須做到

  • 保持學習熱情,關心熱點;
  • 深入學習,會用,也要理解;
  • 在實戰中歷練總結;
  • 積極參加學術界、業界的講座分享,向牛人學習,與他人討論。

最後,希望自己的求職季經驗總結能給大家帶來有益的啓發。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章