python近幾年越來越火爆，爬蟲工程師也很火，市場需求挺大、工資還算可觀，很多不是計算機專業出身的人被薪資吸引，也開始轉戰python爬蟲，那麼半路學Python爬蟲，學到什麼程度可以面試爬蟲工程師呢？
首先要明確一點，python只不過是一個工具，學會了使用工具不代表你就能找到工作，要有用工具處理問題的能力才符合工作需求！就像爬蟲工程師，java也能實現，想要靠你學的python找到工作，實踐經驗纔是加分項！
回到問題，針對python的面試一般會涉及到下面幾個部分：
一、python基礎知識
爬蟲給人的感覺就是對於Python編程的知識要求並不高，確實，搞懂基本數據結構、語句，會寫寫函數好 像就OK了。
自己業餘玩玩還OK，如果你要找工作成功爬蟲工程師，紮實的編程基礎是必不可少的。除了基本的函數，Python的高級特性、面向對象編程、多線程、裝飾器都要熟悉。
現在很多爬蟲工程師的面試，對編程的基本功要求很高。編程的功底，以及對語言的理解，從某種程度上可以看出你的學習能力、發展潛力。 比如： Python2.x與Python3.x的區別 Python的裝飾器 Python的異步 Python的一些常用內置庫、多線程......
二、數據結構與算法
數據結構與算法是對面試者尤其是校招生面試的一個很重要的點，小公司可能不太在意。 從目前的招聘情況來看：重視數據結構與算法的重視程度與企業的好壞成正比。
三、Python爬蟲
會爬蟲和爬蟲厲害是兩碼事，你要有Python爬蟲相關的知識與經驗儲備，這通常也是面試官考察的重點。
包括但不限於： 你用過多線程和異步嗎？除此之外你還用過什麼方法來提高爬蟲效率？ 有沒有做過增量式抓取？ 對Python爬蟲框架是否有了解？
一般來說，你需要掌握的技術有下面幾個：
- HTTP必須要有很深刻的理解，這是你縱橫網絡的立身之本；
- BeautifulSoup、xpath這些都是基礎操作了，一定要做到非常熟練；
- Scrapy框架要會用，要能信手捏來寫個分佈式爬蟲；
- Webdriver、Selenium、PhantomJS也要會使用；
四、爬蟲相關的項目經驗
爬蟲重在實踐，除了理論知識之外，面試官更在乎： 你做過哪些爬蟲項目？如果有Github最好 你認爲你做的最好的爬蟲項目是哪個？其中解決了什麼難題？有什麼特別之處？ 以上是我在面試過程中，會碰到的一些技術相關的問題的總結，當然面試中不光是技術這一點，但是對於做技術的，過了技術面基本上就是薪資問題了。
五、面試經
初級：
- 網絡基礎：cookie,session,https,headers常用的字段,代理使用等等
- python基礎：這個網上搜到的面經都得會，加上異步，多進程，多線程等等
- 爬蟲：xpath，requests如何處理https，常見的反爬措施，舉例說一個最難的爬蟲過程，scrapy使用中的 細節，例如代理，cookie，傳參等等。
- 數據庫：數據庫操作，並表之類的。
中級：
- 網絡：幾層網絡層的細節，比如說說udp/tcp/smtp區別，說說10.x.x.x/127.x.x.x/192.x.x.x的區別，說說 DNS，談談路由交換機的區別
- python：多重繼承，多態，單例用裝飾器的實現，數組/生成器/列表解析效率等等稍深入的細節
- 爬蟲：分佈式爬蟲的實現，給你一個任務你馬上給出一個合理的架構，驗證碼的處理，增量數據爬取，寫 爬蟲時有沒寫些輔助工具。
- 數據庫：sql nosql的細節，性能上的。
- 加分項：數據挖掘，機器學習，自然語言處理，能寫網站，熟練操作linux，github小星星
六、幾點建議：
1.大部分的公司都要求爬蟲技術有一定的深度和廣度。深度就是類似反反爬、加密破解、驗證登錄等技術；廣度就是分佈式、雲計算等等，這都是加分項！
2. 爬蟲，不是抓取到數據就完事了，還需要數據抽取、清洗、消重等方面經驗。
3.一般公司都會有自己的爬蟲系統，而新進員工除了跟着學習以外，最常做的工作就是維護爬蟲系統。
4.最後一個加分項就是前端知識，尤其是常用的 js、ajax、html/xhtml、css 等相關技術爲最佳。
5.隨着手持設備的市場佔比越來越高，app 的數據採集、抓包工具的熟練使用會越來越重要
我是一名python開發工程師，整理了一套python的學習資料，從基礎的python腳本到web開發、爬蟲、
數據分析、數據可視化、機器學習、面試真題等。想要的可以進羣：688244617免費領取
以上內容，不要求全部掌握，但是掌握的越多，那麼你的競爭力就越大！找到好工作的可能性也越大！