原创 【selenium】使用無界面的firefox,chrome

開始語 最近心血來潮,將selenium升級了一下,發現在使用phantomJS的時候,console的輸出跟之前有些不一樣。 待我細心觀瞧之後發現在第一行,會有一個以前沒有的輸出,就是: UserWarning: Selenium

原创 scrapy使用隨機User-Agent

scrapy使用隨機User-Agent 衆所周知,User-Agent值是用來幫助服務器識別用戶使用的操作系統、瀏覽器、瀏覽器版本等等信息的,因此也常被用來檢測爬蟲。 許多網站會ban掉來自爬蟲的請求,來達到反爬的目的。 正常瀏覽器

原创 【list切片】簡解python切片取值

導語 衆所周知,在python裏面,切片是一個極其好用的語法,可是許多新上手的pythoner,在它的取值這裏會比較蒙,許多教程講解是十分詳細,但不夠簡潔,因此這裏整理了一份簡潔的,專供人類閱讀的切片介紹。 正文 那麼閒言少敘,這