原创 淺談python腳本設置運行參數的方法

今天小編就爲大家分享一篇淺談python腳本設置運行參數的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧 正在學習Django框架,在運行manage.py的時候需要給它設置要監聽的端口,就是

原创 用bs爬取安居客優秀經理人信息

目標 1、安居客二手房,隨便一個城市,選擇優秀經紀人,爬取所有頁數 網址:http://beijing.anjuke.com/tycoon/p/ 過程 1、在網頁源代碼中找到所需要的數據 2、用bs提取出所需要的信息,代碼如下 #

原创 用正則爬取糗事百科的段子

目標 1、爬取糗事百科的所有熱門段子 2、將發帖人、段子內容、好笑數爬取下來 3、將圖片過濾掉 過程 1、傳入user_agent,介紹如下圖 所以我們在寫爬蟲的時候可以加上去,可以解決一些禁止爬蟲訪問,返回不了源代碼的問題 user

原创 爬取整個百度貼吧

前言 python爬蟲方面的內容大部分都是在學姐的指導下參考着崔慶才的博客寫的,這次的任務是爬取一整個貼吧,並寫出一個通用的代碼來。參考了崔慶才的爬取帖子的博客,可以先看看裏面的內容,講解的比較詳細清楚 附上傳送門http://cuiqi

原创 python模塊的一些小知識

一、python模塊的基本用法 模塊是包含函數和其他語句的python腳本文件以".py"爲後綴名,和我們平常所寫的python腳本並沒有什麼區別 1、導入模塊 在python中可以使用以下三種方式導入模塊或模塊中的函數 (1)im

原创 python腳本設置運行參數

正在學習Django框架,在運行manage.py的時候需要給它設置要監聽的端口,就是給這個腳本一個運行參數。教學視頻中,是在Eclipse中設置的運行參數,網上Django大部分都是在命令行中運行manage.py時添加參數,沒有涉及到

原创 python Scrapy框架的安裝

大體上參考了靜謐的博客上Python爬蟲進階三之Scrapy框架安裝配置 中的內容。。但是其中出了一些問題 最需要注意的是:假如你的python是2.7 win32位的,你所下載的包要對應自己的python版本和位數。比如我的是2.7 w