原创 Python爬蟲： 爬取鏈家淮安經紀人信息
Python 爬取鏈家淮安經紀人信息 #爬取鏈家房源經紀人信息 #有xpath解析爬取：人名，負責區域 #定義csv保存函數 1、導入模塊 import requests from lxml import etree import c
2019-08-09 15:41:42
原创 Python爬蟲：Q房網房源信息
#爬蟲項目採取xpath解析 #爬取Q房源網的詳情信息並保存爲csv文件 #爬取具體內容有："小區名稱", "戶型", "面積", "裝修", "樓層", "朝向", # "售價", "總價/萬", "詳情" 1、導入模塊 impo
2019-08-09 15:41:42
1
原创 Python爬蟲：爬去韓國電視劇信息
最近看韓劇想重溫一下以前看的韓劇 但是就記得劇情 到網站上找了 太多點的太麻煩，網上問了也回答不了 找的幾個片名都不對，所以就想寫個爬蟲爬去某站上所有的韓劇信息，可以方便查找想看的韓劇 爬取具體如下： # 爬去網站韓國電視劇的信息 #
2019-08-09 15:41:41
11
原创 Python爬蟲：正則表達式爬取貓眼電影
#正則表達式爬取貓眼電影 #網址http://maoyan.com #爬取貓眼電影排行前一百名電影 #爬去排名、圖片、片名、演員、時長、得分 1、導入模塊 import requests import re import json 2、
2019-08-09 15:41:41
1
原创 Python爬蟲：爬取我愛我家網二手房源信息
# xpath爬取 # 爬取小區名稱、戶型、地區、售價、總價 1、導入模塊 import requests import csv from lxml import etree 2、創建類 # 創建我愛我家類 class Woaiwoj
2019-08-09 15:41:41
原创 scrapy :介紹
scrapy框架 通常用於爬取大數據量的爬取應用上 首先要在電腦上安裝scrapy 可用pip install scrapy 如果不成功就到官網下載在安裝，具體操作不在這寫了 首先創建scrapy項目：scrapy startproje
2019-08-09 15:41:41
原创 Scrapy: 爬取我愛我家
1、創建項目 scrapy startproject pachong 創建文件 scrapy genspider woaiwojia 2、編輯items.py 自定義要爬取的字段域 class Pachong2Item(scrapy.I
2019-08-09 15:41:41
原创 Python爬蟲：正則表達式爬取校花網
#正則表達式爬取校花網 # 網址 url = 'http://www.xiaohuar.com' #分頁爬取大學校花圖片共16頁640張美圖 1、導入模塊 import requests import re 2、定義頁面爬取函數get_
2019-08-09 15:41:41
原创 Python爬蟲：爬取抽屜網
#用xpath爬取抽屜網 #翻頁爬取抽屜網的段子 #爬取內容爲段子的作者、點贊數、評論數、內容 1、導入模塊 import requests import time from lxml import etree 2、#創建保存函數 d
2019-08-09 15:41:41
原创 Python爬蟲：爬取城市景點信息
爬取詳情頁面的所有信息 景點名稱，地址 、簡介、類型、時間、門票等 直接就上代碼； import requests from lxml import etree from multiprocessing.pool import Poo
2019-08-09 15:41:41
原创 scrapy:爬取天堂圖片庫
用scrapy爬取天堂圖片庫： 文件目錄 items.py文件：定義字段 import scrapy class ScraPictureItem(scrapy.Item): pic_url = scrapy.Field(
2019-08-09 15:41:40
原创 Python爬蟲： 爬取圖片
爬取網上的圖片，爲網站提供圖片豐富的素材 具體爬取過程如下： import requests from lxml import etree # 爬取天堂圖片網圖片 class Picture(object): def __
2019-08-09 15:41:40
原创 Python爬蟲：爬取西刺dail
網址： #https://www.xicidaili.com/nn/1 vscode爬取： xpath提取數據：ip,port,local,hidden,kind,check_time 程序是有用， 只是由於過多的請求爬取，最後電腦訪問不
2019-08-09 15:41:40
原创 Python爬蟲：多線程爬取盜墓筆記
用到的庫函數 import requests import time from lxml import etree from multiprocessing.pool import Pool 爬取用xpath 爬取 盜墓筆記的標題、章節、
2019-08-09 15:41:40
原创 MongoDB數據庫
創建數據庫用於保存爬蟲數據，節省電腦空間 Python對數據庫的基本的操作 鏈接數據前 1、必須確保已經正確安裝了數據庫 2、必須打開數據庫 3、爲了增加視圖效果需下載數據庫可視化軟件 import pymongo # 連接數據庫 cl
2019-08-09 15:41:40