re正則表達式扒取京東購物網頁。
# coding=gbk
import urllib.request
import re
for k in range(3):
response = urllib.request.urlopen("https://search.jd.com/Search?keyword=java&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page="+str(2*k+1))
html = response.read().decode('utf-8') # 獲取網頁代碼
# 匹配價格和書名
html = re.sub('(<font class="skcolor_ljg">)', '', html)
html = re.sub('(</font>)', '', html)
result = re.findall('<div class="p-price">.*?<i>(.*?)</i>.*?<div class="p-name p-name-type-2">.*?<em>(.*?)</em>',
html, re.S)
for i in result:
print(i[1], "¥", i[0])扒取結果：
Java從入門到精通（第4版 附光盤） ? 47.40
深入理解Java虛擬機：JVM高級特性與最佳實踐（第2版） ? 54.90
Java核心技術 卷I：基礎知識（原書第10版） ? 93.00
O'Reilly：Head First Java（中文版 第2版 涵蓋Java5.0） ? 54.50
深入分析Java Web技術內幕（修訂版） ? 62.40
瘋狂Java講義（第3版 附光盤） ? 86.10
Java精彩編程200例（全綵版） ? 57.90
Effective Java中文版（第2版） ? 41.00
實戰Java高併發程序設計 ? 54.50
Java從入門到精通（項目案例版） ? 67.40
數據結構與算法分析：Java語言描述（原書第3版） ? 54.50
Java併發編程的藝術 ? 46.60
零基礎學Java（全綵版）（附光盤小白手冊） ? 50.60
架構探險：從零開始寫Java Web框架 ? 62.40
華章專業開發者叢書·Java併發編程實戰 ? 54.50
Java程序性能優化：讓你的Java程序更快、更穩定 ? 50.20
Java語言程序設計（基礎篇 原書第10版） ? 67.10
Java常用算法手冊（第3版）（附光盤） ? 47.20
Java EE互聯網輕量級框架整合開發 SSM框架（Spring MVC+Spring+MyBatis）和Redis實現 ? 94.00
JavaWeb項目開發實戰入門（全綵版） ? 50.60
O'Reilly：Head First設計模式（中文版） ? 67.60
Java 8實戰 ? 62.40
Spring+MyBatis企業應用實戰 ? 45.80
Java微服務 ? 54.50
Java編程思想(第4版) ? 64.70
Java Web從入門到精通（第2版）（配光盤）（軟件開發視頻大講堂） ? 63.00
Java併發編程：核心方法與框架 ? 62.40
算法 第4版 Algorithms Fourth Edition ? 78.20
Tomcat與Java Web開發技術詳解（第2版）（附光盤） ? 62.80
Java RESTful Web Service實戰（第2版） ? 46.60
Java核心API編程/大數據開發工程師系列 ? 30.60
Java經典實例（第三版） ? 111.00
Java常用算法手冊(第3版)(附光盤) ? 44.80
Java線程與併發編程實踐 ? 43.50
Java 8編程參考官方教程（第9版） ? 111.20
共2本 Java核心技術卷I基礎知識+Java核心技術卷II高級特性（原書第10版） ? 192.80
精通lambda表達式：Java多核編程 ? 31.20
51CTO學院系列叢書·實戰Java虛擬機：JVM故障診斷與性能優化 ? 62.40
Java語言規範：基於Java SE 8 ? 101.90
Java Web程序開發入門（附光盤） ? 36.00
Netty實戰 java java開源 網絡應用程序框架 人民郵電出版社 ? 55.00
Java特種兵（上冊 附光盤） ? 62.40
Java開發實例大全·基礎卷/軟件工程師開發大系（附光盤） ? 102.40
Java核心技術 卷II 高級特性（第10版 英文版）（上下冊） ? 101.90
Java WebSocket編程 開發、部署和保護動態Web應用 ? 31.20
Java EE開發的顛覆者 Spring Boot實戰 汪雲飛編 ? 64.00
瘋狂JAVA講義(第3版)(含CD光盤1張)(第3版) ? 76.30
Java性能權威指南 ? 62.40
企業級Java EE架構設計精深實踐 前端模板展現 數據庫訪問 緩存 再到文件系統 服務分 ? 80.00
解密搜索引擎技術實戰 Lucene&Java精華版（第3版） ? 62.40
代碼不朽：編寫可維護軟件的10大要則（Java版） ? 57.80
Java從入門到精通（第4版 附光盤） ? 45.30
Java Web開發實例大全 基礎卷 配光盤 軟件工程師開發大系 ? 102.40
JAVA開發專家：Java 面向對象編程 ? 55.10
Java開發實例大全 提高卷/軟件工程師開發大系（附光盤） ? 102.40
包郵Java從入門到精通（第4版 附光盤）java視頻教程java編程思想入門書java教 ? 56.50
Java核心技術 卷1 基礎知識（原書第9版） ? 95.00
Java面向對象編程（第2版） ? 70.30
Java併發編程的藝術 方騰飛魏鵬程曉明 計算機與互聯網 書籍 ? 44.20
Java技術手冊（影印版第6版 英文版） ? 61.80
Java EE開發的顛覆者：Spring Boot實戰+深入實踐Spring Boot（套裝共2冊） ? 127.00
Java程序性能優化 讓你的Java程序更快 更穩定 葛一鳴等 計算機與互聯網 書籍 ? 42.10
正版包郵 Java從入門到精通 視頻教學 自學java基礎入門編程思想算法書 程序設計書籍 ? 56.30
Java從入門到動手寫虛擬機2（套裝共2冊） ? 146.00
數字伺服控制及Java軟件設計（附CD-ROM光盤1張） ? 26.40
寫給大忙人看的Java SE 8 ? 46.60
Java Web從入門到精通（第二版） ? 58.80
21天學通Java（第4版） ? 50.10
數據結構與算法分析 Java語言描述(原書第3版) 計算機與互聯網 書籍 ? 51.70
Java項目開發實戰密碼/贏在項目開發（附光盤） ? 52.70
Java編程思想(第4版) ? 64.70
Java就該這樣學 ? 38.70
包郵 Java機器學習+神經網絡算法與實現 基於Java語言 2本 人工智能書籍 ? 82.00
Java多線程編程核心技術 高洪巖 計算機與互聯網 書籍 ? 53.10
Java Web程序設計 慕課版 ? 39.30
Java Web開發實踐教程（清華電腦學堂） ? 58.70
Java從入門到精通(第3版)(配光盤) 明日科技 計算機與互聯網 書籍 ? 41.80
Java技術手冊（第6版） ? 62.40
Java程序開發書籍 （視頻講解版）Java從入門到精通 視頻講解版面向Java技術的初學 ? 71.20
Java核心技術 原書**0版(原書**0版)卷1 基礎知識 ? 89.20
Java中文文本信息處理（從海量到精準） ? 47.60
Java網絡編程(第4版) 計算機與互聯網 書籍 ? 60.80
自己動手寫Java虛擬機+深入理解Java虛擬機（套裝共2冊） ? 122.10
包郵 Java 8實戰+Java 8函數式編程 2本 ? 88.00
Java程序員修煉之道 ? 70.30
圖解數據結構：使用Java ? 39.20
Java從入門到精通 第4版（附光盤） ? 48.90
輕量級Java EE企業應用實戰 Struts 2+Spring 4+Hibernate ? 79.90
JAVA WEB整合開發王者歸來(JSP+SERVLET+STRUTS+HIBERNAT ? 78.80
Java經典實例(第3版) 計算機與互聯網 書籍 ? 109.50
進程已結束,退出代碼0
結果解釋：
此結果爲扒取的京東商城java關鍵詞搜索的3頁內容。
問題討論：
網頁版京東一頁有60個內容，但只能扒取得到30個，瀏覽的時候後面30個也是二次加載。
此處存在問題沒有解決，希望同道中人給出建議。
感謝。