re正则表达式扒取京东购物网页。
# coding=gbk
import urllib.request
import re
for k in range(3):
response = urllib.request.urlopen("https://search.jd.com/Search?keyword=java&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page="+str(2*k+1))
html = response.read().decode('utf-8') # 获取网页代码
# 匹配价格和书名
html = re.sub('(<font class="skcolor_ljg">)', '', html)
html = re.sub('(</font>)', '', html)
result = re.findall('<div class="p-price">.*?<i>(.*?)</i>.*?<div class="p-name p-name-type-2">.*?<em>(.*?)</em>',
html, re.S)
for i in result:
print(i[1], "¥", i[0])扒取结果：
Java从入门到精通（第4版 附光盘） ? 47.40
深入理解Java虚拟机：JVM高级特性与最佳实践（第2版） ? 54.90
Java核心技术 卷I：基础知识（原书第10版） ? 93.00
O'Reilly：Head First Java（中文版 第2版 涵盖Java5.0） ? 54.50
深入分析Java Web技术内幕（修订版） ? 62.40
疯狂Java讲义（第3版 附光盘） ? 86.10
Java精彩编程200例（全彩版） ? 57.90
Effective Java中文版（第2版） ? 41.00
实战Java高并发程序设计 ? 54.50
Java从入门到精通（项目案例版） ? 67.40
数据结构与算法分析：Java语言描述（原书第3版） ? 54.50
Java并发编程的艺术 ? 46.60
零基础学Java（全彩版）（附光盘小白手册） ? 50.60
架构探险：从零开始写Java Web框架 ? 62.40
华章专业开发者丛书·Java并发编程实战 ? 54.50
Java程序性能优化：让你的Java程序更快、更稳定 ? 50.20
Java语言程序设计（基础篇 原书第10版） ? 67.10
Java常用算法手册（第3版）（附光盘） ? 47.20
Java EE互联网轻量级框架整合开发 SSM框架（Spring MVC+Spring+MyBatis）和Redis实现 ? 94.00
JavaWeb项目开发实战入门（全彩版） ? 50.60
O'Reilly：Head First设计模式（中文版） ? 67.60
Java 8实战 ? 62.40
Spring+MyBatis企业应用实战 ? 45.80
Java微服务 ? 54.50
Java编程思想(第4版) ? 64.70
Java Web从入门到精通（第2版）（配光盘）（软件开发视频大讲堂） ? 63.00
Java并发编程：核心方法与框架 ? 62.40
算法 第4版 Algorithms Fourth Edition ? 78.20
Tomcat与Java Web开发技术详解（第2版）（附光盘） ? 62.80
Java RESTful Web Service实战（第2版） ? 46.60
Java核心API编程/大数据开发工程师系列 ? 30.60
Java经典实例（第三版） ? 111.00
Java常用算法手册(第3版)(附光盘) ? 44.80
Java线程与并发编程实践 ? 43.50
Java 8编程参考官方教程（第9版） ? 111.20
共2本 Java核心技术卷I基础知识+Java核心技术卷II高级特性（原书第10版） ? 192.80
精通lambda表达式：Java多核编程 ? 31.20
51CTO学院系列丛书·实战Java虚拟机：JVM故障诊断与性能优化 ? 62.40
Java语言规范：基于Java SE 8 ? 101.90
Java Web程序开发入门（附光盘） ? 36.00
Netty实战 java java开源 网络应用程序框架 人民邮电出版社 ? 55.00
Java特种兵（上册 附光盘） ? 62.40
Java开发实例大全·基础卷/软件工程师开发大系（附光盘） ? 102.40
Java核心技术 卷II 高级特性（第10版 英文版）（上下册） ? 101.90
Java WebSocket编程 开发、部署和保护动态Web应用 ? 31.20
Java EE开发的颠覆者 Spring Boot实战 汪云飞编 ? 64.00
疯狂JAVA讲义(第3版)(含CD光盘1张)(第3版) ? 76.30
Java性能权威指南 ? 62.40
企业级Java EE架构设计精深实践 前端模板展现 数据库访问 缓存 再到文件系统 服务分 ? 80.00
解密搜索引擎技术实战 Lucene&Java精华版（第3版） ? 62.40
代码不朽：编写可维护软件的10大要则（Java版） ? 57.80
Java从入门到精通（第4版 附光盘） ? 45.30
Java Web开发实例大全 基础卷 配光盘 软件工程师开发大系 ? 102.40
JAVA开发专家：Java 面向对象编程 ? 55.10
Java开发实例大全 提高卷/软件工程师开发大系（附光盘） ? 102.40
包邮Java从入门到精通（第4版 附光盘）java视频教程java编程思想入门书java教 ? 56.50
Java核心技术 卷1 基础知识（原书第9版） ? 95.00
Java面向对象编程（第2版） ? 70.30
Java并发编程的艺术 方腾飞魏鹏程晓明 计算机与互联网 书籍 ? 44.20
Java技术手册（影印版第6版 英文版） ? 61.80
Java EE开发的颠覆者：Spring Boot实战+深入实践Spring Boot（套装共2册） ? 127.00
Java程序性能优化 让你的Java程序更快 更稳定 葛一鸣等 计算机与互联网 书籍 ? 42.10
正版包邮 Java从入门到精通 视频教学 自学java基础入门编程思想算法书 程序设计书籍 ? 56.30
Java从入门到动手写虚拟机2（套装共2册） ? 146.00
数字伺服控制及Java软件设计（附CD-ROM光盘1张） ? 26.40
写给大忙人看的Java SE 8 ? 46.60
Java Web从入门到精通（第二版） ? 58.80
21天学通Java（第4版） ? 50.10
数据结构与算法分析 Java语言描述(原书第3版) 计算机与互联网 书籍 ? 51.70
Java项目开发实战密码/赢在项目开发（附光盘） ? 52.70
Java编程思想(第4版) ? 64.70
Java就该这样学 ? 38.70
包邮 Java机器学习+神经网络算法与实现 基于Java语言 2本 人工智能书籍 ? 82.00
Java多线程编程核心技术 高洪岩 计算机与互联网 书籍 ? 53.10
Java Web程序设计 慕课版 ? 39.30
Java Web开发实践教程（清华电脑学堂） ? 58.70
Java从入门到精通(第3版)(配光盘) 明日科技 计算机与互联网 书籍 ? 41.80
Java技术手册（第6版） ? 62.40
Java程序开发书籍 （视频讲解版）Java从入门到精通 视频讲解版面向Java技术的初学 ? 71.20
Java核心技术 原书**0版(原书**0版)卷1 基础知识 ? 89.20
Java中文文本信息处理（从海量到精准） ? 47.60
Java网络编程(第4版) 计算机与互联网 书籍 ? 60.80
自己动手写Java虚拟机+深入理解Java虚拟机（套装共2册） ? 122.10
包邮 Java 8实战+Java 8函数式编程 2本 ? 88.00
Java程序员修炼之道 ? 70.30
图解数据结构：使用Java ? 39.20
Java从入门到精通 第4版（附光盘） ? 48.90
轻量级Java EE企业应用实战 Struts 2+Spring 4+Hibernate ? 79.90
JAVA WEB整合开发王者归来(JSP+SERVLET+STRUTS+HIBERNAT ? 78.80
Java经典实例(第3版) 计算机与互联网 书籍 ? 109.50
进程已结束,退出代码0
结果解释：
此结果为扒取的京东商城java关键词搜索的3页内容。
问题讨论：
网页版京东一页有60个内容，但只能扒取得到30个，浏览的时候后面30个也是二次加载。
此处存在问题没有解决，希望同道中人给出建议。
感谢。