抓取51cto推薦博文python腳本

#!/usr/bin/env python
# @Time    : 2017/9/5 15:31
# @Author  : qq:1960050004
import urllib
import re
def getAllUrl():
    list2 = []
    for i in range(1,31):
        url = "https://blog.51cto.com/artcommend/0/"+str(i)
        list2 = list2 + getYuanWenJian(url)
    return list2

def getYuanWenJian(url):
    page = urllib.urlopen(url).read()
    # reg = r'href="(.*?\d)" china'
    reg = r'href="(.*?\d)" china(.*?)\>(.*?)\<'
    urllist = re.compile(reg)
    urllists = re.findall(urllist, page)
    return urllists

if __name__ == '__main__':
    for i in getAllUrl():
        print (i[2].decode('gb2312').encode('utf8')),i[0]

[root@centos65-1-43 ~/0910]# python 4.py >51cto.txt 

[故障解決]Mysql-Atlas從庫始終沒有建立連接怎麼辦？ http://chenx1242.blog.51cto.com/10430133/1911763

linux學習：持續集成篇--Maven私有庫和本地庫的安裝與配置-03 http://1754966750.blog.51cto.com/7455444/1911760

Linux系統通過SOCKS4/5做堡壘機 http://tongcheng.blog.51cto.com/6214144/1911476

***組網不用愁之1-中小企業***網絡組建應用實錄 http://wangchunhai.blog.51cto.com/225186/1911462

python錯誤：No module named setuptools 解決方法 http://mofansheng.blog.51cto.com/8792265/1911395

Windows Server 2012 R2域控和Exchange 2016 ALL IN ONE http://rdsrv.blog.51cto.com/2996778/1911356

Rancher容器網絡－Floating IP解決方案 http://12462495.blog.51cto.com/12452495/1911306

linux中生成考覈用的NTFS文件系統(歷史版本) http://zhangyu.blog.51cto.com/197148/1911271

VBS腳本判斷及獲取兩個文件之間的不同內容 http://gaowenlong.blog.51cto.com/451336/1911226

幾種***組網方式介紹 http://wangchunhai.blog.51cto.com/225186/1911155

RabbitMQ集羣 http://navyaijm.blog.51cto.com/4647068/1911130

WeX5客觀題軟件開發與list組件應用等典型疑問 http://zhuxianzhong.blog.51cto.com/157061/1910985

nginx+tomcat實現反向代理的負載均衡 http://12059878.blog.51cto.com/12049878/1910911

Centos7 下定義MariaDB源Yum安裝最新版本的MariaDB http://gaowenlong.blog.51cto.com/451336/1910772

MySQL+Keepalived實現雙機熱備 http://wuyunkeji.blog.51cto.com/12028005/1910709

記一次存儲故障導致數據庫壞塊處理過程 http://voidyao000.blog.51cto.com/12458042/1910603

redis緩存服務器(Nginx+Tomcat+redis+MySQL實現session會話共享) http://yw666.blog.51cto.com/11977292/1910451

redis緩存服務器(nginx+tomcat+redis+mysql實現session會話共享) http://hexiaoshuai.blog.51cto.com/12156333/1910407

Linux下通過SSH無法訪問另外一臺Linux服務 http://gaowenlong.blog.51cto.com/451336/1910389

memcache緩存服務器（Nginx+PHP+memcache+MySQL） http://yw666.blog.51cto.com/11977292/1910163

zabbix自動發現oracle表空間並監控其使用率 http://7424593.blog.51cto.com/7414593/1910111

輕鬆使用Fpm封裝製作Rpm包 --Linux http://215687833.blog.51cto.com/6724358/1910102

Zabbix server被***了... http://chenx1242.blog.51cto.com/10430133/1909923

電商項目總結 http://sihai.blog.51cto.com/11115680/1909878

[root@centos65-1-43 ~/0910]# python 4.py >51cto.txt