原创 爬取免費IP代理,以列表形式返回

#-*- coding:UTF:8-*- #author:若鳥 #date;2017-1-3 #function:爬取代理IP及其端口,並將其存入一個列表中,返回一個代理IP池 ''' ''' import urllib.request

原创 python簡單通用框架

#-*-coding:UTF-8 -*- ''' 爬取過程中存在一些異常,通過簡單的框架可以是爬取更穩定,簡單和有效 ''' import requests def getHTMLText(url):  

原创 爬取招聘職位一

#-*- coding:UTF-8 -*- #@author:若鳥 #functions: 爬取百度招聘上關於IT職業的有關信息進行分析,只是對常見職業進行分析,未解決異步加載,只能顯示第一頁,而且最多顯示100條信息,爬取二升級若對全部

原创 linux虛擬機搭建本地yum源

Yum本地源的配置 本教程是在虛擬機裏安裝Red Hat Enterprise Linux 7 ,以其爲例使用iso文件進行Yum本地源的配置。所使用的軟件如下: (1)虛擬機:Vmware workstation 11.0.0 buil

原创 python簡單框架實現爬取NBA球員數據

寒假期間就像爬取球員數據,一直 沒有動手寫。一下是代碼和註釋,存在一些小小的bug,就是文件寫入問題,學習完寫入exel後再修改。爬蟲總調度程序: #-*-coding:UTF-8 -*- from Html_Download imp

原创 pyhthon 利用爬蟲結合阿里大於短信接口實現短信發送天氣預報

感謝林海大哥提供的阿里短信API,使我重新瞭解pythond的面向對象這個知識點。關於API的使用不多說直接上鍊接:阿里大於API說明 API文檔: # -*- coding: utf-8 -*- ''' SDK for alidayu

原创 Http七個方法與requests庫七個方法

#requests 7個主要方法 ''' 想要了解7個主要方法必須先了解HTTP協議的7個方法,requests的7個與之對應。 其中requests.requests()是其他六個的基礎 HTTP:超文

原创 python FIFO算法模擬(又是重複造輪子)

前言:FIFO算法:即先進先出,需要一個隊列的數據結構,Queue模塊提供了方法,在這裏用dict和list實現了模擬,純屬渣渣,代碼極爛,但也是一種思路,不敢稱分享,枉且記錄,算法不難,代碼及註釋如下。python3環境。 #-*-

原创 通過上次寫的自動獲取IP代理池,訪問whatismyip,來測試ip代理訪問

代碼有時運行不成功,可能是代理地址問題。文件簡單介紹創建opener對象。 優秀文章:http://www.jb51.net/article/46495.htm #-*-coding:UTF-8-*- #author:若鳥 #date:

原创 python基礎內容重新理解之函數

最近寫了個簡單的python爬取新浪NBA球員數據的小腳本。雖然編寫函數,創建類和對象什麼的都沒什麼問題,但是卻不能正確瞭解其中的正確關係。self代表什麼?爲什麼有的函數名字之前會加上__雙下劃線?是時候重新瞭解一下什麼是真正的面嚮

原创 window搭建簡單寫c環境

下載: code::block下載地址:64位,二進制文件 http://www.fosshub.com/Code-Blocks.html/codeblocks-16.01mingw-nosetup.zip 下載完成後直接解壓找到exe文

原创 pythons實現LRU算法,純屬個人思路,重複造輪子。

前言:   FIFO:先進先出算法的模擬。若想用鏈表完成,請參考:http://www.jb51.net/article/55691.htm,使用現成輪子參考:http://www.cnblogs.com/break-python/p/5