原创 URL 和 URI概念分析
URI和URL的概念和舉例 簡單的來講,URL就是在瀏覽器端輸入的 http://www.baidu.com 這個字符串。 在理解URL之前,首先要理解URI的概念。 什麼是URI? Web上每種可用的資源,如
原创 python寫爬蟲技巧(二):異常處理
先來說一說HTTP的異常處理問題。當urlopen不能夠處理一個response時,產生urlError。不過通常的Python APIs異常如ValueError,TypeError等也會同時產生。HTTPError是urlError
原创 python寫爬蟲技巧(五):簡單的百度貼吧網頁爬蟲
# -*- coding: cp936 -*- import string, urllib2 #定義百度函數 def baidu_tieba(url,begin_page,end_page): for i
原创 Python寫爬蟲技巧(一):總
1.最基本的抓站 import urllib2 content = urllib2.urlopen('http://XXXX').read() -2.使用代理服務器 這在某些情況下比較有用,比如IP被封了,或者比如IP訪問的次數受
原创 python學習筆記(四)
第十六講 序列 1. 列表、元組和字符串的共同點: a) 通過索引得到每一個元素 b) 索引從0開始 c) 可以通過分片的方法得到一個範圍內的元素集合 d) 有很多共同的操
原创 python寫爬蟲技巧(三):urllib2方法geturl、info和兩個概念openers、handlers
urlopen返回的應答對象response(或者HTTPError實例)有兩個很有用的方法info()和geturl() 1.geturl(): 這個返回獲取的真實的URL,這個很有用,因爲urlopen(或者opener對象使用的
原创 python寫爬蟲技巧(四):urllib2技巧與抓站技巧
1.Proxy 的設置 urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。 如果想在程序中明確控制 Proxy 而不受環境變量的影響,可以使用代理。 新建test14來實現一個簡單的代理Dem
原创 python學習筆記(二)
第六講 常用操作符 1. 算數操作符: a) d += 3 b) a = b = c = d = e = 10 2. 優先級: 先加減再乘除,有括號先括號 比較符優先級高於邏輯符 3.
原创 python+scrapy環境搭建(win7 X86)
Python+scrapy安裝 win7 32位系統 1、到https://www.python.org/downloads/release/python-279/下載Windows x86 MSI installer安裝Python
原创 python學習筆記(三)
第十一講 列表2 1. 列表獲取元素: Mix[0] Mix2=Mix[2:5] //拷貝分片得到2到4的,修改mix不會修改mix2 Mix[:3] //從0到2 2. 列表刪除元素: mix.remove(“哈哈”) del
原创 Scrapy入門
什麼是Scrapy Scrapy是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘,信息處理或存儲歷史數據等一系列的程序中。其最初是爲了頁面抓取 (更確切來說, 網絡抓取 )所設計的, 也可以應用在獲取AP
原创 python學習筆記(一)
第三講變量和字符串 1. 變量名不能以數字開頭 2. 變量名大小寫敏感 3. 字符串可以是“ 也可以是 ’ 4. 轉意符 \ : print(‘let\’s go!’) Print(“l
原创 移動端遮罩層後方滾動處理
最近做項目,有一個一鍵分享的彈窗功能。 分享按鈕以遮罩的形式佈滿整個屏幕,我採取position:absolute,四個方向的大小爲0,做了個遮罩,但是發現時間會冒泡到底層的去,導致在遮罩上滑動屏幕也會使下層的body滾動起來。 想到的
原创 前端學習相關網頁集合
0.綜合網址導航 醉牛前端:http://f2er.club/ 36鎮(網絡收藏夾):http://www.36zhen.com/ 1.html+css css-tricks https://css-tricks.com/ 2.
原创 python學習筆記(五)
第二十一講lambda表達式(匿名函數) 1. 基本語法 lambdax : 2 *x + 1 等同於 def xxx(x): return x : 2 *x +1 2. 複雜的內置函數 a)