原创 URL 和 URI概念分析

URI和URL的概念和舉例 簡單的來講,URL就是在瀏覽器端輸入的    http://www.baidu.com    這個字符串。 在理解URL之前,首先要理解URI的概念。 什麼是URI? Web上每種可用的資源,如

原创 python寫爬蟲技巧(二):異常處理

先來說一說HTTP的異常處理問題。當urlopen不能夠處理一個response時,產生urlError。不過通常的Python APIs異常如ValueError,TypeError等也會同時產生。HTTPError是urlError

原创 python寫爬蟲技巧(五):簡單的百度貼吧網頁爬蟲

# -*- coding: cp936 -*- import string, urllib2 #定義百度函數 def baidu_tieba(url,begin_page,end_page): for i

原创 Python寫爬蟲技巧(一):總

1.最基本的抓站 import urllib2 content = urllib2.urlopen('http://XXXX').read() -2.使用代理服務器 這在某些情況下比較有用,比如IP被封了,或者比如IP訪問的次數受

原创 python學習筆記(四)

第十六講 序列 1.      列表、元組和字符串的共同點: a)        通過索引得到每一個元素 b)        索引從0開始 c)        可以通過分片的方法得到一個範圍內的元素集合 d)        有很多共同的操

原创 python寫爬蟲技巧(三):urllib2方法geturl、info和兩個概念openers、handlers

urlopen返回的應答對象response(或者HTTPError實例)有兩個很有用的方法info()和geturl() 1.geturl(): 這個返回獲取的真實的URL,這個很有用,因爲urlopen(或者opener對象使用的

原创 python寫爬蟲技巧(四):urllib2技巧與抓站技巧

1.Proxy 的設置 urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。 如果想在程序中明確控制 Proxy 而不受環境變量的影響,可以使用代理。 新建test14來實現一個簡單的代理Dem

原创 python學習筆記(二)

第六講 常用操作符 1.      算數操作符: a)        d += 3 b)        a = b = c = d = e = 10 2.      優先級: 先加減再乘除,有括號先括號 比較符優先級高於邏輯符 3.  

原创 python+scrapy環境搭建(win7 X86)

Python+scrapy安裝  win7 32位系統 1、到https://www.python.org/downloads/release/python-279/下載Windows x86 MSI installer安裝Python

原创 python學習筆記(三)

第十一講 列表2 1.  列表獲取元素: Mix[0] Mix2=Mix[2:5]  //拷貝分片得到2到4的,修改mix不會修改mix2 Mix[:3]  //從0到2 2.  列表刪除元素: mix.remove(“哈哈”) del

原创 Scrapy入門

什麼是Scrapy Scrapy是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘,信息處理或存儲歷史數據等一系列的程序中。其最初是爲了頁面抓取 (更確切來說, 網絡抓取 )所設計的, 也可以應用在獲取AP

原创 python學習筆記(一)

第三講變量和字符串 1.      變量名不能以數字開頭 2.      變量名大小寫敏感 3.      字符串可以是“  也可以是  ’ 4.      轉意符 \  : print(‘let\’s go!’)   Print(“l

原创 移動端遮罩層後方滾動處理

最近做項目,有一個一鍵分享的彈窗功能。 分享按鈕以遮罩的形式佈滿整個屏幕,我採取position:absolute,四個方向的大小爲0,做了個遮罩,但是發現時間會冒泡到底層的去,導致在遮罩上滑動屏幕也會使下層的body滾動起來。 想到的

原创 前端學習相關網頁集合

0.綜合網址導航 醉牛前端:http://f2er.club/   36鎮(網絡收藏夾):http://www.36zhen.com/  1.html+css css-tricks https://css-tricks.com/ 2.

原创 python學習筆記(五)

第二十一講lambda表達式(匿名函數) 1.      基本語法 lambdax : 2 *x + 1 等同於 def xxx(x):            return x : 2 *x +1   2.      複雜的內置函數 a)