原创 2018最常見的Python面試題----------------------------第一波福利

Python新手在謀求一份Python編程工作前,必須熟知Python的基礎知識。編程網站DataFlair的技術團隊分享了一份2018年最常見Python面試題合集,既有基本的Python面試題,也有高階版試題來指導你準備面試,試題均附

原创 python3.6 環境下的TCP網絡編程

python環境下的TCP網絡編程 網絡概念 網絡是由節點和連線構成,表示諸多對象及其相互聯繫。在數學上,網絡是一種圖,一般認爲專指加權圖。網絡除了數學定義外,還有具體的物理含義,即網絡是從某種相同類型的實際問題中抽象出來的模型。

原创 python3.0多進程編程————————————————————————————————淺談

$1 多進程概述 進程是正在執行中的應用程序,一個進程包含了該應用程序的所有信息,如加載數據內存空 間、代碼、程序數據、對象句柄,執行單元等等,一個應用程序根據其功能的多樣性,可以 通過多個進程併發的形式來實現。 計算機中多線程的

原创 python爬蟲入門之————————————————第一節--瞭解爬蟲

1.爬蟲入門概述 爬蟲,又被稱爲網絡爬蟲,主要指代從互聯網上進行數據採集的腳本後者程序,是進行數據 分析和數據挖掘的基礎。  所謂爬蟲就是指在給定url(網址)中獲取我們對我們有用的數據信息,通過代碼實現數據的大量獲取,在經過後期的數據整

原创 python爬蟲入門之————————————————第二節--使用xpath語法獲取數據

準備工作 ⚫瞭解爬蟲的數據處理體系結構 ⚫ 處理數據的軟件準備 採集到的結構化數據[如 html 網頁文檔數據] python 開發環境 lxml 第三方庫 結構化數據基本理論:DOM 模型  1結構化數據 具備有一定的結構,有預定義規則

原创 利用微信小程序作爲爬蟲的目標URL進行全國手機號段歸屬地的數據採集

""" Version 1.1.0 Author lkk Email [email protected] date 2019/2/14 11:09 Desc TODO """ import requests import json im

原创 Python算法系列之常見的排序算法-------------------冒泡排序、選擇排序、插入排序、快速排序、希爾排序、歸併排序

  排序算法 定義:是一種能將一串數據依照特定的順序進行排列的一種算法。 1.冒泡排序 思路:比較相鄰的元素。如果第一個比第二個大,就交換他們兩個。以此類推,對每一對相鄰元素做相同處理,從開始第一隊到結尾的最後一對。這不做完之後最後

原创 爬蟲入門之驗證碼的處理--------------------------pytesseract庫的使用

前言        目前有許多網站針對爬蟲採取了多種多樣的措施進行反爬蟲,爲了不降低用戶的體驗度同時還能將爬蟲攔截在網站之外的一個簡單的措施就是驗證碼。隨着技術的發展,驗證碼的種類也越來越多了,圖形拼接、數字組合、簡單的數學問題、點擊圖中

原创 Python Web開發相關的面試題(Django )

Python Web開發相關的面試題(Django ) 解釋一下 WSGI 和 FastCGI 的關係? CGI全稱是“公共網關接口”(CommonGateway Interface),HTTP服務器與你的或其它機器上的程序進行“交談”的

原创 python爬蟲入門之————————————————第四節--使用bs4語法獲取數據

1.裝備工作:模塊安裝 1.1命令安裝方式:(開發環境:python3.6環境) 官方文檔:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.html 官方文檔中文版:

原创 Python爬蟲大戰、 Scrapy分佈式原理以及分佈式部署

Python爬蟲大戰 爬蟲與發爬蟲的廝殺,一方爲了拿到數據,一方爲了防止爬蟲拿到數據,誰是最後的贏家? 重新理解爬蟲中的一些概念 爬蟲:自動獲取網站數據的程序 反爬蟲:使用技術手段防止爬蟲程序爬取數據 誤傷:反爬蟲技術將普通用戶識別爲爬蟲

原创 python下使用scrapy-redis模塊分佈式爬蟲的爬蟲項目部署詳細教程————————gerapy

1.使用gerapy進行分佈式爬蟲管理 準備工作: 首先將你使用scrapy-redis寫的分佈式爬蟲全部完善 模塊準備: 安裝: pip install pymongo【依賴模塊】 pip install gerapy  2.在本地創建

原创 2018最常見的Python面試題(技術題)---------------------第三波福利

1.請說一下你對迭代器和生成器的區別? (1)迭代器是一個更抽象的概念,任何對象,如果它的類有 next 方法和 iter 方法返回自己本身。對於 string、list、dict、tuple 等這類容器對象,使用 for 循環遍歷

原创 python爬蟲入門之————————————————第三節requests詳解

1.下載安裝 (1)命令安裝方式 Windows:打開命令窗口行,直接運行包管理命令安裝          pip install requests   or  essy_install requests(簡易版)          un

原创 python爬蟲入門之————————————————案例演練

源碼 """ Version 1.1.0 Author lkk Email [email protected] date 2018-11-25 18:39 DESC 電影天堂 """ # https://www.dy2018.com/