原创 突破淘寶對於selenium檢測
去年11月之前淘寶對於selenium還是很友好的,後來selenium被檢測了window.navigator.webdriver 等參數,出滑動驗證碼什麼的,selenium已經很難用了, 網上大片教程都使用的pyppeteer 修
2020-06-16 12:14:51
10
原创 PHPstudy 易於切換不同ip下的mysql
$server_hosts = array( '1' => array('server_name' => 'localhost', 'host' => '127.0.0.1', 'user'=>'', 'password' =>
2020-06-16 12:14:50
原创 builtins.TypeError: 'Rule' object is not iterable
使用Scrapy 提取器 設置好規則 rules = ( Rule(LinkExtractor(allow=r'type=4&page=\d+'), callback="parse_pages", follow=True) )
2020-06-16 12:14:50
6
原创 Docker打包應用部署
centos 安裝docker 其他操作系統自行百度 Image 文件 Docker把應用程序及其依賴打包在一個image文件裏面,可以理解爲一個容器的說明書. 通過這個image文件可以生成容器的實例.同一個image文件可以生成同時運
2019-06-10 13:48:50
原创 自己動手搭建vps ADSL 服務器 撥號代理池
記錄一些這倆天做的撥號代理池，可以簡單使用，做爬蟲的都知道ip代理必不可少， 一開始小白階段看到最多的就各種 花刺，芝麻，快代理抓免費ip教學， 以前我也搞過，但是有效率太差，只適合隨便爬點數據玩玩，在生產環境中，或者應用在日量千萬級爬蟲
2019-05-21 13:33:12
6
原创 centos 安裝python3.7
如果本機安裝了python2，儘量不要管他，使用python3運行python腳本就好，因爲可能有程序依賴目前的python2環境， 比如yum！！！！！ 不要動現有的python2環境！ 一、安裝python3.7 1. 安裝依賴環境
2019-05-21 13:33:12
原创 pandas 菜鳥教程
一、生成數據表 1、首先導入pandas庫，一般都會用到numpy庫，所以我們先導入備用： import numpy as np import pandas as pd 2、導入CSV或者xlsx文件： df = pd.DataFrame
2019-05-10 16:01:35
原创 網易雲音樂歌曲歌詞下載
源碼是去年用python寫的,挺簡單剛剛測了一下還能用 import json import requests from random import choice from selenium import webdriver im
2019-04-27 14:19:11
1
原创 突破淘寶對於selenium封鎖
去年11月之前淘寶對於selenium還是很友好的,後來selenium被檢測了window.navigator.webdriver 等參數,出滑動驗證碼什麼的,selenium已經很難用了, 網上大片教程都使用的pyppeteer 修
2019-04-20 14:43:20
98
原创 python關於大衆點評詳情頁核心數據抓取
大衆點評頁面手機號什麼的不怕你看,也沒弄中間號,而是做了前端svg混淆,有倆個方法, 1,截圖,用OCR識別 2,代碼判斷(本篇使用) 直接上代碼 """ author:yaoye date : 2019-03-20 """ imp
2019-03-22 13:31:45
原创 scrapy + 人工智能給知乎小姐姐顏值打分
最近看知乎有的人虐狗總會貼上自己的女(百)票(度)的照騙,正好今天趁着38婦女節,抽時間來一波你的女票顏值到底多少分 先去知乎找幾個類似 有個漂亮女朋友###的話題,找些評論多的,找知乎的評論接口很簡單就不說了 setting.py R
2019-03-10 03:00:50
原创 逗比錯誤 builtins.TypeError: 'Rule' object is not iterable
使用Scrapy 提取器 設置好規則 rules = ( Rule(LinkExtractor(allow=r'type=4&page=\d+'), callback="parse_pages", follow=True) )
2019-03-05 03:12:00
5
原创 基於python發送郵件
生活中我們經常發送郵件，那麼我們能不能用Python寫一個自動發送郵件的功能呢？答案是肯定的！！！ 開始實現功能之前我們需要開啓我們郵箱的 IMAP/SMTP功能，我們先了解一下什麼是IMAP/SMTP。 SMTP 的全稱是“Simple
2019-01-26 03:26:23
原创 如何解決selenium被檢測，實現淘寶登陸
爬蟲都會碰到某些網站剛剛打開頁面就被判定爲：非人類行爲 因爲很多網站有對selenium的js監測機制。比如：navigator.webdriver，navigator.languages，navigator.plugins.length
2018-12-30 06:38:26
59
原创 Appium搭建五：安裝Android模擬器
當Android SDK安裝完成之後，並不意味着已經裝好了安裝模擬器。Android系統有多個版本，所以我們需要選擇一個版本進行安裝。 這裏不僅詳細介紹了安裝Android模擬器的整個過程，而且細緻到每一步的安裝內容和目的是什麼，更好
2018-11-22 11:19:57