原创 使用Beautifulsoup解析網頁遇到的問題

今天遇到一個網頁,按往常的老辦法 soup = BeautifulSoup(content, 'lxml') 打印soup發現少了很多數據,剛開始還以爲反爬,後來經過驗證不是。、 那麼就是解析問題,我換成了 soup = Bea

原创 識別圖中文字

from PIL import Image import pytesseract txt = pytesseract.image_to_string('pingjia.png', lang='chi_sim') print(tx

原创 給女朋友推送天氣

使用的是和風天氣的接口 網址是https://dev.heweather.com/ 進網站之後點右上角註冊 註冊好之後登陸到網站,進入‘控制檯 點擊應用管理,創建一個應用 然後新建應用,我創建的是web端的,其他創建方法詳見ht

原创 python爬蟲破解簡單的字體反爬

這兩天一直在看字體反爬方面的文章,現在難一點的還沒摸清怎麼搞,但是58的品牌公寓的字體反爬相對簡單一些,已經自己做出來了,特此記下來,也可以幫剛在這方面入門的小夥伴更快熟悉起來。整體代碼我會在文末發出來。 話不多說,開始正題 這篇

原创 給女朋友推送睡前小故事

上一篇寫了給女朋友推送天氣的,但是未免太單調,來個推送睡前小故事 這次用的是這個網站http://www.tom61.com/ertongwenxue/shuiqiangushi/index_2.html,這個網站需要用一丟丟爬蟲

原创 爬取一些成語

自制成語接龍 import requests import json import re from fake_useragent import UserAgent headers= {'User-Agent':str(UserAg

原创 使用anaconda新建各種python版本虛擬運行環境(附pycharm設置運行環境)筆記

下載地址:https://www.anaconda.com/download/ 安裝包下載下來之後,點擊安裝,自己定義選擇安裝到哪裏,之後一路next到這裏,就按他默認的這樣不動。因爲第一個是加環境變量,選擇的話後面會有不少麻煩,

原创 自制文本分類

這幾天公司需求,要做文本分類,看了些文章,各種機器學習、神經網絡,看不懂。自己結合結巴分詞做了個簡單的文本分類實現功能,總體來說還可以。 運行結果: 自己寫的,咋方便咋來,反正各種半自動,沒怎麼注重過程,小夥伴看了之後可以自己改

原创 用flask-restful搭建超級簡單的http服務

今天來用flask做一個很簡單的http服務 首先安裝要用到的模塊 pip install flask pip install flask-restful 這是我的腳本結構: 廢話不多說,直接上代碼: 一,服務端代碼: # -*

原创 python打開xml文件並轉爲Beautiful格式

from xml.dom.minidom import parse import xml.dom.minidom #打開xml文檔 dom = xml.dom.minidom.parse('newmy.xml') #轉爲字符串 c

原创 scrapy_redis分佈式

想做一下高大上的scrapy_redis爬蟲程序,又覺得我這種水貨做不來,後來各種查教程,試驗,還算做出來一個像分佈式的東西,不過還是記錄一下,反正開幾個終端模擬分佈式,數據庫裏的數據確實沒重複的,也能湊乎着用吧 首先搭建scra

原创 python使用pyqt5製作計算器

這兩天看pyqt5了,這個模塊可以用來製作桌面軟件,自己試着做了個計算器,這裏記錄一下。 安裝: pip install PyQt5 安裝完成繼續安裝PyQt5-tools pip install PyQt5-tools 然後配置

原创 使用selenium運行chrom無頭瀏覽器(不顯示界面)

from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() ch

原创 python兩列表對應元素求和

一種方法是循環,但是有簡便方法,用numpy import numpy as np list1=[1,2,3,4] list2=[1,2,3,4] a_array = np.array(list1) b_array = np.a

原创 求列表內元素總和

total = 0 list1 = [2, 3, 5] for x in range(0, len(list1)): total = total + list1[x] print( total)