原创 mysql 分組後 取最大值的問題(已解決)

mysql版本:5.65 測試表格ceshi如下: sql要求:根據name分組取score的最大值, SELECT id,`name`,max(score) FROM ceshi GROUP BY `name` 如果你的表格sco

原创 python讀取csv文件的下載鏈接,獲取表格數據

環境:python3.6 背景:之前接到一個小需求,給了幾百個csv文件的下載鏈接,需要將這些csv表格中的某一列數據拉去出來,進行一些簡單計算。 剛開始的想法是全部用requests請求文件url直接下載保存,再挨個讀取文件。但是這種辦

原创 linux服務器centos配置防火牆,開啓端口(指定ip白名單)

最近租了一臺雲服務器,安裝好redis數據庫後,發現本地服務器無法訪問,於是檢查發現,這臺新服務器的redis默認的6379端口並沒有開啓。 1.首先打開防火牆配置文件: vim /etc/sysconfig/iptables 發現目前只

原创 python 大批量文本分詞 以及詞頻統計 (高效處理案例)

環境:python3.6 庫:jieba,xlwt,xlwings,collections   前兩天有個需求要對一張表裏的中文語句進行分詞,並統計每個詞語出現的次數。 表格1231.xlsx大致內容如下: 由於表格內容過大,約有100

原创 python3提取字符串中的手機號碼

版本:python3.6 庫:re 目的:使用正則表達式判斷文本中的是否包含正確的手機號碼並提取出來。   功能代碼如下: import re # 正則匹配手機號 def judge_phone_number(account):

原创 python 圖片上傳接口開發 並生成可以訪問的圖片url

版本:python3.7 功能,開發一個用戶訪問的頁面,支持圖片上傳,並將其保存在服務器。   項目結構:   app.py文件內容如下: from flask import Flask, Response, request, ren

原创 Python實現Reids任務隊列(簡單案例)

環境:python3 庫:redis   首先得了解redis數據庫的lpush和brpop命令: 1.Redis Lpush 命令將一個或多個值插入到列表頭部。 如果 key 不存在,一個空列表會被創建並執行 LPUSH 操作。 當 k

原创 python讀取表格-寫入表格-簡單案例!

環境:python3 表格message.xlxs如圖所示: 代碼如下: import xlrd def wangpeixun(): # 獲取表格 excel=xlrd.open_workbook(r"./messa

原创 最全user-agent,1000+條夠你用

User Agent中文名爲用戶代理,簡稱 UA,它是一個特殊字符串頭,使得服務器能夠識別客戶使用的操作系統及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。 共計1456條 Mozilla/4.0 (com

原创 selenium+Chrome 上傳圖片到1688搜索類似產品

環境:python3.6 庫:pip3 install win32gui 另外需要安裝chromedriver插件,安裝方式:https://blog.csdn.net/t8116189520/article/details/951739

原创 chromedriver下載 安裝流程

chromedriver下載地址: http://chromedriver.storage.googleapis.com/index.html 選擇對應版本: chromedriver版本    支持的Chrome版本 v2.46    

原创 python 根據關鍵詞爬取1688商品數據(完整案例)

環境:python3.6 目的:根據關鍵詞在淘寶1688平臺上搜索商品,並將商品的pid等信息抓取下來。   首先,我們打開首頁https://s.1688.com/,輸入關鍵詞:女裝。       點擊找一下,後會跳轉到商品頁面,如下

原创 python3 對mysql數據庫的常見操作(查詢,插入,更新,刪除)簡單案例

  環境:python3.6 庫:pip install pymysql   鏈接mysql數據庫的常用方法↓↓↓: import pymysql #python3中不支持mysqldb conn=pymysql.connect(ho

原创 python圖片處理,實現圖片內容的中英文翻譯 詳細案例

環境:python3.6 本篇文章主要講述的功能是如何把一張包含中文文字的圖片轉換成英文圖片,並且保證圖片不受影響。 這裏先舉個案例: 上圖的左邊是原始圖片沒有做任何處理,右邊是經過代碼處理過翻譯後的圖片,(由於截圖原因導致兩張圖大小與

原创 python 第三方庫gevent 協程用法 爬蟲案例

運行環境:python3.6 第三方庫安裝:pip install gevent            網絡爬蟲,這種io高密集型的應用由於大部分的時間在等待響應方面,所以CPU的使用率並不高,爲了解決這些問題,我們使用異步的方式來進行爬