如何利用Python實現工作中的自動化

如何利用Python實現工作中的自動化

“偷懶還能幹完活，纔是本事”

帥張發了一篇《工作要學會偷懶》，深感贊同。

有些事情既然定期都要處理，就沒有更好的處理方式？能自動化麼？
工作要學會偷懶，尤其對於一些大量重複的工作，第一感覺就要想到如何偷懶。 怎麼偷懶呢？ 做一點簡單的編程工作就可以了。

我總結了一些在工作中非常常見的例子，將源碼整理好供參考。

這類工作大部分是重複性工作，但佔據了你比較多的時間，有時候用蠻力做的事情，可以有更省時省力的辦法。
作爲一名優秀的社會主義接班人，肯定都會有將工作任務自動化的意識，於是我去了解了一下身邊不同崗位（HR、產品、運營、市場、數據分析師等）每天需要面對的重複性勞動（肯定會有不全，各位大佬不要噴我~）

今天我來分享一下在工作是實際會遇到的情況，其實我們不用吭哧吭哧地埋頭幹表格，也不用拼死平活地理數據，更不用機械式地點擊各個啓動和確認按鈕，掌握一些自動化程序會讓你的工作更加高效。

那麼如何將這些統統實現呢？

我將這些分爲以下幾類，大家可以自行評估，各取所需：

如果你喜歡的話，分享讓更多的人看到~

系統錄入自動化

由於你經常需要不斷的將一些信息錄入系統，每一次錄入的過程中你可能需要不斷的點擊一些按鈕，面對這種情況，完全可以寫一個自動腳本，每次代替你來執行這些點擊的行爲。

這裏我們需要用到splinter：

pip install splinter

這裏寫了一個自動登錄郵箱的腳本，可以實現文本輸入和網頁點擊：

#coding=utf-8
import time
from splinter import Browser

def splinter(url):
    browser = Browser()
    #login 126 email websize
    browser.visit(url)
    #wait web element loading
    time.sleep(5)
    #fill in account and password
    browser.find_by_id('idInput').fill('xxxxxx')
    browser.find_by_id('pwdInput').fill('xxxxx')
    #click the button of login
    browser.find_by_id('loginBtn').click()
    time.sleep(8)
    #close the window of brower
    browser.quit()

if __name__ == '__main__':
    websize = 'https://mail.163.com/'
    splinter(websize)

同理可以寫一個簡單的遊戲掛機腳本，遊戲掛機腳本，無非就是自動移動鼠標，自動點擊，進行重複操作，所以，第一步就是如何控制鼠標。

import win32api
import time
def move_click(x, y, t=0):  # 移動鼠標並點擊左鍵
    win32api.SetCursorPos((x, y))  # 設置鼠標位置(x, y)
    win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN |
                         win32con.MOUSEEVENTF_LEFTUP, x, y, 0, 0)  # 點擊鼠標左鍵
    if t == 0:
        time.sleep(random.random()*2+1)  # sleep一下
    else:
        time.sleep(t)
    return 0

#測試
move_click(30, 30)

def resolution():  # 獲取屏幕分辨率
    return win32api.GetSystemMetrics(0), win32api.GetSystemMetrics(1)

值得注意的是，一定要在管理員權限下的cmd中運行，否則點擊無效。

這個時候，你已經可以寫個循環，不停地點擊屏幕上不同的幾個點，最基礎的掛機腳本就實現了。

不是在犯罪的道路上越走越遠，就是在成長的道路上越走越遠
更高級的遊戲外掛：
https://github.com/JamesRaynor67/jump

Excel自動化處理

Excel合併

在實際應用中可能會有不同月份的數據或者不同周的報告等等的Excel數據，都是單個獨立的文件，如果想要整體使用的話就需要合併一下，那麼如何利用python把指定目錄下的所有Excel數據合併成一個文件呢？

思路：利用python xlrd包讀取excle文件，然後將文件內容存入一個列表中，再利用xlsxwriter將內容寫入到一個新的excel文件中。

#-*- coding: utf-8 -*-

#將多個Excel文件合併成一個
import xlrd
import xlsxwriter

#獲取excel中所有的sheet表
def getsheet(fh):
    return fh.sheets()

#獲取sheet表的行數
def getnrows(fh,sheet):
    table=fh.sheets()[sheet]
    return table.nrows

#讀取文件內容並返回行內容
def getFilect(file,shnum):
    fh=open_xls(file)
    table=fh.sheets()[shnum]
    num=table.nrows
    for row in range(num):
        rdata=table.row_values(row)
        datavalue.append(rdata)
    return datavalue

或者直接用concat+一個循環來實現：

for i in var_list:
    df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息']
    df_0['month'] = date_replace(i)
    df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']]
    li.append(df_0)

writer = pd.ExcelWriter(r'C:\Users\mapping.xlsx')
df = pd.concat(li)
df.to_excel(writer,'Sheet1',index=False,header = None)

Excel中添加數據圖表

整理好excel文件後下一步需要做的是處理文件裏的數據，根據數據來生成一些自己需要的圖表：

import xlsxwriter

#設置一個例子
data = [20, 45, 26, 18, 45]

#創建表格
workbook = xlsxwriter.Workbook("temp.xlsx")
worksheet = workbook.add_worksheet("data")

#添加數據
worksheet.write_column('A1', data)

#創建圖表
chart = workbook.add_chart({'type': 'line'})

#圖表添加數據
chart.add_series({
        'values': '=data!$A1:$A6',
        'name': '圖表名稱',
        'marker': {
                'type': 'circle',
                'size': 8,
                'border': {'color': 'black'},
                'fill': {'color': 'red'}
                } ,
        'data_labels': {'values': True},
        'trendline': {
                'type': 'polynomial',
                'order': 2,
                'name': '趨勢線',
                'forward': 0.5,
                'backward': 0.5,
                'display_equation':True,
                'line': {'color': 'red', 'width':1, 'dash_type': 'long_dash'}
                }
})

worksheet.insert_chart('c1', chart)
workbook.close()

實現效果：

這部分圖文來自網絡，侵刪。

word關鍵信息提取

假設你收到1萬份簡歷，你想先根據學校做一些篩選，這時候利用python將大量的簡歷進行信息彙總，只提取關鍵信息用excel查看起來更加方便。

docx文件自己本身是壓縮文件，打開壓縮包之後竟然發現裏面有個專門存儲word裏面文本的文件。
那麼步驟就變得簡單了：

1. 打開docx的壓縮包
2. 獲取word裏面的正文信息
3. 利用正則表達式匹配出我們想要的信息
4. 將信息存儲到txt中（txt可以用excel打開）
5. 批量調用上述過程，完成一萬份簡歷的提取工作
   利用正則匹配獲取關鍵信息：

import re
def get_field_value(text):
    value_list = []
    m = re.findall(r"姓 名(.*?)性    別", table)
    value_list.append(m)
    m = re.findall(r"性    別(.*?)學    歷", table)
    value_list.append(m)
    m = re.findall(r"民 族(.*?)健康狀況", table)
    value_list.append(m)    
    '''
    此處省略其他字段匹配
    '''
    return value_list

後臺回覆簡歷獲取完整代碼，參考資料：
https://blog.csdn.net/geoker/article/details/80149463

自動化運營監控

在平時的工作中，一定會有對運營情況的監控，假設你管理一家店鋪，那麼一些關鍵指標肯定是你需要每天查看到的，比如店鋪訪問數，商品瀏覽數，下單數等等，這個時候不用每天重複地去統計這些數據，這需要寫一個自動化程序，每天將數據保存在固定的文件夾下就可以實現報表的實時監控。

如果你的數據來源是線下文件：
那麼可以利用python操作線下文件將其載入數據庫
然後通過數據庫對數據進行處理
再利用python輸出結果

from impala.dbapi import connect
from impala.util import as_pandas
import datetime

conn = connect(host='host',port=21050,auth_mechanism='PLAIN',user='user',password='password')
#host：數據庫域名
#user：數據庫用戶名
#password：數據庫密碼
df_data = pd.read_excel('temp.xlsx')

rows =[]
for index, row in df_data.iterrows():
    rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+',')
    a= '''
    INSERT into table
    (case_id, birth_date)
    values '''
for i in rows:
    a += i
a = a[:-1]

cursor1 = conn.cursor()
cursor1.execute(a)
cursor1.close()
conn.close()
print('成功導入數據至數據庫...')
del a
del rows 

如果你的數據來源是線上文件（存在數據庫）
那可以直接利用python鏈接數據庫進行一些列的操作
然後導出你所需要的結果

import sql   #sql是封裝的sql文件
sql_end = sql.sql_end
cursor1 = conn.cursor()
for i in sql_end.split(';'):
    print(i)
    cursor1.execute(i)
cursor1.close()
conn.close()
print('程序運行結束，請執行下一步。')

python連接數據庫：
https://blog.csdn.net/weixin_42213622/article/details/86523400

自動發送郵件

使用Python實現自動化郵件發送，可以讓你擺脫繁瑣的重複性業務，節省非常多的時間。
數據分析師經常會遇到一些取數需求，有些數據需求是每天都需要的，有些數據需求是每週一次的。對於這些週期性的數據需求，每次都重複性地手動導出這些數據，並回傳給需求方，是很繁瑣且浪費時間的。所以完全可以設置自動郵件來解決。
"Talk is cheap, show you the code"
常見的郵件肯定有三部分：
1、正文
2、圖片
3、附件
OK
導入我們需要用到的包

from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.image import MIMEImage
import smtplib

msg = MIMEMultipart()

在郵件中插入正文：

##在郵件中插入文本信息    
df_text='''<html>
                  <body>
                  <p>   Hi all ，</p>
                  <p>   這是一個測試郵件，詳情請參考附件 </p>
                  <p>   情況如下圖： </p>
                 </body></html>'''
msgtext = MIMEText(df_text, 'html', 'utf-8')
msg.attach(msgtext)

如果你需要插入圖片，利用同樣的方法，在郵件中插入圖片：

##在郵件中插入圖片信息
image = open('temp.jpg','rb')
msgimage = MIMEImage(image.read())
msg.attach(msgimage)
在郵件中插入附件：
##在郵件添加附件
msgfile = MIMEText(open('temp.xlsx', 'rb').read(), 'base64', 'utf-8')
msgfile["Content-Disposition"] = 'attachment; filename="temp.xlsx"'
msg.attach(msgfile)

剩下的就是設置一些郵件參數來發送郵件：

#設置郵件信息常量
email_host= ''  # 服務器地址
sender = '' # 發件人
password ='' # 密碼，如果是授權碼就填授權碼
receiver = '' # 收件人

發送郵件：

try:
    smtp = smtplib.SMTP(host=email_host)
    smtp.connect(email_host)
    smtp.starttls()
    smtp.login(sender, password)
    smtp.sendmail(sender, receiver.split(',') , msg.as_string())
    smtp.quit()
    print('發送成功')
except Exception: 
     print('發送失敗')
然後將你的任務設置定時執行就可以輕鬆實現啦

實現效果：

平時的工作中，真的有太多可以去自動化的任務，由於經驗受限這裏不能一一舉例說明，只能儘量分享一些我遇到過或者聽說過的例子。

希望大家都越來越高效，邊偷懶邊完成工作~

大家如果有特別想要了解或者實現的功能，在文末留言或者私信，我可以針對一個點寫得更詳細，將完整實現方式分享給大家。

建議收藏，不定時更新更完善的功能。
如果你喜歡的話，分享出來讓更多的人看到~