怎樣用python寫引流腳本

原文鏈接:老五網創圈

Python是一門非常適合處理數據和自動化完成重複性工作的編程語言,我們在用數據訓練機器學習模型之前,通常都需要對數據進行預處理,而Python就非常適合完成這項工作,比如需要重新調整幾十萬張圖像的尺寸,用Python沒問題!你幾乎總是能找到一款可以輕鬆完成數據處理工作的Python庫。

然而,雖然Python易於學習,使用方便,但它並非運行速度最快的語言。默認情況下,Python程序使用一個CPU以單個進程運行。不過如果你是在最近幾年配置的電腦,通常都是四核處理器,也就是有4個CPU。這就意味着在你苦苦等待Python腳本完成數據處理工作時,你的電腦其實有75%甚至更多的計算資源就在那閒着沒事幹!

今天我(作者Adam Geitgey——譯者注)就教大家怎樣通過並行運行Python函數,充分利用你的電腦的全部處理能力。得益於Python的 concurrent.futures 模塊,我們只需3行代碼,就能將一個普通數據處理腳本變爲能並行處理數據的腳本,提速4倍。

普通Python處理數據方法

比方說,我們有一個全是圖像數據的文件夾,想用Python爲每張圖像創建縮略圖。

下面是一個短暫的腳本,用Python的內置glob函數獲取文件夾中所有JPEG圖像的列表,然後用Pillow圖像處理庫爲每張圖像保存大小爲128像素的縮略圖:

import glob

import os

from PIL import Image

def make_image_thumbnail(filename):

# 縮略圖會被命名爲"_thumbnail.jpg"

base_filename, file_extension = os.path.splitext(filename)

thumbnail_filename = f"{base_filename}_thumbnail{file_extension}"

# 創建和保存縮略圖

image = Image.open(filename)

image.thumbnail(size=(128, 128))

image.save(thumbnail_filename, "JPEG")

return thumbnail_filename

# 循環文件夾中所有JPEG圖像,爲每張圖像創建縮略圖

for image_file in glob.glob("*.jpg"):

thumbnail_file = make_image_thumbnail(image_file)

print(f"A thumbnail for {image_file} was saved as {thumbnail_file}")

這段腳本沿用了一個簡單的模式,你會在數據處理腳本中經常見到這種方法:

首先獲得你想處理的文件(或其它數據)的列表

寫一個輔助函數,能夠處理上述文件的單個數據

使用for循環調用輔助函數,處理每一個單個數據,一次一個。

咱們用一個包含1000張JPEG圖像的文件夾測試一下這段腳本,看看運行完要花多長時間:

$ time python3 thumbnails_1.py

A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg

[... about 1000 more lines of output ...]

real 0m8.956s

user 0m7.086s

sys 0m0.743s

運行程序花了8.9秒,但是電腦的真實工作強度怎樣呢?

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章