python網絡爬蟲與信息採取之下載存儲數據（一）-----下載儲存媒體文件模板

還在爲一張張的點下載圖片而煩惱嗎？請用一個程序員的思路來解決這個問題，下面就是可以節省你大量時間的代碼；

存儲媒體文件有兩種方式：一是隻獲取URL鏈接；二是直接把源文件下載下來

下面這個就是直接把源文件下載下來的實例：

其中，

urlretrieve()函數用於下載文件

 代碼如下：

import os
from urllib.request import urlretrieve
from urllib.request import urlopen
from bs4 import BeautifulSoup

downloadDirectory = "D:\downloaded"
baseUrl = "http://pythonscraping.com"


def getAbsoluteURL(baseUrl, source):
    if source.startswith("http://www."):
        url = "http://" + source[11:]
    elif source.startswith("http://"):
        url = source
    elif source.startswith("www."):
        url = source[4:]
        url = "http://" + source
    else:
        url = baseUrl + "/" + source
    if baseUrl not in url:
        return None
    return url


def getDownloadPath(baseUrl, absoluteUrl, downloadDirectory):
    path = absoluteUrl.replace("www.", "")
    path = path.replace(baseUrl, "")
    path = downloadDirectory + path
    directory = os.path.dirname(path)
    if not os.path.exists(directory):
        os.makedirs(directory)
    return path


html = urlopen("http://www.pythonscraping.com")
bsObj = BeautifulSoup(html)
downloadList = bsObj.findAll(src=True)
for download in downloadList:
    fileUrl = getAbsoluteURL(baseUrl, download["src"])
    if fileUrl is not None:
        print(fileUrl)

urlretrieve(fileUrl, getDownloadPath(baseUrl, fileUrl, downloadDirectory))

代碼來自《python：網絡爬蟲與信息採取》，感覺有用的話就收藏吧