爬蟲學習(4):自動保存百度雲盤資源

完整代碼移步從今天開始種樹

開始

在上一文中，我們保存了百度雲盤的地址和提取碼，但是這種分享鏈接很容易被屏蔽，最好的做法就是保存資源到自己的網盤，不過採集的鏈接有上萬個，人肉保存並不現實，所以本文嘗試了批量保存資源，如您還沒看過上文，這裏可以跳轉。
爬蟲學習3:搭建自己的電影資源網保姆式教學

觀察請求

以下面資源鏈接爲例：

https://pan.baidu.com/s/1tHSxZQueF-Wsa2T0NlT3vQ

在瀏覽器中輸入以上鍊接，會自動跳轉到https://pan.baidu.com/share/init?surl=tHSxZQueF-Wsa2T0NlT3vQ，

輸入正確提取碼後發現直接跳轉到資源保存頁面了，F12 NETWORK裏也看不到此請求的返回值，這時候只能使用Fiddler才能抓到包了。

Fiddler抓包

打開Fiddler，爲了不讓其它各類請求影響到我們，首先進行簡單設置，以此來顯示我們想要的請求，點擊Filters 進行如下設置，最後點擊Actions裏的Run Filterset now,就只會顯示pan.baidu.com域名的請求：

測試post數據

爲了得到點擊提取文件按鈕時發送的請求和post的數據，先嚐試輸入一個錯誤的提取碼123，查看請求：

https://pan.baidu.com/share/verify?surl=tHSxZQueF-Wsa2T0NlT3vQ&t=1593142082616&channel=chunlei&web=1&app_id=250528&bdstoken=855345cbf66bbfba3d30d5e201ea346f&logid=MTU5MzE0MjA4MjYyMDAuNTM5MjA2Nzg2ODEyNTcxNA==&clienttype=0

看來上面這個url就提取數據的請求，接下來具體看一下都提交了哪些數據：

Form Data中的pwd就是剛纔輸入的錯誤提取碼，而其它兩個參數vcode和vcode_str在沒有驗證碼的情況下也不用管，再看看Query String中的參數，爲了測試這些參數有哪些是變化的，我挑選了一些資源鏈接去嘗試，具體過程就省略了，總結如下：

Query String參數	是否變化
surl	即資源鏈接中的最後部分，可直接獲取
t	時間戳，可直接獲取
channel	固定
web	固定
app_id	固定
bdstoken	固定
logid	變化
clienttype	固定

Form Data參數	是否變化
pwd	即提取碼
vcode	無
vcode_str	無

從上面表格來看，需要手動獲取的就是logid,稍微有點經驗的話應該都能想到這會不會是js動態生成的，抱着這個心態來到sources標籤下，搜索logid關鍵字，果不其然，有個JS文件裏有這個參數，直接定位到相應的行數：

直接在68行打一個斷點，查看運行狀態：

細心的同學一個很快就能發現上圖紅框裏的值就是第一次請求https://pan.baidu.com/share/init?surl=tHSxZQueF-Wsa2T0NlT3vQ cookies裏的BAIDUID的值,logid就是通過上面一些js代碼中的一些算法得到的，cookies如下：

BIDUPSID=EC39F255CF7B146E8ADD4FA37DB16739;BAIDUID=BBBC2B2C1269AF3AA7D113D07FAC5E80:FG=1;  PSTM=1587390447; PANWEB=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDCLND=C4jsJ4aHacfrqq02TYbUOKGFFDefnJAMNmU%2BI3v5FNM%3D;

水平有限，沒辦法將這段js改寫爲python，不過好在python提供了一個執行js代碼的庫pyexecjs,該庫運行於Nodejs環境，首先要保證你的機器安裝了Nodejs：

pip install pyexecjs

下圖即代表安裝正確了，execjs可以正常使用

將js代碼稍微修改一下，保存爲yunpan.js：

var u = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/~！@#￥%……&"
    , l = String.fromCharCode
    , d = function (e) {
    if (e.length < 2) {
        var n = e.charCodeAt(0);
        return 128 > n ? e : 2048 > n ? l(192 | n >>> 6) + l(128 | 63 & n) : l(224 | n >>> 12 & 15) + l(128 | n >>> 6 & 63) + l(128 | 63 & n)
    }
    var n = 65536 + 1024 * (e.charCodeAt(0) - 55296) + (e.charCodeAt(1) - 56320);
    return l(240 | n >>> 18 & 7) + l(128 | n >>> 12 & 63) + l(128 | n >>> 6 & 63) + l(128 | 63 & n)
}
    , f = /[\uD800-\uDBFF][\uDC00-\uDFFFF]|[^\x00-\x7F]/g
    , g = function (e) {
    return (e + "" + Math.random()).replace(f, d)
}
    , h = function (e) {
    var n = [0, 2, 1][e.length % 3]
        , t = e.charCodeAt(0) << 16 | (e.length > 1 ? e.charCodeAt(1) : 0) << 8 | (e.length > 2 ? e.charCodeAt(2) : 0)
        ,
        o = [u.charAt(t >>> 18), u.charAt(t >>> 12 & 63), n >= 2 ? "=" : u.charAt(t >>> 6 & 63), n >= 1 ? "=" : u.charAt(63 & t)];
    return o.join("")
}
    , m = function (e) {
    return e.replace(/[\s\S]{1,3}/g, h)
}
    , p = function () {
    return m(g((new Date).getTime()))
}
    , w = function (e, n) {
    return n ? p(String(e)).replace(/[+\/]/g, function (e) {
        return "+" == e ? "-" : "_"
    }).replace(/=/g, "") : p(String(e))
};

#獲取logid函數，自己添加的
function getlogid(e) {
    var logid = w(e)
    return logid
}

使用execjs執行一下

    def get_logid(self, bid):
        with open('..//js//yunpan.js', encoding='utf-8') as f:
            yunpan = f.read()
        js = execjs.compile(yunpan)
        logid = js.call('getlogid', bid)
        return logid

得到所有的變化參數後就可以提交數據了：

requests.packages.urllib3.disable_warnings()
class YunPan(SpiderBase):
    def __init__(self):
        super(YunPan, self).__init__()
        self.index_url = "https://pan.baidu.com/s/1wy0LC4O6iY7l9M6RD25k6w"
        #提交提取碼的鏈接
        self.submmit_url = "https://pan.baidu.com/share/verify?surl={}&t={}&channel=chunlei&web=1&app_id=250528&bdstoken=7a8e1e34b454fd27de65b7662f67c2fa&logid={}==&clienttype=0"
        #保存鏈接
		self.save_url = "https://pan.baidu.com/share/transfer?shareid={}&from={}&ondup=newcopy&async=1&channel=chunlei&web=1&app_id=250528&bdstoken=7a8e1e34b454fd27de65b7662f67c2fa&logid={}&clienttype=0"
        self.pan_code = "Love"
        
    def get_logid(self, bid):
        with open('..//js//yunpan.js', encoding='utf-8') as f:
            yunpan = f.read()
        js = execjs.compile(yunpan)
        logid = js.call('getlogid', bid)
        return logid
        
    def init(self):
        ua = random.choice(self.ua)
        header = {
            "User-Agent": ua
        }
        resp = self.download_page(self.index_url, headers=header, verify=False)
        resp.encoding = resp.apparent_encoding
        bid = resp.cookies.get("BAIDUID", "")
        logid = self.get_logid(bid)
        key = self.index_url.split("surl=")[-1]
        key = self.index_url.split("/")[-1][1:]
        return bid, logid, key
   
	def post_pan_code(self):
        ua = random.choice(self.ua)
        # 跳轉
        data = {
            "pwd": "Love",
            "vscode": "",
            "vscode_str": "",
        }
        bid, logid, key = self.init()
        url = self.submmit_url.format(key, timestep, logid, )
        resp = self.download_page(url, method="post", headers=self.headers(), data=data, verify=False)
        res = json.loads(resp.text)
		print(res)
		return res

通過Fiddler抓包發現返回的res爲下，errno爲0即代表提交成功：

{"errno":0,"err_msg":"","request_id":8738382064533520558,"randsk":"g2VwUSYs1KSuOMh9%2FQDVUUwc7ICFq4CZNmU%2BI3v5FNM%3D"}

留意上面的randsk。
如果你是用瀏覽器抓包就會發現輸對提取碼點擊按鈕後請求會全部刷新一次，就不能確認到底是哪個請求跳轉到資源頁面的，只能使用Fiddler才能抓到POST成功後的請求，經過測試，發現POST數據後又再次請求了https://pan.baidu.com/s/1wy0LC4O6iY7l9M6RD25k6w這個鏈接，沒錯，就是上面一開始請求的鏈接，區別就是這次請求cookie中攜帶了剛纔返回的randsk的值。所以再次請求時添加上randsk:

 res = self.post_pan_code()
 randsk = res.get("randsk", "")
 c = requests.cookies.RequestsCookieJar()
 c.set("BDCLND", randsk)
 self.session.cookies.update(c)
 #之所以加 verify=False是因爲https請求有時候會報OPEN SSL的異常錯誤
 #最好在導庫時加上requests.packages.urllib3.disable_warnings()
 resp = self.download_page(self.index_url, headers=headers, verify=False)
 #保證沒有亂碼
 resp.encoding = resp.apparent_encoding
 #這時候resp裏已經時資源頁面的內容了

保存資源

抓包分析

抓包保存資源鏈接發現爲：

#保存鏈接
https://pan.baidu.com/share/transfer?shareid=4180912663&from=2693937402&ondup=newcopy&async=1&channel=chunlei&web=1&app_id=250528&bdstoken=7a8e1e34b454fd27de65b7662f67c2fa&logid=MTU5MzE4MTYzNDY0NDAuOTE1MzE0NDI5MzI1NTY4OA==&clienttype=0"

Query String和Form Data爲：

Query String大部分參數都提到過，可以參考上面,這裏出現了新的兩個參數shareid和from，經過測試除了這兩個參數和上文中logid，其它參數均爲固定。

Form Data參數	是否變化
fsidlist	變化
path	你自己選擇保存的路徑，約等於固定
type	固定

到這裏又稍微被shareid和from、fsidlist三個參數卡住了，在頁面中搜索這三個參數也沒有結果，在source中搜索了一下，倒是又一個shareid，但是貌似也關係不大，折騰了一會就想到既然參數名搜不到，那我搜一下參數值試試？，果然在資源頁面中搜到了三個參數的值（即https://pan.baidu.com/s/1wy0LC4O6iY7l9M6RD25k6w這頁面），如下圖：

正則表達式即可提取出三個值。

    def extract_data(self, html):
    	#提取三個值
        import re
        share_id_pattern = 'yunData.SHARE_ID = "(.*?)";'
        from_pattern = 'yunData.SHARE_UK = "(.*?)";'
        fsid_pattern = 'yunData.FS_ID = "(.*?)";'
        try:
            share_id = re.findall(share_id_pattern, html, re.S)[0]
            _from = re.findall(from_pattern, html, re.S)[0]
            fsid = re.findall(fsid_pattern, html, re.S)[0]
        except IndexError:
            print("提取shareid、from、fsid失敗")
        return share_id, _from, fsid

轉存

轉存時候注意cookie裏要攜帶BDUSS和STOKEN，這兩個參數在資源頁面的cookies裏，且都爲固定的，沒有登錄的話只有STOKEN，BDUSS的值要在登錄狀態下才能看到，下圖時登錄後的cookie：

代碼如下：

    def transfer_resource(self,share_id, from_id, fsid,logid,randmsk):
        url = self.save_url.format(share_id,from_id,logid)
        data = {
            "fsidlist":"["+fsid+"]",
            "path":"/我的資源",
            "type":'1'
        }
        BDUSS="你的cookies裏的BDUSS"
        self.session.cookies.set("STOKEN","STOKEN",domain=".baidu.com")
        self.session.cookies.set("BDUSS",BDUSS,domain=".baidu.com")

        resp = self.download_page(url,method="post",headers=self.headers(),data=data,verify=False)
        #這裏返回resp errno爲0即代表成功

完結，撒花

到這裏就結束了，本文講解了如何使用python轉存百度雲盤資源，爲了節省篇幅，完整代碼發佈在個人博客網站從今天開始種樹，有興趣的可以直接複製運行。
更多內容請移步從今天開始種樹，關注知識圖譜與大數據公衆號，獲取更多內容，當然不關注也無所謂。