超熱門表情包app爬蟲

最近和同事和朋友鬥圖鬥得厲害，心想哪裏來的這麼多表情包，於是乎想着去表情包網站爬一波圖片下來，便有了今天這篇文章。

-----難度指數 ✩
-----閱讀本文大概需要12分

爬蟲案例100篇欄目的第一篇

由於app爬蟲網上的例子較少，今後的爬蟲以手機包爲主。

選擇表情包軟件

超熱門表情包app

開發環境

python3.6
ios13
mac os
pycharm
charler

抓包

抓包工具使用的是charler軟件，手機配置好代理後打開抓包工具，不會配置的可以參考我之前的文章也可以網上搜。

打開軟件我就看最熱的圖黃，就抓這個欄目，耶穌也攔不住了。

找呀找呀找
咦？jpg
找到了，複製鏈接瀏覽器打開。woc居然連反爬都沒有直接返回json。

代碼：

import requests
from multiprocessing.dummy import Pool as mp
import os
from urllib.request import urlretrieve


def down_img(path, url):
    f_path = './img/'
    if not os.path.exists(f_path):
        os.makedirs(f_path)

    urlretrieve(url, f_path + path)


def get_json(page):
    res = requests.get("http://service.aemoji.adesk.com/v1/resource?limit=60&order=hot&skip={}".format(page))
    for data in (res.json()['res']['data']):
        down_img(data['uid']+'.jpg', data['static_url'])


if __name__ == '__main__':
    pool = mp(16)

    for page in range(0, 1000, 60):
        pool.apply_async(get_json, args=(page,))

    pool.close()
    pool.join()

現在，一個簡單抓鬥圖app的爬就結束了。