Python爬取智聯招聘數據分析師崗位相關信息

進入智聯招聘官網，在搜索界面輸入‘數據分析師’，界面跳轉，按F12查看網頁源碼，點擊network

 選中XHR，然後刷新網頁

可以看到一些Ajax請求， 找到畫紅線的XHR文件，點擊可以看到網頁的一些信息

在Header中有Request URL，我們需要通過找尋Request URL的特點來構造這個請求網址，

點擊Preview，可以看到我們所需要的信息就存在result中，這信息基本是json格式，有些是列表；

下面我們通過Python爬蟲來爬取上面的信息；

代碼如下：

import requests
from urllib.parse import urlencode
import json
#from requests import codes
#import os
#from hashlib import md5
#from multiprocessing.pool import Pool
#import re


def get_page(offset):
    params = {
        'start': offset,
        'pageSize': '90',
        'cityId': '530',
        'salary': '0,0',
        'workExperience': '-1',
        'education': '-1',
        'companyType': '-1',
        'employmentType': '-1',
        'jobWelfareTag': '-1',
        'kw': '數據分析師',
        'kt': '3',
        '_v': '0.77091902',
        'x-zp-page-request-id': '8ff0aa73bf834b408f46324e44d89b84-1562722989022-210101',
        'x-zp-client-id': '2dc4c9a4-e80d-4488-84a3-03426dd69a1e'
        
        
    }
    base_url = 'https://fe-api.zhaopin.com/c/i/sou?'
    url = base_url + urlencode(params)
    try:
        resp = requests.get(url)
        print(url)
        if 200  == resp.status_code:
            print(resp.json())
            return resp.json()
    except requests.ConnectionError:
        return None


def get_information(json_page):
    if json_page.get('data'):
        results = json_page.get('data').get('results')        
        for result in results:
              yield {
                  'city':  result.get('city').get('display'),
                    'company': result.get('company').get('name'),
                    #'welfare':result.get('welfare'),
                    'workingExp':result.get('workingExp').get('name'),
                    'salary':result.get('salary'),
                    'eduLevel':result.get('eduLevel').get('name')
                }
print('succ')

def write_to_file(content):
      with open('result.txt','a',encoding='utf-8') as f:
            print(type(json.dumps(content)))
            f.write(json.dumps(content,ensure_ascii=False)+'\n')
      
      
def main(offset):
    json_page=get_page(offset)   
    for content in get_information(json_page):
        write_to_file(content)
    
if __name__=='__main__':
      for i in range(10):
            main(offset=90*i)
      
   

           

爬取結果如下：