一些有趣的Python爬蟲實例

一些有趣的Python爬蟲實例🐛

Some interesting python crawler example.
代碼倉庫：https://github.com/ShawnHXH/crawler-example
平時製作(不斷更新)的一些有趣的小爬蟲，代碼中含有豐富的中文註釋，此處主要說明其用法。

目錄

1. Unsplash每日推薦美圖
2. 美團美食的店鋪信息
3. 知軒藏書查詢下載
4. 超星學習通自動播放學習視頻

開始前

1. 確保安裝所需庫 pip install -r requirements
2. 確保穩定的網絡連接
3. 此倉庫僅用於參考交流學習

1. Unsplash每日推薦美圖🏞

• 名稱: unsplash.py
• 用法: python unsplash.py
• 參數:

--dst     -d   下載目錄，默認當前目錄
--width   -w   指定寬度像素，其高度自適應，默認1920px
--dpr     -p   設備像素比(1或2)，默認1

• 注意: 有時因爲網絡問題，會發生連接中斷或長時間未響應

2. 美團美食的店鋪信息🍱

• 名稱: meituan.py
• 用法: python meituan.py
• 參數:

--city    -c   所有符合此拼音首字母(A-Z)的城市，默認全部(*)
--food    -f   美食種類，默認全部(*)
--out     -o   將採集的信息以CSV格式保存至此目錄，默認當前目錄

• 注意:

美食種類包括: 蛋糕甜點(c11), 火鍋(c17), 自助餐(c40), 小吃快餐(c36), 日韓料理(c28), 西餐(c35), 燒烤(c54), 東北菜(c20003), 川湘菜(c55), 江浙菜(c56), 粵菜(c57), 西北菜(c58), 咖啡酒吧(c41), 雲貴菜(c60), 東南亞菜(c62), 海鮮(c63), 臺灣、客家菜(c227), 粥(c229), 蒙菜(c232), 新疆菜(c233), 京魯菜(c59)
保存CSV頭部: name(店鋪名稱), avgScore(平均評分), avgPrice(平均消費), address(店鋪地址), phone(店鋪熱線), openTime(營業時間), longitude(經度), latitude(維度), hasFoodSafeInfo(是否持有食品安全聲明), 【可選】recommended(推薦菜品)

• 效果:
  

3. 知軒藏書查詢下載📚

• 名稱: xiaoshuoGUI.py
• 用法: python xiaoshuoGUI.py
• 注意: 下載方式爲默認瀏覽器的下載工具
• 效果:
  

4. 超星學習通自動播放學習視頻✨

• 名稱: xuexitong.py
• 用法:
  • 安裝谷歌瀏覽器
  • 下載Chrome Driver, 版本爲對應瀏覽器版本 官方地址 | 淘寶鏡像
  • 更改 xuexitong.py 中的值:

    chrome_driver_path = '下載的chrome driver的路徑'
    username = '學習通賬號'
    password = '學習通密碼'
    classname = '學習通課程名稱(全稱或一段連續名稱)'
    limit = -1  # 最大觀看頁數, -1爲不限
  

  • 啓動腳本 python xuexitong.py
• 注意:
  • 此腳本基於Selenium完成, 完全模擬用戶操作, 經測試無封號風險
  • 有時視頻加載時間過長可能會跳過播放, 更換一個穩定的網絡或重試即可
  • 若不幸有意外發生, 請自行承擔

喜歡嗎

• 😍 喜歡的話, 歡迎一起貢獻
• 😍 喜歡的話, 點擊一顆星星
• 😍 喜歡的話, 打賞一杯奶茶