時隔五年，Scrapyd 終於原生支持 basic auth

Issue in 2014

scrapy/scrapyd/issues/43

Pull request in 2019

scrapy/scrapyd/pull/326

試用

1. 安裝：pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth
2. 更新配置文件 scrapyd.conf，其餘配置項詳見官方文檔

[scrapyd]
username = yourusername
password = yourpassword

1. 啓動：scrapyd

In [1]: import requests

In [2]: requests.get('http://127.0.0.1:6800/').status_code
Out[2]: 401

In [3]: requests.get('http://127.0.0.1:6800/', auth=('admin', 'admin')).status_code
Out[3]: 401

In [4]: requests.get('http://127.0.0.1:6800/', auth=('yourusername', 'yourpassword')).status_code
Out[4]: 200

1. 由於 Scrapyd 的 GitHub 最新提交已經重構了 Jobs 頁面，如果正在使用 ScrapydWeb 管理 Scrapyd，則需同步更新 ScrapydWeb：pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd