前言
踩了 5-6個小時的坑，各種測試。人要沒了。不過結果我已經滿意了。
這篇文章是對 https://segmentfault.com/a/11... 的完善與排初BUG!
大坑1（scrapyd服務bind_address）：
我用的Docker (我記得之前不用docker的時候scrapyd的配置文件好像是默認的 0.0.0.0)
但是我發現 Docker容器裏面 默認是 bind 127.0.0.1 （真是 f--k了.. 弄了好幾個小時沒發現）
如果你用的docker， 先在Docker 同級目錄下新建一個 default_scrapyd.conf
然後寫入如下配置（不用猶豫，全部複製進去即可）：
[scrapyd]
eggs_dir = eggs
logs_dir = logs
items_dir =
jobs_to_keep = 5
dbs_dir = dbs
max_proc = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
launcher = scrapyd.launcher.Launcher
webroot = scrapyd.website.Root
[services]
schedule.json = scrapyd.webservice.Schedule
cancel.json = scrapyd.webservice.Cancel
addversion.json = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json = scrapyd.webservice.ListSpiders
delproject.json = scrapyd.webservice.DeleteProject
delversion.json = scrapyd.webservice.DeleteVersion
listjobs.json = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
最後在你的Dockerfile中末尾寫入（視情況而定。 每個人的目錄結構都不同）
COPY default_scrapyd.conf /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf
大坑2 (docker-compose: 的command多命令問題)
scrapyd部署需要兩步：
- 先開啓 scrapyd 服務 (scrapyd 命令即可)
- 再把爬蟲程序通過 scrapyd-deploy 推送到 scrapyd服務上
很明顯：2 是依賴 1 的。
錯誤解決方式：
但是，docker-compose command: 只能運行一條命令。 我按照常理使用N種思想想讓他支持多條命令：
- 起初 用 &&
- 用 sh腳本
- 這個命令是最荒唐的。。。 網上千篇一律的博客。 百分之80都是互相抄襲的。（然後我還真用了。。）
最荒唐的命令如下：（我一直竊喜，以爲找到解決辦法了，就一直以這個命令爲軸做調試，測試。。。。）
# command:
# - /bin/bash
# - -c
# - |
# scrapyd
# scrapyd-deploy Cython_lin -p Baidu這個命令有兩種結果（這兩種結果還tm是隨機的。 生無可戀）：
- scrapyd先執行，直接堵塞。後面命令失效（即使你用& 也解決不了隨機啓動順序問題）
- scrapyd-deploy Cython_lin -p Baidu 先執行 （直接報錯，以爲scrapyd還沒起來呢）
到此爲止：：：：：：： 我上面說的都是錯誤的方式！！！！！！！！！！！！！！
（差點一棵樹上勒到死， 既然docker-compose文件內部只能運行一條命令。那麼我們拿外面去運行啊！！）
（思想已經絕望僵化的我， 這次是真的看見了希望，曙光）
正確解決方式:
docker-compose.yml文件裏面只寫：
command: scrapyd然後保存退出， 然後執行 ：
docker-compose up -d
# 我們需要讓 scrapyd啓動一會，纔可以啓動 scrapy-deploy的（等一小會就行了）然後繼續執行：
docker-compose exec crawl scrapyd-deploy Cython_lin -p Baidu
特別注意！說明以下！（docker-compose命令有兩種方式）：
docker-compose exec 正確
docker-compose run 錯誤 (在外面千萬不要用這種 （當然我是說我這個業務）)結束語
也許有些錯誤很小， 但是當你懷疑變多的時候，腦海會出現海量解決問題的分支。
然後機械排BUG， 最終生無可戀。。。。。
其實有時不妨先冷靜下來， 然後專注，一錘定音。找出BUG！！！