部署爬虫中cancel不起作用

来源：16-1 scrapyd部署scrapy项目

德音不忘穆如清风

2017-05-17

curl http://localhost:6800/cancel.json -d project=ContactsSpider -d job=042f05903ac211e7b8c740b89afa47e8

{"status": "ok", "node_name": "dylaptop", "prevstate": "running"}

但是取消不掉爬虫的运行，chrome浏览器也仍旧打开着（我的爬虫是带selenium的，会随爬虫的退出而关闭），刷新http://127.0.0.1:6800/jobs中该Job继续运行时间继续增加，没有finish时间。

再取消一次就出错了。

curl http://localhost:6800/cancel.json -d project=ContactsSpider -d job=042f05903ac211e7b8c740b89afa47e8

{"status": "error", "node_name": "dylaptop", "message": ""}

怎样在部署后让爬虫可以停止呢？

求各位解答，谢谢！

写回答

2回答

bobby

2017-05-18

已采纳

你先试试不加入selenium 然后再取消试试呢，先排查是否是因为selenium导致不能停止的

德音不忘穆如清风

非常感谢！

2017-05-21

共3条回复

德音不忘穆如清风

提问者

2017-05-18

补充：有selenium部署的时候等全部运行完爬虫自己停下，是可以正常关闭的。

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1