请问老师scrapyd启动爬虫的方式可以改变吗?

来源:16-1 scrapyd部署scrapy项目

小鱼鱼0430

2018-09-11

问题:课程中讲的是这样启动scrapyd上的爬虫

curl http://localhost:6800/schedule.json -d project=default -d spider=somespider

但是我的scrapy爬虫是通过自己写的脚本文件启动的 ,如图:
图片描述

我启动爬虫只需要运行main.py就可以了,
请问老师:我怎么能够用scrapyd执行我的main.py文件达到启动爬虫的目的?

写回答

1回答

bobby

2018-09-12

scrapyd还没有指定执行命令的用法,不过你的main里面也是执行的crawl命令啊。两者完全一样啊 为什么一定要执行main文件呢

0
3
bobby
回复
小鱼鱼0430
目前scrapyd还不支持这样做
2018-09-12
共3条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程