scrapy能运行多个爬虫吗？
来源：14-3 pymysql的简单使用
慕粉3167453
2019-04-04
老师我们公司有个爬虫项目，需要我爬取市面上20多个手机贷款app信息，前期我是每个app软件都单独写个爬虫文件进行爬取，一共写了20多个爬虫文件进行爬取数据，后面我在想能不能用scrapy写这些爬虫文件进行统一管理统一爬取数据，老师有没有什么好的思路或者方法，麻烦给我指点一下。
写回答
2回答
-
bobby
2019-04-07
scrapy本身也是每个爬虫单独有运行一个命令的，scrapyd可以配置远程命令去启动和管理多个爬虫，github上也有开源项目 scrapydart
00 -
Ethreal
2019-04-04
可以，你只要不同的spider就可以了， 同时跑的话，可能要注意下pipline的问题，这个课程都会讲到，主要熟悉scrapy 很容易写出来的
022019-04-07
相似问题