关于scrapy项目创建的问题

来源：4-2 scrapy安装和配置

慕后端4419857

2020-11-23

老师，你好！
假如我要爬取10个网站的数据。
我可以在一个scrapy项目中genspider 10次，但是数量越多，维护起来就越麻烦。
我也可以startproject 10次。
请问应该您一般采用哪种方式呢？

图片描述

写回答

1回答

bobby

2020-11-24

直接写脚本啊何必手动运行

bobby

慕后端4419857

如果是这样的话，建议使用多个spider文件，课程中讲解过的如何为每个spider定制自己使用的middleware而不是去使用公用的

2020-11-26

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

相似问题

回答 1

回答 3

回答 1

回答 1

回答 2