如果要爬多个不同的网站，只能每个网站都写一个spider吗，有没有相对简单点的方式
来源：10-1 分布式爬虫要点
0932鹏
2019-12-05
写回答
1回答
-
一个网站一个spider挺简单的啊，为什么要都写到一个spider中去呢？ 而且一个spider中可以设置域名，你可以在start_urls中配置多个网站的url也没有问题啊 但是allow_domains你要设置一下
012019-12-07
相似问题
如果要爬多个不同的网站，只能每个网站都写一个spider吗，有没有相对简单点的方式
来源：10-1 分布式爬虫要点
0932鹏
2019-12-05
1回答
一个网站一个spider挺简单的啊，为什么要都写到一个spider中去呢？ 而且一个spider中可以设置域名，你可以在start_urls中配置多个网站的url也没有问题啊 但是allow_domains你要设置一下
相似问题