Scrapy是不是会预读一次目标网站

来源：10-4 scrapy-redis编写分布式爬虫代码

弗兰克的IT生活

2021-03-10

目前看日志，没有进入实际爬取逻辑 parse（）内，就提示403，是不是框架会先请求一下要爬取的网站，然后就被墙了？

有的网站相同代理请求第二次就进反爬了，如果是这样的话，怎么屏蔽预请求？？

写回答

2回答

弗兰克的IT生活

提问者

2021-03-10

[scrapy.core.engine] DEBUG: Crawled (200)

就是这行话，不知道怎么屏蔽掉

bobby

弗兰克的IT生活

好的。

2021-03-15

共8条回复

弗兰克的IT生活

提问者

2021-03-10

就是控制台显示，第一次200，第二次就403了～～～

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 3