使用免费ip虽然可以爬到数据, 但是有一些字段是None, 可是刚开始的时候是正常的

来源：8-7 scrapy实现ip代理池 - 2

阜東原

2019-12-19

请 bobby老师帮我做一下code review.
爬取一段时间后刚开始

写回答

1回答

阜東原

提问者

2019-12-19

应该是使用代理ip还是被反爬. 看那个url字段就不太对.

bobby

很多公司反爬的策略比较多，比如有些直接不给你返回，有些是给你返回空数据，有些更过分的是甚至给你返回假数据，如果遇到这种你可以尝试一下收费的ip代理，比如阿布云，很多免费的ip代理容易被识别出来

2019-12-20

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 5

回答 1

回答 1

回答 2