scrapy爬取拉勾网爬取的所有job_city字段值都是同一个，怎么回事呢？

首页课程实战体系课手记专栏慕课教程

scrapy爬取拉勾网爬取的所有job_city字段值都是同一个，怎么回事呢？

来源：7-8 职位信息入库-2

skylake_core

2019-04-18

图片描述爬取过程302问题还是会出现…，怎么解决？

写回答

1回答

skylake_core

skylake_core

提问者

2019-04-20

要选择全国站，自己看错了......老师你能帮我解决302问题吗

0

1

bobby

拉钩出现了302 最好禁用cookie，同时使用ip代理，然后不要使用免费的ip代理，很容易过时，给你推荐一个收费的ip代理 “阿布云”

2019-04-20

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

老师现在拉勾网的反爬策略是什么呢？

回答 1

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

回答 2

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

爬取拉钩要登录

回答 2

只爬取，不处理

回答 3

打开慕课网App查看更多内容