scrapy shell 请求被阻止

来源：7-6 item loader方式解析职位

燚燚生辉

2019-12-02

图片描述
老师，scrapy shell 请求url被阻止应该怎样解决？

写回答

2回答

bobby

2019-12-06

拉钩检查了user-agent 可以这样 scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/60.0" https://www.lagou.com/jobs/6603524.html

bobby

燚燚生辉

好的，

2019-12-09

共2条回复

bobby

2019-12-04

url发一下我这边试试看我需要知道是因为没有添加ua导致的还是因为ip地址被禁止了

燚燚生辉

https://www.lagou.com/jobs/6603524.html

2019-12-04

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

请求CSD乱码

回答 1

在使用scrapy shell调试爬取伯乐在线代码的时候 response.css(...)出不来东西

回答 1

老师，scrapy使用代理api

回答 2

scrapy shell 跳转到另外的页面了

回答 1

scrapy限速配置

回答 2

打开慕课网App查看更多内容