无法爬取拉勾职位详情页

来源:7-8 职位信息入库-2

慕数据5082935

2022-05-11

boddy老师,很急很急,就是我用您的源代码,拉勾爬取职位信息,这里我调试输出的职位详情页urls为空,然后报错是这样子的,ip代理我用的是付费的ip代理。
是能进去职位列表页面,返回200.
但进不去职位详情页,获取职位详情页的url列表为空,我在网站前端html里找不到url,估计是动态加载的,那这种情况我要怎么获取到职位详情页的url阿
图片描述
图片描述
图片描述

写回答

1回答

bobby

2022-05-14

拉勾网反爬很变态, 是动态的cookie最好是使用selenium抓取

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程