拉勾网只能爬取到 url url_object_id crawl

拉勾网只能爬取到 url url_object_id crawl_time 三个字段的值

来源：7-7 职位数据入库-1

水镜云墨

2020-09-10

图片描述
如图，爬取时得到了 200 的状态码，

但是 debug 时显示 title salary 都是空 list

最终 itemloader 里只有 url url_object_id crawl_time 三个值。我的css是直接复制了git代码的。请问老师这个该怎么解决呢？

写回答

1回答

bobby

2020-09-12

已采纳

拉勾网反爬了你先看看本章最后一个小节解决被反爬的问题

水镜云墨

谢谢！

2020-09-12

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 2

回答 1

回答 2