职位爬取,直接在列表页面爬取,该怎么循环?

来源:7-1 数据表结构设计

starkpan

2018-09-15

老师,拉勾网列表页面已经有了我所需要爬取的所有的字段信息,这样就不用在点击进入每一个网页进行爬取了。
不用item的时候,我是这样循环的,取值都没有问题。
job_divs = response.css(".sojob-item-main");
for job_div in job_divs:
job_detail_url = job_div.css(".job-info h3 a::attr(href)").extract()[0]
job_name = job_div.css(".job-info h3::attr(title)").extract()[0]

但是如果用item,这个方法该怎么调用呢?
for job_div in divs
调用方法,该如何调用?

列表页面:
job1
job2
job3
····

写回答

1回答

starkpan

提问者

2018-09-15

用了一个折中的方法,没有用itemloader 而是直接返回的item就没有问题了。itemloader有循环可以用么,老师?

0
2
starkpan
回复
bobby
好的,谢谢老师。
2018-09-18
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程