职位爬取,直接在列表页面爬取,该怎么循环?
来源:7-1 数据表结构设计
starkpan
2018-09-15
老师,拉勾网列表页面已经有了我所需要爬取的所有的字段信息,这样就不用在点击进入每一个网页进行爬取了。
不用item的时候,我是这样循环的,取值都没有问题。
job_divs = response.css(".sojob-item-main");
for job_div in job_divs:
job_detail_url = job_div.css(".job-info h3 a::attr(href)").extract()[0]
job_name = job_div.css(".job-info h3::attr(title)").extract()[0]
但是如果用item,这个方法该怎么调用呢?
for job_div in divs
调用方法,该如何调用?
列表页面:
job1
job2
job3
····
写回答
1回答
-
starkpan
提问者
2018-09-15
用了一个折中的方法,没有用itemloader 而是直接返回的item就没有问题了。itemloader有循环可以用么,老师?
022018-09-18
相似问题