报错:item['salary'] = infos[0] IndexError: list index out of range

来源:7-7 职位数据入库-1

慕尼黑9337001

2020-05-26

infos = response.xpath(’//dd[@class=“job_request”]/h3/span/text()’).getall()
infos = [info.replace(’/’, ‘’).strip() for info in infos]
item[‘salary’] = infos[0]
item[‘job_city’] = infos[1]
item[‘work_years’] = infos[2]
item[‘degree_need’] = infos[3]
item[‘job_type’] = infos[4]
item[‘tags’] = response.xpath(’//dd[@class=“job_request”]/ul/li/text()’).getall() if response.xpath(
’//dd[@class=“job_request”]/ul/li/text()’).getall() else []

写回答

1回答

慕尼黑9337001

提问者

2020-05-26

老师,我觉得这个应该是被反爬了,所以导致获取不到数据。

0
2
bobby
回复
慕尼黑9337001
可以尝试ip代理
2020-05-27
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程