在6.5 item loader方式解析职位中,我采用scrapy shell + 拉勾职位详情但是获取不到html显示的是

来源:7-4 Rule和LinkExtractor使用

qq_小青年_18

2018-03-04

<html><head><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta name="renderer" content="webkit"><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><script type="text/javascript" src="https://www.lagou.com/utrack/trackMid.js?version=1.0.0.3&t=1520126837"></script><body><input type="hidden" id="KEY" value="mSMdsvvtqmK6N8kiJgUdGwDi87BS7uTPGuqFsn8J7BFCI"/><script type="text/javascript">JTwDHmXf();</script>页面加载中...<script type="text/javascript" src="https://www.lagou.com/upload/oss.js"></script></body></html>

写回答

1回答

bobby

2018-03-05

这个是动态加载的页面, scrapy shell是不行的

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程