crawlspider模拟登陆拉钩问题

来源:7-4 Rule和LinkExtractor使用

慕圣1554054

2017-10-12

我用start_requests函数模拟登陆,获取到cookie后,怎么调用rule定义的需要爬取的url。我试了用start_urls里的url后就只能爬取到www.lagou的主页,并没有爬取到rules定义的zhaopin、jobs的一些页面。

写回答

3回答

精慕门5384516

2017-10-12

遇到同样的问题

1
1
bobby
亲你的解决了没有
2017-10-16
共1条回复

慕圣1554054

提问者

2017-10-17

//img1.sycdn.imooc.com/szimg/59e558dd0001cb0014930848.jpg这个是我,代码

0
3
bobby
回复
慕圣1554054
你上次给我的代码 我修改后可以运行, 你发个qq消息 我给你看看吧
2017-10-23
共3条回复

bobby

2017-10-16

亲你的解决了没有

0
1
慕圣1554054
老师,还没有解决掉。代码图发你看看
2017-10-17
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程