selenium 集成到scripy后，点击翻页问题

来源：9-4 selenium集成到scrapy中

haoliyou

2018-10-18

我parse里能正常采集值存了，原本的在parse里判断是否有下一页标签，再交个Request，callback=parse.,现在需要selenium来点击下一页按钮，怎么做呢？
我这样没成功图片描述
在browser.click()这就报错停了

写回答

4回答

haoliyou

提问者

2018-10-18

//img.mukewang.com/szimg/5bc895d70001b7c713010463.jpg

改成xpath,后能翻到第二页，就还是报过滤重复就听了

bobby

haoliyou

你加我qq 442421039 我看看

2018-10-23

共5条回复

haoliyou

提问者

2018-10-18

//img.mukewang.com/szimg/5bc88eae0001bd7017750626.jpg

日志显示是访问重复过滤了，这个是post动态的不知道什么办法了

haoliyou

提问者

2018-10-18

老师，http://hotel.qunar.com/city/yaan/ 这个页面有下拉又有js的下一页点击，怎么弄啊，试过css样式没有错，事件可能作用在li上，也可能在a上，都试过没成功。

haoliyou

提问者

2018-10-18

//img.mukewang.com/szimg/5bc881400001747811280438.jpg

找了api,这样还是不行，能进if,click就报错死了

bobby

haoliyou

你加我qq 442421039

2018-10-19

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

老师，有些网站下一页的url是js生成的 selenium直接点击报错

回答 1

selenium 模拟点击成空白问题

回答 2

selenium集成scrapy

回答 1

selenium集成scrapy

回答 1

scrapy+selenium滚动翻页

回答 1

打开慕课网App查看更多内容