selenium集成scrapy

来源：9-4 selenium集成到scrapy中

宝慕林0794768

2019-02-11

selenium集成到scrapy有什么好处

写回答

1回答

bobby

2019-02-12

selenium主要是解决动态网站的抓取，省去了分析前端代码的逻辑，因为随着前端越来越复杂，分析前端的代码也会变得越来越复杂而且多变，用selenium集成到scrapy中第一个就是对于登录逻辑复杂的功能直接用selenium去模拟登录就可以拿到cookie这样就可以直接用scrapy的request去完成后续请求，对于一些页面很复杂的逻辑直接使用selenium去请求就可以直接分析生成后的html这样分析简单

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

selenium集成scrapy

回答 1

scrapy selenium登录

回答 1

selenium模拟微博登录后，对某一个url请求，返回来的source_page仍没有加载script脚本。

回答 1

请求CSD乱码

回答 1

scrapy 集成 selenium

回答 1

打开慕课网App查看更多内容