scrapy splash 能模拟浏览器生成cookie么

来源:17-1 课程总结

慕尼黑530398

2018-09-13

老师好,我最近在爬大众点评,它的反爬方式是前端通过运行一段js代码给浏览器设置一段cookie。如果下次访问cookie不对的话拒绝访问,破解js加密比较复杂,因为是在linux上跑的,selenium在linux不支持ip代理, 我想问的是splash能否像selenium一样模拟浏览器生成cookie带给下一次访问。

写回答

1回答

bobby

2018-09-17

chrome driver支持headless模式, 你可以启动多个chrome 不同的chrome设置不同的ip代理 scrapy-splash也可以动态设置ip https://www.jianshu.com/p/7ec32ee1e9d4?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 你可以参考这个

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程