scrapy splash 能模拟浏览器生成cookie么
来源:17-1 课程总结
慕尼黑530398
2018-09-13
老师好,我最近在爬大众点评,它的反爬方式是前端通过运行一段js代码给浏览器设置一段cookie。如果下次访问cookie不对的话拒绝访问,破解js加密比较复杂,因为是在linux上跑的,selenium在linux不支持ip代理, 我想问的是splash能否像selenium一样模拟浏览器生成cookie带给下一次访问。
写回答
1回答
-
bobby
2018-09-17
chrome driver支持headless模式, 你可以启动多个chrome 不同的chrome设置不同的ip代理 scrapy-splash也可以动态设置ip https://www.jianshu.com/p/7ec32ee1e9d4?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 你可以参考这个
00
相似问题