老师，scrapy适合爬取不需要登录的论坛型网站，如果爬取需要登录的网站用什么架构模式去做爬虫呢？

首页课程实战体系课手记专栏慕课教程

老师，scrapy适合爬取不需要登录的论坛型网站，如果爬取需要登录的网站用什么架构模式去做爬虫呢？

来源：12-5 scrapy集成随机useragent和ip代理

拥抱开源

2020-07-19

写回答

1回答

bobby

bobby

2020-07-20

都能做啊我的另一门课程中就是讲解了如何将selenium集成到scrapy中完成登录的逻辑

0

2

bobby

回复

慕村翔m

页面本身解析结构变了这个换一下解析方式就行了。难的是反爬方式变了

2021-11-10

共2条回复

Python爬虫工程师实战大数据时代必备

慕课网严选精品教程，高质量内容+服务！

2393 学习 · 1158 问题

相似问题

如何做好网络爬虫工程师

回答 2

关于爬虫发展前景

回答 1

老师下一门的Python爬虫系列实战课程是《高级爬虫工程师》？

回答 1

获取cookie 不是需要先登录吗？

回答 1

遇到http2的网站要怎么爬取

回答 1

打开慕课网App查看更多内容