bobby 老师 scrapy 怎么实现高并发爬虫

首页课程实战体系课手记专栏慕课教程

bobby 老师 scrapy 怎么实现高并发爬虫

来源：8-1 爬虫和反爬的对抗过程以及策略

慕标7125297

2019-05-08

写回答

1回答

bobby

bobby

2019-05-10

scrapy本身底层是twisted，这个是异步io的框架，所以并发是很高的，只要注意在scrapy中不要调用阻塞的方法就行了，这样的话并发是比多线程和多进程高的

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

scrapyd部署scrapy后无法关闭爬虫

回答 1

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

如何实现提供restful接口，并实现增量爬取

回答 1

scrapy如何一键启动所有爬虫？

回答 1

打开慕课网App查看更多内容