scrapy如何实时接收url实时返回结果

来源：17-1 课程总结

changezyc

2018-05-21

老师你好，经过学习，认识到scrapy好像都是后台进行目标站点预先爬取大量数据，并且存到数据库之后，前端再调用数据库的。

有没有什么思路是实现：用户大量，并且各用户可能随时传入一个接口url调用数据，url可能重复，但调取的数据量不算大，希望爬虫针对每个用户传入的url，实时到接口爬取相应数据并返回。有何种办法或者是否有相关的项目案例可参考？

比如当前有100个用户，同时向爬虫传送url，url可能重复或不重复，他们都希望即时返回爬取结果，有没有方法实现呢？多线程或多进程可以吗？有url就处理，爬完就停掉？

写回答

1回答

bobby

2018-05-22

你这个用协程就能满足但是你的ip资源是个问题比如多个用户都要同时获取同一个网站的url 你会被封ip的

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2