scrapy如何实时接收url实时返回结果

来源：15-1 es完成搜索建议-搜索建议字段保存 - 1

changezyc

2018-05-21

老师你好，经过学习，认识到scrapy好像都是后台进行目标站点预先爬取大量数据，并且存到数据库之后，前端再调用数据库的。

有没有什么思路是实现：用户大量，并且各用户可能随时传入一个接口url调用数据，url可能重复，但调取的数据量不算大，希望爬虫针对每个用户传入的url，实时到接口爬取相应数据并返回。有何种办法或者是否有相关的项目案例可参考？

写回答

1回答

bobby

2018-05-22

你是想根据用户的请求实时抓取吧，这种情况除非你有强大的后台以及强大的ip资源，不然你做不到的或者你购买ip资源服务

bobby

changezyc

当然有延迟，但是如果你的资源没有问题延迟也就请求url的时间也就几秒还是可以接受的吧

2018-05-24

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2