实时调用 scrapy 像 ajax那样返回一个结果

首页课程实战体系课手记专栏慕课教程

实时调用 scrapy 像 ajax那样返回一个结果

来源：17-1 课程总结

慕勒20277

2018-01-03

项目需求：
写一个接口，既要定时爬取消息, 又要实时的根据一个请求，抓取特定url信息并实时返回。

以前用django写的实时的部分，没用scrapy，现在要升级嘛，同时是需要 scrapy 的扩展功能添加那些ip池等等的功能，暂时想到的方法就是起一个django 监听需求，然后向scrapyd 发送启动scrapy并将结果存到临时表，不断查询是否finished 然后再将结果从临时表取出，返回给前台。

希望得到老师的解答

写回答

1回答

bobby

bobby

2018-01-08

用redis啊两个spider一个负责定时读取一个redis队列另一个读取另一个队列就行了

0

2

bobby

回复

慕勒20277

异步框架要做到这个有点难，你可以考虑用celery+requests模式实现这个理解比较容易，用scrapy+django两者通信需要自己去做

2018-01-11

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

怎样实现scrapy实时爬取,并将结果返回

回答 1

scrapy用yield返回

回答 2

scrapy如何实时接收url实时返回结果

回答 1

老师，scrapy使用代理api

回答 2

在使用scrapy shell调试爬取伯乐在线代码的时候 response.css(...)出不来东西

回答 1

打开慕课网App查看更多内容