老师请问这个课程可以满足我的毕设吗

来源:3-2 正则表达式-1

慕仰7968168

2020-03-26

老师好
我的毕设要求是设计并实现一个基于Scrapy和Elasticsearch的职位搜索引擎。利用爬虫框架Scrapy基于redis数据库的组件scrapy-redis从不同求职网站(至少三个)爬取职位信息存储到Elasticsearch中,并提供Web界面,保证用户输入关键字时有相关提示;在搜索职位时可以尽快显示出相关职位的信息;在选择某个职位时可以跳转到该官方网站中查看详情。

写回答

1回答

bobby

2020-03-28

可以的。课程的搜索网站的功能差不多就是这样的

0
4
bobby
回复
慕仰7968168
不要用crawlspider做分布式爬虫, crawlspider限制条件太多, 我一般都不用crawlspider,因为现在几乎很少有做全栈暴力抓取的 crawlspider讲解的主要目的是给大家分析源码, 而且scrapy-redis已经提供了一个RedisCrawlSpider可以供继承
2020-03-31
共4条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

查看课程