我做python爬虫5个月了对scrapy-redis也了解只是不是很熟练课程内容对于我这样有用吗?

有用的,本课程不只是简单介绍scrapy和scrapy-redis的使用,更多的时候会分析源码,特别是scray-redis的源码会完整的分析,这样对于爬虫有定制性需求的话会有很大帮助,课程的知识点几乎覆盖了scray的所有功能

1

请问现在买了课程之后,有问题在提问区提问还有老师给解答吗

亲,您好~给呢,课程会一直维护更新,也不用担心技术版本迭代。祝您学习愉快~

0

这些课有课后作业和知识点总结吗,还是全是视频

亲,您好~您好课程属于视频教程,会带着学生一起爬取网站数据,课程本身就是一个大的实战项目(大作业),课程设有问答区,有疑问可以在问答区随时提问老师会帮你解惑呢,加油!祝您学习愉快~

0

使用python3.5= =scrapy只支持2.7的吧?

亲,scrapy已经支持python3了呢,祝学习愉快,加油哦!

14

代码量多少?可以做毕业设计吗?

亲,你好。代码量比较大 做毕业设计没问题。之前有学员拿这个当毕业设计做过的。祝亲学习愉快!

11

请问这门课程认真学完并掌握的话,能达到初级python爬虫工程师的求职技能要求吗?

亲,完全掌握本课程当然可以到达初级爬虫工程师的水平, 但是要明确的是爬虫工程师是多种技能的综合体,包括基本的html,js和css基础, 多线程,异步io、正则表达式、redis等等知识。这些知识也只是属于爬虫中最基础的部分, 想要构建一个符合自己要求的爬虫,除了这些知识之外最重要的是要有很高的代码设计能力以及快速的学习能力,因为当我们为了解决爬虫中各种问题去写各种代码之后,代码庞大之后很容易变的很糟糕甚至无法维护。 scrapy就是一款设计的比较精良的爬虫框架, 本课程的目的是让大家彻底弄清楚scrapy以及scrapy-redis分布式爬虫,让大家知道爬虫需要解决的大部分问题以及解决办法,通过对scrapy的理解可以知道自己去设计一个爬虫时候应该怎么样去写代码才具有通用性。大家随着课程的思路就知道学习爬虫应该要学习些什么,然后自己一步步去深入学习以及去完成各个知识点的深入就会达到中级和高级的阶段。祝学习愉快,同学加油哦!

9

您好,请问学完本课程会掌握怎样将爬取下来的信息自动放入数据库吗?望尽快解答 谢谢

亲,如果你说的自动保存就是什么代码都不写或者不做任何配置就把数据保存下来,这种情况是没有系统或者框架能满足需求, 一般都是要自己去写代码或者做一定的配置才能将数据保存到数据库中, scrapy对数据保存的设计还是很好的, 我们只需要写少量的代码以及不会侵入到我们的爬虫逻辑中, 课程中详细的讲解了如何通过scrapy将数据保存到mysql关系数据库以及elasticsearch 非关系数据库中, 数据保存的逻辑不会侵入到我们的爬取逻辑中,代码很好的实现了分离而且可以配置性很高。祝亲学习愉快,加油!

6

讲师,此教程在以后有用的吗?比如目标网站做出了更高级的反爬技术,或者把整个架构改变,本教程是否有效

亲,其实爬虫和反爬虫已经斗争很多年了 ,技术上反爬虫的策略就那么多。 因为随着反爬虫的成本越来越高 ,到后期很多网站会放弃继续研究反爬虫技术,而且理论上反爬虫是不可能战胜爬虫的,本课程所涉及的内容对绝大多数的反爬虫技术是有效的,祝学习愉快,加油!

5

学完本课程可以了解爆文采集的原理吗,我想学习制作爆文采集软件,老师有什么推荐的课程吗

亲,本课通过scrapy来讲解一个采集器需要解决的问题以及在开发采集器的过程中scrapy是如何来完成的, 通过学习本课程可以根据自己的需求去开发自己的采集器, 课程结合使用以及源码分析的方式来给大家讲解原理, 所以通过学习本课程再结合自己的需求去制作采集器是没有问题的,祝学习愉快,加油!

3

老师,scrapy中间件的具体实现以及django中的前端页面编写这块,老师有详细讲解吗

亲,您好~scrapy的中间件有详细讲解,但是django的前端页面是写好的 直接使用就行了,本课程的核心是scrapy。祝您学习愉快~

2

涉及高并发吗?我没有碰过twisted。

亲,您好~scrapy本身就是基于高并发的爬虫框架,只要按照课程中的编码 就是并发的爬虫祝您学习愉快~

2

没有django基础可以学吗?还有redis在这里扮演什么角色,队列吗?

亲,没有django基础可以学, 课程中对django的应用比较简单, redis主要用于分布式爬虫中保存分布式的数据, 比如url队列, 去重的信息等等,祝学习愉快,加油!

2

将项目进行改进,用于商业或者毕业设计存不存在抄袭行为?如果存在如何获得授权?

亲,您好~可以借鉴,用自己所学开发自己的作品呢。祝您学习愉快~

1

目前课程中的例子还有效吗

亲,您好~有效的,课程将长期维护!祝您学习愉快~

1

现在学还有用吗?买了之后有老师的联系方式吗?

亲,您好~现在学当然有用,技术现在一点都不过时。买了之后课程内容具体有问题,可以在课程问答区,或者课程qq群,咨询老师或同学。祝您学习愉快~

1
已经到底部,没有更多内容了