老师,如果要在linux纯命令行上运行爬虫,直接把window上写好的代码上传过去行不行

首页课程实战体系课手记专栏慕课教程

老师,如果要在linux纯命令行上运行爬虫,直接把window上写好的代码上传过去行不行

来源：7-4 Rule和LinkExtractor使用

慕的地7986880

2017-07-11

我一直在window上写python程序,但是如果运行redis分布式的话,买几台云服务器比较方便,因为对linux使用不是很熟悉,想问一下,直接把window上写好的python代码拷贝到对应的文件,行不行,还有就是老师有没有redis分布式的实例程序啊,现在整体概念有了,但是不知道怎么操作,想看看一个具体的代码

写回答

1回答

bobby

bobby

2017-07-12

当然可以了， python是跨平台的，直接拷贝上去就可以运行了。

scrapy-redis分布式实例其实已经非常简单了，直接部署好redis，然后将scrapy-redis的项目中redis的连接设置好，然后直接启动就行了，当然在开始之前要往每个网站的start_urls push一些连接，然后就可以随便启动spider了

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

redis分布式,老师没有演示,有点不懂,到底用几台机器?在window上运行python,还是到linux上运行python呢?

回答 1

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

老师关于分布式爬虫部署还是不太明白

回答 1

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

回答 2

打开慕课网App查看更多内容