老师，您好！在使用 meta 属性或request回调函数是否容易产生内存泄漏？该怎么解决？

首页课程实战体系课手记专栏慕课教程

老师，您好！在使用 meta 属性或request回调函数是否容易产生内存泄漏？该怎么解决？

来源：7-7 职位数据入库-1

ljz2018

2017-11-06

我在服务器上挂了一下，跑个几小时，内存就飚到很高，然后爬虫就会停掉，怎么避免内存泄漏呢？

写回答

1回答

bobby

bobby

2017-11-09

应该不会你有没有采用scrapy-redis 是不是redis占用内存了？ scrapy本身占用内存不多

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

一直搞不懂request里的meta是什么

回答 1

请问CrawlSpider中可以使用request的meta来传递参数么

回答 1

yield 和 return的问题

回答 1

使用cookies登录

回答 2

scrapy-redis怎么在外部进程yield到某一spider的Request中?

回答 1

打开慕课网App查看更多内容