在redis分布式基础上如何加入多进程?
来源:10-9 集成bloomfilter到scrapy-redis中
asdhjhg
2017-07-28
在redis分布式基础上如何加入多进程?网上看了很多教程还是没弄会,怎么破?
写回答
1回答
-
bobby
2017-07-28
http://blog.csdn.net/loguat/article/details/73550780
你可以看看这篇文章, 但是我是不建议你去用多进程实现的, 第一对于网络io这种操作, 多进程几乎没有任何性能上的提升, 因为性能都在网口上, 和几乎没有任何关系, 多进程只会增加你的代码复杂度, 第二 当时调用crawl spider zhihu 启动一个spider的时候 就已经是一个进程了, 你多启动几次就是多少个进程了
022017-07-31
相似问题