配置的问题,困扰

来源:14-3 elasticsearch-head插件以及kibana的安装

0932鹏

2019-12-17

[scrapy.downloadermiddlewares.retry] DEBUG: Retrying <POST http://dw.chinanews.com/chinanews/getAreaNewList?pageSize=15&dtp=10&pageIndex=1&cname=beijing&language=chs&version_chinanews=6.6.0&deviceId_chinanews=866817039459854&platform_chinanews=android&source=chinanews> (failed 1 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [(‘SSL routines’, ‘ssl3_get_record’, ‘wrong version number’)]>]
这是什么原因呢,同样的代码在我的机器上就没问题,新配了一台就一直出现这个问题,我卸载重装也没啥用

写回答

3回答

0932鹏

提问者

2019-12-27

scraped 1910 items (at 1 items/min)  为什么我请求的数量很大,但是写入数据库的数量和我下载的看起来相差很大呢? //img.mukewang.com/szimg/5e054ff409fb550b10590240.jpg

0
1
bobby
数据库写入有没有报错异常信息的?
2019-12-29
共1条回复

0932鹏

提问者

2019-12-18

我电脑是win10 64位的

0
3
bobby
回复
0932鹏
只要在scrapy的settings中配置了cookie_enabled=true的话那么只要第一个request中你登录之后设置了cookie个第一个request那么后续所有的request都会被scrapy默认加上之前request的cookie,这就和request的session一样了
2019-12-22
共3条回复

bobby

2019-12-18

种类报错是openssl的错误 你是windows还是linux环境?

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程