OSError("(10054, 'WSAECONNRESET')")的奇怪问题

来源:16-1 scrapyd部署scrapy项目

sjdgbhb

2019-09-23

老师,我在爬一个赛事网站,里面的比赛数据实时更新,我能把网站的赛事数据爬取下来,但是,当我循环启动爬虫以获取实时的赛事数据时,都会正常的循环几次,但之后就会出现很多奇怪问题:
1、卡在某个请求中(具体情况是程序不报错,不停止,不再运行后面的代码,日志也是卡在那个地方)
2、报错requests.exceptions.ConnectionError: (‘Connection aborted.’, OSError("(10054, ‘WSAECONNRESET’)"))
图片描述
图片描述
图片描述
3、requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’))
4、requests.exceptions.SSLError: HTTPSConnectionPool(host=‘www.jjblove.com’, port=443): Max retries exceeded with url: /gameAjax/gameList?t=0.13810945741215197&nav_code=normal&game_type_id=2&date=1569168000&page=2 (Caused by SSLError(SSLError(“bad handshake: SysCallError(10054, ‘WSAECONNRESET’)”)))
图片描述
图片描述
应该不是被封了,我每次用浏览器打开怎么是正常的

写回答

1回答

bobby

2019-09-26

0
1
sjdgbhb
那个帖子没有解决问题,虽然爬虫程序写的是死循环,但是隔了5s的
2019-09-28
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5818 学习 · 6291 问题

查看课程