老师,我找不到你问问题!qq发你不在线,群里也没人回答! requests库connectionerror。

来源:4-13 本章课后作业

Q小猪2019

2020-06-24

错误1
错误2

图片描述

图片描述

图片描述

问题描述:
这边跑了8个定时任务分别拉取淘宝,京东,拼多多的订单。
拉取完成以后按照500一次分批次post给php接口处理。这边订单量很大,可能一天的有好几w条数据,所有分批次post有很多次。
但是requests在运行一段时间以后,不规律的报上面的错误。
感觉就是http连接超了或者释放了。
请问应该如何处理这个问题。
我能想到的:

  1. header中追加{“Connection”: “close”}。但是觉的不好,这样连接次数太多了。
    除了不保持长连接,应该如何做。或者不保持长连接是不是一定能解决这个问题。
写回答

2回答

bobby

2020-06-27

{“Connection”: “close”} 加了代表数据请求完成以后断开连接 你可以尝试不断开连接试试 不过从这个报错来看 我判断是你的服务器响应不过来了 所以你可以想办法将服务器并发能力提升一下

1
4
bobby
回复
Q小猪2019
如果99%对的 那么一般就不是客户端的问题 而是应该去找服务端的开发人员查日志了
2020-07-01
共4条回复

bobby

2020-06-27

这个报错不是requests的报错 是你请求的api接口返回连接不了 所以你需要看一下服务器是否承受不了 你需要测试你的服务器响应能力

0
0

Python爬虫工程师实战 大数据时代必备

慕课网严选精品教程,高质量内容+服务!

2377 学习 · 1158 问题

查看课程