scrapy 怎么设置TCP超时时间

来源：1-4 【讨论题】：爬虫工程师该何去何从？

慕慕7513118

2022-05-16

Retrying <GET https://chemweb.tongji.edu.cn/kxyj1/kyjz.htm> (failed 1 times): TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败

对方网站服务器反应慢，用requests 需要20秒才返回。 scrapy 设置 DOWNLOAD_TIMEOUT 没用啊。

写回答

1回答

小布_老师

2022-05-19

TCP链接默认超时是180秒，20秒默认是没问题的

检查你的项目设置，以及网络和服务器，是不是被服务器拒绝了

Python高级爬虫实战-系统掌握破解反爬技能挑战高薪

加密破解、逆向重构、分布式框架及海量存储方案

494 学习 · 105 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1