老师您好, scrapy设置代理后访问超时

来源：8-5 通过downloadmiddleware随机更换user-agent - 2

weibo_飞的猪头_0

2018-04-02

class RandomUserAgentProxyMiddleware(object):
    def __init__(self):
        self.ua = UserAgent()
        self.get_ip = GetIP()

    def process_request(self, request, spider):
        request.meta['proxy'] = 'https://59.62.40.50:48888'
        request.headers.setdefault('User-Agent', self.ua.random)

使用这个代理之后一直超时, 我直接使用requests没有问题

proxies = {
    'http': 'https://59.62.40.50:48888'
}
result = requests.get(quner_url, params=params, headers=headers, proxies=proxies, verify=False)

写回答

3回答

bobby

2018-04-04

你这里所说的request是指的scrapy中request还是requests？

bobby

weibo_飞的猪头_0

我看了一下官方文档确实改名称了，应该是scrapy版本的问题我需要确定一下

2018-04-10

共2条回复

weibo_飞的猪头_0

提问者

2018-04-03

这个不是收费代理的问题, requests直接使用是可以的, 我看看request代理源码, 然后middlewares改成request.meta['proxies']就可以了, 在网上找了看, 改成request.meta['http_proxy']也可以请求成功

慕粉4381165

帮了大忙了感谢！

2019-06-20

共1条回复

bobby

2018-04-03

网上的免费代理不稳定，你可以考虑使用收费代理

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

老师您好，我想问一下关于scrapy中的ip代理池问题

回答 1

selenium集成到scrapy，代码执行顺序问题

回答 1

redis-scrapy 分布式爬虫之缓存问题

回答 3

多页面爬取时，如何设置阈值，超过后先进行下载？

回答 1

老师，scrapy使用代理api

回答 2

打开慕课网App查看更多内容