5回答

慕雪8012440

2018-02-26

这样改即可。

1

0

SingleVergil

提问者

2017-09-14

好多IP都是不可用的   这是正常的吗 ？   我都怀疑是不是  这块代码写的有问题 

http_url = 'http://www.baidu.com/'  # https????????????  http?https?
proxy_url = 'http://{0}:{1}'.format(proxy_ip, proxy_ip_port)   # https://{0}:{1}
try{
   proxy_dict = {
       'http': proxy_url,
   }
   response = requests.get(http_url, proxies=proxy_dict)
   print('请求百度验证IP返回成功')

except .....

0

1

bobby

这种免费的ip代理 用的人太多 确实不稳定， 你可以搜索一下收费的代理试试，代码是没有问题的， 只是有些网站需要使用https代理

2017-09-15

共1条回复

SingleVergil

提问者

2017-09-14

视频中 def judge_ip(self, proxy_ip, proxy_ip_port):
   #判断ip是否可用  访问百度查看IP是否可用
   http_url = 'http://www.baidu.com/'  # http
   proxy_url = 'http://{0}:{1}'.format(proxy_ip, proxy_ip_port)

结果验证了好多都是失败的  是不是我写的代码有问题

最后改成 

def judge_ip(self, proxy_ip, proxy_ip_port):
   http_url = 'https://www.baidu.com/'  # http
   proxy_url = 'https://{0}:{1}'.format(proxy_ip, proxy_ip_port)

然后随机验证了几个都是  返回200  debug没有exception

我现在有点晕了：就是到底是验证某个IP就应该不可用，还是说我的代码有我问题 嗯

0

1

bobby

百度已经不支持http访问了 改成https访问就行了

2017-09-15

共1条回复

SingleVergil

提问者

2017-09-14

为什么 http_url = 'http://www.baidu.com/'
改成  http_url = 'https://www.baidu.com/'

http--->https 就正常了  scrap 是不是http  https 都支持？  这里有点疑问  老师！

0

1

SingleVergil

看你的视频 http 是正常的 有些疑问！我这里每个入库的IP判断都是 exception 显示 连接拒绝，改成https就正常了 ！

2017-09-14

共1条回复

SingleVergil

提问者

2017-09-14

为什么 http_url = 'http://www.baidu.com/'
改成  http_url = 'https://www.baidu.com/'

http--->https 就正常了  scrap 是不是http  https 都支持？  这里有点疑问  老师！

0

1

bobby

scrapy是http和https都支持的 这个你不用担心

2017-09-15

共1条回复