def __fetch_content(self): response = request.urlopen(

来源：13-12 案例总结

HuffLeo

2017-12-22

def __fetch_content(self):

response = request.urlopen('http://www.lianjia.com/')
htmls = response.read()
htmls = str(htmls,encoding='utf-8')
print(htmls)

老师同样的代码为什么有的网站不能抓取,会报错

报错内容:

urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)>

写回答

4回答

NickChu

2017-12-26

已采纳

遇到了和你类似的问题，查到一个网页解决了这个问题，大致的原因是：Python 升级到 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。
而当目标网站使用的是自签名的证书时就会抛出一个 urllib.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)> 的错误消息。

解决方法是：

context = ssl._create_unverified_context()

r = request.urlopen(Spider.url, context=context)

记得import ssl

原文链接：http://blog.csdn.net/moonhillcity/article/details/52767999

HuffLeo

是的,我也这么解决的,但是反扒技术还是挺重要的,需要更深入的学习,很多网站爬起来不是那么简单.具有很多问题

2017-12-26

共1条回复