爬虫爬不到数据
来源：10-7 获取影视数据（5）
qq_坏学弟_0
2019-12-22
老师我把第十章学完后返现我的movie爬虫完全爬不到数据, 我又自己用requests请求了那个电影网站, 发现请求返回的状态码为508, 找了一些资料不知如何解决, 求助!
写回答
1回答
-
编程浪子
2019-12-22
你好
你把你对应的方法换成我的试试
def getHttpContent(self,url): try: headers = { 'Content-Type': 'text/html;charset=utf-8', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36', 'Referer' : "http://www.btbtdy.me/btdy/dy18196.html", "Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3" } r = requests.get( url ,headers=headers) if r.status_code != 200 : app.logger.info( r.status_code ) return None return r.content except Exception: return None
10
相似问题