response.url的值不对导致一直找不到question页面

来源：6-13 知乎分析以及数据表设计 - 2

qq_擦肩而过再回首_0

2018-04-11

response.url的值为https://www.zhihu.com/signup?next=%2F而不是https://www.zhihu.com 导致一直找不到question页面

2018-04-11 16:34:09 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.zhihu.com/signup?next=%2F> from <GET https://www.zhihu.com/>

2018-04-11 16:34:09 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.zhihu.com/signup?next=%2F> (referer: None)

写回答

1回答

bobby

2018-04-12

这个是因为知乎把你导向了登录页面了，你可以重新登录用新的cookie去访问页面试试

bobby

精慕门8491163

你有没有其他账号试试看看是否也会有这个问题目前需要确定是把ip盯上了还是把账号盯上了，ip盯上好说，账号盯上麻烦一点

2020-03-20

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

查看课程

相似问题

处理知乎question部分，answer_num 抓取不到

回答 1

question的create time怎么入库

回答 1

学习爬取知乎首页所有question，发现提取网页源码的href解析出question的url是不能深度爬取全站所有question的url

回答 1

知乎爬虫5-14，all_urls里没有一个带question

回答 1

保存到数据库表只有一条数据，主键值全都一样

回答 2

打开慕课网App查看更多内容