知乎爬取数据问题

来源：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

简单51799

2019-05-09

发现爬取知乎的时候，一直在保存答案的数据，一条问题的数据都没有，运行代码的时候也没有报错
图片描述

请问老师这个应该怎么排查呢

写回答

2回答

慕工程9236377

2019-05-27

同学请问你抓取answer数据的时候改动老师在zhihu.py里的代码了么，我也没有报错，就是爬虫会自己关闭

bobby

2019-05-10

你可以在解析question的方法中打断点看看能不能进入这个逻辑，如果能进入那证明确实抓到数据了，有可能是入库失败了，如果进入不了那证明是没有抓到这些数据

bobby

简单51799

好的，

2019-05-12

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 2

回答 1

回答 3

回答 2