存数据是出问题了

来源：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

qq_慕仙1479004

2020-04-13

你好老师，知乎存进去Es数据库里面进不去，断点是跑去了异步异常的函数里面，是什么原因呢

写回答

2回答

qq_慕仙1479004

提问者

2020-04-14

我调试过没有question_item这个列表也就是没有调用这个item_loader.load_item（）写入item，一直在爬但是没存进去es中，这是什么原因老师

bobby

你有没有断点打在这个parse方法中看看有没有进入这个方法？或者通过console看看状态码是否确实下载到了页面？

2020-04-16

共1条回复

bobby

2020-04-14

跑到异常中去是因为你配置了mysql的入库把

qq_慕仙1479004

我调试过没有question_item这个列表也就是没有调用这个item_loader.load_item（）写入item，一直在爬但是没存进去es中，这是什么原因老师

2020-04-15

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 3

回答 1

回答 3

回答 4

回答 1