请问怎么样才能将使将爬取到的数据写入到数据库中?

来源:6-19 保存数据到mysql中 -1

慕莱坞2760151

2021-05-04

问:请问怎么样才能将使将爬取到的数据写入到数据库中?
问题描述:我使用的scrapy是最新的版本,视频代码中的
from scrapy.loader import ItemLoader
不适用了,改为了import itemloaders这个库,在此基础上对parse_question和parse_answer两个方法中的item_loader和answer_item的初始化进行了更改,改为了
item_loader = itemloaders(item=ZhihuQuestionItem(), response=response)
以及
answer_item = itemloaders(item=ZhihuAnserItem, response=response)
现在爬虫可以正常运行,但是数据无法保存到数据库中。
运行环境:
windows10
python3.8.5
scrapy 2.4.1

写回答

1回答

bobby

2021-05-07

输入无法入库 是否pipeline无法进入还是说能进入pipeline逻辑但是执行失败?

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

查看课程