老师能不能通过scrapy这个框架做一次啊

来源：2-1 分析招聘网站结构并解析招聘网站城市列表

傅_

2019-06-28

我觉得scrapy还可以，就是不太会用，不会将数据存到数据库

写回答

2回答

小董君同学

2019-06-29

已采纳

最近我恰好做过 scrapy 爬虫到数据库，最开始写的原生SQL插进去的，数据插入写在 pipelines 里即可。
如何用ORM，道理也是一样的，在 pipelines 同级目录里写一个 models 定义表结构,在 pipelines 里引用，按照老师写的那样，使用ORM在 pipelines 里插数据到数据库。
我随后会改一下这个代码，用ORM迭代一下，你可以关注一下这个项目的更新。
https://github.com/donghaina/salt_tiger_spider/blob/master/english_book_spider/pipelines_sql.py
已更新代码

https://github.com/donghaina/salt_tiger_spider/blob/master/english_book_spider/pipelines.py

大壮老师

非常棒

2019-06-29

共1条回复