抓取多个音乐网站的数据

来源:4-1 重录说明(很重要!!!)

littlemon

2021-08-22

想实现的功能:
用户输入歌曲名,程序调用各个音乐网站的查询接口,将所有返回的数据整合成一个列表供用户选择,程序根据用户所选列表序号再去下载对应的文件。因为各个网站的解析规则都不同,是用一个spider里实现多个解析函数更好还是为每个网站编写一个spider更好呢?另外scrapy是不是更适合抓取大量数据的场景?

写回答

1回答

bobby

2021-08-23

一般这种情况下 建议使用各个网站自身提供的api接口, 也就是一般各个网页都会提供开放api的,没有必要去抓取,这样你后期的维护成本太高了

0
1
littlemon
非常感谢!
2021-08-29
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程