抓取多个音乐网站的数据
来源:4-1 重录说明(很重要!!!)
littlemon
2021-08-22
想实现的功能:
用户输入歌曲名,程序调用各个音乐网站的查询接口,将所有返回的数据整合成一个列表供用户选择,程序根据用户所选列表序号再去下载对应的文件。因为各个网站的解析规则都不同,是用一个spider里实现多个解析函数更好还是为每个网站编写一个spider更好呢?另外scrapy是不是更适合抓取大量数据的场景?
写回答
1回答
-
一般这种情况下 建议使用各个网站自身提供的api接口, 也就是一般各个网页都会提供开放api的,没有必要去抓取,这样你后期的维护成本太高了
012021-08-29
相似问题