3000不同网址抓取数据

来源：3-1 技术选型爬虫能做什么

AmoXiang

2021-09-26

有点类似于抓取新闻数据，但是这3000个网址要满足需要的数据条件才抓取，可能要从首页进入在进入在进入数据也可能是异步加载的，老师能不能给点建议

写回答

1回答

bobby

2021-09-27

你的疑惑点在哪里？不想写3000个spider？还是想在一个spider中抓取然后想策略？

bobby

AmoXiang

那这个简单啊，https://stackoverflow.com/questions/5497268/what-is-the-best-way-to-scrape-multiple-domains-with-scrapy 也可以看看这个动态创建3000个spider不需要硬编码多个

2021-09-30

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 3

回答 1

回答 2

回答 1

回答 1