对美团美食按照组合提取所有商家信息，如a1类型，b2地区，c3用餐人数的组合URL是./meishi/a1b2c3,要怎么设置提取规则比较合理呢？

首页课程实战体系课手记专栏慕课教程

对美团美食按照组合提取所有商家信息，如a1类型，b2地区，c3用餐人数的组合URL是./meishi/a1b2c3,要怎么设置提取规则比较合理呢？

来源：14-13 scrapy写入数据到elasticsearch中 - 2

qq_鸣神剑二_0

2018-06-01

写回答

1回答

qq_鸣神剑二_0

qq_鸣神剑二_0

提问者

2018-06-01

美团网有爬取深度的限制，不能从首页用crawlspider全站提取，只能按照组合提取商家信息。求助！

0

2

蓝莓圣代

朋友抓取美食这块你是怎么做的呢

2018-08-21

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

老师比如我想动态获取美团美食的数据动态抓取到网页之后还怎么处理呢

回答 1

知乎访问用户信息的api获取数据时返回404

回答 2

数据库设计

回答 2

详情页需要选择型号，才能获取信息

回答 1

获取了登录后的cookie无法获取具体信息

回答 1

打开慕课网App查看更多内容