各大购物网站商品信息爬取

来源：2-1 pycharm的安装和简单使用

追梦逐梦白日做梦

2017-05-10

能不能把淘宝某一个确定商品的全部信息都爬取出来，还有怎么在网上爬取某种商品的历史价格啊

写回答

1回答

bobby

2017-05-11

已采纳

可以把商品的信息全都爬取出来。最简单的方式是用selenium 然后模拟鼠标移至下拉到最底部，这些用法我会在课程中讲到，第二个问题只要页面上能看到商品的历史价格就能爬取下来，如果页面上都无法获取到或者html源码中没有，那就爬取不到或者你能分析出淘宝是否有对应的ajax接口能获取到历史价格了，这个分析过程会比较复杂些，最好对前端比较懂的人来分析

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

回答 2

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

老师现在拉勾网的反爬策略是什么呢？

回答 1

动态网站的抓取思路和方式

回答 1

抓取这种招聘网站会有风险吗？

回答 1

打开慕课网App查看更多内容