爬取similarweb被认为是机器人

首页课程实战体系课手记专栏慕课教程

爬取similarweb被认为是机器人

来源：8-8 scrapy实现ip代理池 - 3

慕粉1472870758

2017-06-15

scrapy+selenium调用chrome爬similarweb。时间随机，代理随机，但只能抓一个，第二个时就被认为是机器人。怎么破？

写回答

3回答

我是说你

我是说你

2021-03-10

大佬，解决了这个问题嘛？

0

0

慕粉1472870758

慕粉1472870758

提问者

2017-06-15

-*-

0

1

bobby

你加我的qq ： 442421039

2017-06-16

共1条回复

慕粉1472870758

慕粉1472870758

提问者

2017-06-15

####

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5818 学习 · 6291 问题

相似问题

只爬取，不处理

回答 3

知乎爬取问题

回答 2

实习僧爬取问题

回答 1

爬取拉钩要登录

回答 2

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

打开慕课网App查看更多内容