想问某宝的几个问题

来源:8-8 scrapy实现ip代理池 - 3

陳根生

2020-08-07

需求:通过关键词爬取列表页的标题和价格, 进行翻页爬取,不用进入宝贝链接
问题:
1、首先是要进行登录的,我拿到cookie后进行访问,如果用同个cookie(因为只有一个账号)通过IP代理后,每次访问都是不同的IP,这样会不会导致封号
2、用了IP代理,是否就意味着不用进行限速操作,因为每次都是不同的IP入口,是不是就意味着限速就没用了。

写回答

1回答

bobby

2020-08-08

  1. 对于淘宝这种  需要登录才能访问的情况 最好别随意变化ip 这样淘宝是可以很容易的发现你的账号问题的

  2. 使用ip代理不一定非常安全因为 1. 如果需要登陆场才能访问,那么你就会带cookie过去,这样你再配合ip代理,这样后台一统计:我去,有人的账号的ip居然短时间内不停的变化,这样是很容易发现你的, 2. 有些ip代理如果不是高匿的,也是很容易发现你是使用的ip代理的,至于如何做到的 需要详细了解一下网络协议

1
5
bobby
回复
陳根生
你这里说的异步加载是什么意思?
2020-08-13
共5条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程