珍爱网改动了，不能用原来的办法爬了

来源：15-1 获得初始页面内容

FrankieLee

2019-09-11

老师你好，珍爱网不能这么爬了，导致学到爬虫这里学不动了，有什么办法可以解决么？

写回答

2回答

慕慕4062047

2019-09-24

把fetcher改一下，加入cookie和user-agent。页面上获取内容正则表达不好弄了可以使用goquery。我觉得这些都不是重点，需要学习的是老师为什么这样写。特别是分布式中chan传递消息，让我真的开眼界。

ccmouse

2019-09-21

有些遗憾我的课程开设以来，应该是带去了很多有规律的爬虫吧，对方网站最近加了反扒的机制，我们现有的方法不能用了。我们可以通过设置header的方法来缓解，不过对方仍然很好防范。目前来看，同学可以换一个网站去爬。找个新闻类的或者体育、金融类不用登陆的即可。

小阿坤

不然无法爬取婚恋网站

2019-09-27

共2条回复

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

回答 4

回答 1

回答 1

回答 2

回答 2