老师为什么我爬http://www.zhenai.com/zhenghun的时候启动很慢

来源:16-7 更多用户与去重

sd1700092

2018-04-12

奇了怪了啊老师,为什么我爬http://www.zhenai.com/zhenghun的时候要等很久才开始打印出爬取的信息,而爬http://www.zhenai.com/zhenghun/shanghai基本立刻就打印出来爬取的信息了。

不太清楚背后的原因是什么,我可是代码一个个字母跟着老师敲的。。。

所以我代码就不贴了,想问一下碰到这种诡异的情况排查的思路是怎么样的,谢谢老师

写回答

1回答

ccmouse

2018-04-13

这是很常见的排错场景。程序很慢不知道在干啥,我们加一些print,看看他在干啥就可以找到思路了。

这里其实一开始他要把所有400多个城市页面先全部拉下来分析,分析完了才开始分析每个人。分析城市页面的时候没有log,所以给人以启动慢的假象。

而如果访问http://www.zhenai.com/zhenghun/shanghai,他立刻就开始分析人,所以快。

1
1
sd1700092
非常感谢!十分详细!
2018-04-13
共1条回复

Google资深工程师深度讲解Go语言 由浅入深掌握Go语言

语法+分布式爬虫实战 为转型工程师量身打造

5995 学习 · 1909 问题

查看课程