知乎爬虫5-14,all_urls还是登录页面的链接

来源:6-14 item loder方式提取question - 1

爬虫小白

2019-11-27

图片描述

明明已经登录进去,图片中uyl还是停留在登录页面,结果all_urls输出的都是登录页面的链接(见下图),
请问这是为什么?
备注:调试到all_urls处,chrome浏览器会自动关闭。谢谢!

图片描述

写回答

1回答

爬虫小白

提问者

2019-11-28

您好,确定是f.close(); 
cookie_dict[cookie['name']] = cookie['value']两行代码写到for循环外面,现在已经解决。麻烦您了!

0
1
bobby
好的,
2019-11-29
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

查看课程