爬虫提前关闭

来源：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

低矮的青蛙

2018-01-06

question_item提取还算正常，但是提交request的时候，爬虫就关闭了。没有进入到parse_answer函数

写回答

1回答

低矮的青蛙

提问者

2018-01-06

发现不是提前关闭，是start_answer_url写错了，导致获取不到data数据，parse_answer函数里面的for循环就直接跳过了，没有产生什么item，爬虫就运行结束了

bobby

好的，

2018-01-08

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1