parse函数调用另一个函数，只能通过callback吗？

首页课程实战体系课手记专栏慕课教程

parse函数调用另一个函数，只能通过callback吗？

来源：9-11 scrapy信号详解

慕尼黑7546459

2020-02-12

问题：爬取百度百科的电影，发现有的电影名称存在多义词，例如下：
图片描述

在parse函数中，
1.如果是这种情况，要再yield Request爬取电影信息；
2. 否则就可以直接解析了。
我希望解析的逻辑封装在一个函数中进行复用，但是发现2的情况，解析函数没被调用。
我目前的解决方式，是也再yield 一次Request, 通过callback函数调用，但是这样比较浪费。
代码如下：
图片描述

老师，这个问题如何优化解决呢？

写回答

1回答

bobby

bobby

2020-02-13

调用另一个函数当然随时可以，这里的callback是指要发起网络请求之后的回调如果不是要网络请求就直接调用不然就要用callback

0

5

慕尼黑7546459

回复

bobby

debug过的，一直没进去。老师，我的qq是：649460589，非常感谢。最近在学习爬虫，周围也没有熟悉爬虫的，遇到问题只能自己摸索或在这上面向老师你提问，不过这上面沟通确实不太方便，很希望能通过qq向老师请教。

2020-02-18

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5808 学习 · 6290 问题

相似问题

spider中的自定义方法没有被调用

回答 1

在zhihu.py文件中，为什么只是定义类和函数，没有调用比如ZhihuSpider,还是可以直接运行定义的类和函数呢

回答 1

Scrapy+Redis实现增量爬取，不执行callback函数（Debug模式打断点会执行）

回答 1

跳不到parse函数

回答 1

Pipeline中的函数都是自动调用的吗？

回答 1

打开慕课网App查看更多内容