爬虫的疑问

来源：15-4 单任务版爬虫的架构

鱼右

2018-05-27

老师这里面我直接把Fetcher产生的text直接交给Parser,应该也可以吧！为什么还需要在用Engine进行调度呢

写回答

1回答

ccmouse

2018-05-28

已采纳

这是一个设计问题，涉及到解藕。fetch产生的数据应该给谁？其实fetcher不应知道，它的职责就是产生(拉)数据。那么这数据怎么办呢？答案就是由engine交给parser。同理parser也不应知道fetcher在它上游。

鱼右

非常感谢！

2018-05-29

共1条回复

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 2