老师你好, 我想把你的爬虫代码转成Python语言的
来源：15-4 单任务版爬虫的架构
鱼右
2018-11-15
老师, 能提供一点 思路嘛, 就比如说 engine这段代码, 用python没有struct这种语法, 我就 有点 蒙圈了.希望老师给个思路
写回答
2回答
-
ccmouse
2018-11-19
struct转成python很方便啦：）使用python的class就行，甚至轻量一些的话，使用named tuple也可以。
但是这边爬虫转到python的难点在于那些channel。python里面没有与之对应的东西。我们背后是一个多任务并发的运行系统。python 3经过多次改进，现在也支持并发。同学可以看一下使用async/await进行异步编程的相关知识。不过这个模型和go的模型不一样，因此我们可能需要比较大规模的重写代码才行。
132018-11-25 -
ccmouse
2018-11-19
当然，如果只是想实现一个爬虫的话，我们更应当考虑开源框架，比如scrapy。慕课网上也有相关的课程。
相信同学上完我这门课后，再去使用scrapy会很容易上手。
00
相似问题