我想问一下scrapy和普通library的区别是什么

来源：4-2 scrapy安装和配置

Bass小骏

2021-03-28

老师您好，我是python新手。
在我的理解中，我写一个程序，在需要一些特殊方法的时候，我可以import一个library，然后直接调用里面的方法就行。
而在scrapy中，则需要执行一些命令生成一个新工程
我试过在外部导入scrapy，但没办法执行，报错提示没有scrapy的crawl，我有点迷惑scrapy项目的组成

举个例子，比如我想爬取两个网站A和B的某些内容
首先我去A网站爬取，然后从结果中提取特定字段组成B网站，然后再爬取B网站
如果要实现这个需求的话，那我需要创建两个scrapy工程？如果我有一系列这种需求，那我要创建一系列scrapy工程吗

请老师解惑，或者分享一些文章，让我可以理解scrapy的目录架构

写回答

1回答

bobby

2021-03-29

你的报错提示截图我看看呢？其实是这样的，对于爬虫来说，很多爬虫都会面临着同样的需求。比如爬虫策略啊，爬虫中的数据入库啊，唯一的区别就是解析策略不一样，所以在scrapy中不同网站的爬虫你只需要写spider的主要解析逻辑即可，其他的代码都可以共用，比如设置user-agent等，如果你建立两个项目的话，那么万一后面的某一个策略变了，比如user-agent的库换了，这个时候你建立了10个爬虫，那么就是10个项目，那是不是意味着你得改十份代码？改一次还行，随着后面越改越多你会崩溃的

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

查看课程

相似问题

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

回答 2

关於spider的观念问题

回答 1

关于header中Content-Length的一个奇怪问题

回答 1

redis-scrapy 分布式爬虫之缓存问题

回答 3

scrapy安装Cannot unpack file C:\Users\Administrator\AppData\Local\Temp\pip-r

回答 2

打开慕课网App查看更多内容