crawlspider 里面如果我爬的网站是相对路径，

首页课程实战体系课手记专栏慕课教程

crawlspider 里面如果我爬的网站是相对路径，

来源：7-6 item loader方式解析职位

CodeForHzj

2018-09-19

该怎么处理，在 process_links 里面处理吗

写回答

1回答

bobby

bobby

2018-09-20

相对路径 scrapy会自动将当前网站的域名加上的

0

2

bobby

回复

CodeForHzj

是的这里加上以后所有的url都有域名，你这里说的相对路径需要解决什么问题呢？

2018-09-26

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

回答 2

老师现在拉勾网的反爬策略是什么呢？

回答 1

scrapy.Spider 和 CrawlSpider 到底要用哪个？

回答 1

爬取登录的网站是否有必要构建UA池与IP代理池

回答 1

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

打开慕课网App查看更多内容